Neuron腦影像機器學習： 表徵、模式信息與大腦特徵：從神經元到神經影像
- 2019 年 12 月 30 日
- 筆記
人們對於神經影像的研究已不滿足於對大腦局部的研究，開始探索彙集了更多分散於多個腦系統的腦活動預測模型。這裡我們回顧多變量預測模型如何對定量可重複的預測結果進行優化，構建了比傳統模型具有更大影像的身心交互模型並對大腦表達構築于思維模式的方法進行了解釋，儘管在實現前兩個目標方面取得了越來越大的進展，但是模型僅僅開始處理後一個目標。通過明確地識別知識的缺口，研究項目可以有意地、程序化地朝着識別潛在心理狀態和過程的大腦表徵的目標前進。本文由美國科羅拉多大學學者發表在Neuron雜誌。
導語：
近些年來，腦影像的研究已經進行到了由腦功能映射（brain mapping）到開發關於心理活動的集成的多變量腦預測模型（multivariate brain models）的研究當中。傳統的腦圖譜研究方法孤立地對局部的腦區以及部分體素地時間序列來構建大腦與思維的聯繫。局部腦區響應被視為由統計模型解釋的結果，並將局部區域的效應聚合成腦區。大腦模型顛覆了人們對感知經歷、思維活動以及行為活動結果的解釋方式。這類模型說明了結合大腦生理測量來預測心理過程的特徵或強度的方法（圖1）。例如：通過模型可對被試觀測的對象進行預測或解碼，或預測被試的下一步活動，以及被試在刺激之下的疼痛強度。因此，腦圖譜和腦模型的有着截然不同的研究目的，腦圖譜描述了局部的信息編碼，而腦模型嘗試對神經系統的各部分及其聯合活動對思維和行為進行預測。
有些簡單模型將單個的腦區活動和激勵結合起來分析。但是，有越來越多的多變量模型發展起來了：它們將結果解釋為大腦活動和/或結構的模式，這些模式跨越了大量的大腦特徵，它的分佈通常橫跨在多個解剖區域和系統，甚至橫跨測量的類型，如fMRI功能激活，腦功能連接結構以及腦化學等。基於多變量的分析模型現在已經應用到對象認知、語言活動、睡眠障礙、自主反應、記憶、決策、語義概念分析，認知任務、注意分析、疼痛、詩歌韻律研究、情緒、同情以及對做夢的研究。除了上述研究外，多變量分析模型也被應用在神經心理失調等研究當中。
在本文中，我們討論了使多變量大腦模型成為一種信息豐富和功能強大的方法的理論基礎，並提供了該領域中不斷擴展的建模工具和方法的簡要歷史。我們還探究了一種特定類型模型的前景和挑戰，即大腦「特徵」或「神經標記」，它可以識別出預測個體心理和行為結果的大腦模式。在前後文所列出的研究領域中，這類基於大腦多變量模式的研究成果和預測結果往往能帶來一些好處，例如：
1、可以更好的還原心理活動與行為信息在神經元層面的編碼關係；
2、可以比基於腦區作用的傳統研究提供更大尺度的全腦協作的模式的分析；
3、提供了可被經驗證偽的結果的定量預測；
4、基於特定的研究方向，可使用確定了測量參數的模型在相應的的研究中進行測試與驗證（為後續研究提供了模板）；
5、並提供了驗證心理構造與理解大腦參與心理活動的方式，因為心理學上與神經學上的差異往往存在一致性。
最終我們將討論圍繞在心理結構及其驗證方面的不同問題，以及預測性大腦模型如何幫助我們重新定義我們理解以及對大腦進行分類的方式。由腦圖譜到神經統計模型的發展為經驗及理論的發展提供了堅實的基礎。但是也引出了研究者如何定義和評估精神構成，以及對於識別那些突出的大腦表達的意義的重要問題。不過隨着多變量腦模型科學的發展，這些問題也終將被克服。科學家們已經開始從事一項艱巨的工作:迭代地識別潛在的心理結構，為它們開發神經測量模型，並基於經驗數據驗證、精鍊和重新定義這些結構。對這一過程進行明確的形式化描述，可以發現當前研究中的空白，並加速實現認知神經科學和相關領域的一個基本目標：建立思維和大腦之間的映射。
圖1.腦圖譜與腦模型的的比較：
圖A簡要列舉了基於腦圖譜的分析模型與基於腦模型的分析方法的構建過程；
圖B呈現基於腦圖譜的研究方法在比較了人在識別面孔以及形狀、獎懲情緒和高壓與放鬆情況下的大腦激活情況，圖c顯示了使用基於大腦模型的深部核團預測，基礎疾病預測以及痛感預測的結果圖。
關於神經表徵的理論假設
神經影像學中的大腦映射是從一種思維習慣中產生的，我們習慣認為心理過程是模塊化的，並在孤立的局部腦區實現。這一觀點建立在心理哲學的長期假設基礎上，研究表明，大腦皮層不同區域的損傷會導致言語產生、語言理解、感知和行動的缺陷。這項工作支持這樣一種觀點，即大腦可以被看作是一個功能模塊的集合——獨立的、可分離的處理單元，它們訪問彼此的輸入和輸出而非中間過程。雖然這一基本假設在理論上受到了挑戰，但在早期的神經影像學研究中被採納，並且通過獨立分析每個腦體素來分析腦-心的關聯性變得流行起來。
相比之下，多變量預測模型是從基於神經群體編碼和分佈表示的理論中產生的。神經生理學的研究已經證實，關於精神和行為的信息是在混合的神經元群的活動中編碼的。許多研究識別了單個神經元中編碼的信息，但通常，即使是最能預測刺激或任務的單個神經元的活動也包含的信息太少，無法準確預測行為。一篇關於群體編碼的文獻表明，通過跨細胞群體的聯合活動，包括運動控制、面部感知和識別、物體識別、眼動控制、氣味感知、數量等，通常可以更準確地預測行為。群體編碼研究表明，大多數細胞對單一刺激或動作類別（如物體類型或眼跳方向）的選擇性不強，而是對類別的複雜組合作出反應。非首選類別的觸發率是穩定的和可重複的，並且在預測（即「解碼」）模型中包含它們比僅包含強類別選擇神經元的模型具有更強的分類性能。此外，在從預測模型中去除強響應神經元後，它們提供了很強的分類性能。對一個類別（例如，一個掃視方向）有強烈反應的神經元的失活並不能消除這一類別的反應，而是導致與群體編碼一致的可預測的行為變化。除細胞群平均活性的變化外，神經元間的共變異也很重要。這些發現表明，在信息編碼方面，整體往往大於部分之和。
群體代碼具有多種適應性優勢，可能推動了它們的發展，包括魯棒性，噪聲過濾以及對可以靈活使用的高維非線性表示進行編碼的能力。分佈式表徵允許組合編碼，提供了用有限的神經「財產」來表徵大量信息的能力。神經元是可以組合到幾乎無限數量的系統狀態中的元素，從而成倍地增加了網絡的編碼能力。這樣的生成系統無處不在。例如，26個拉丁字母是英語中所有單詞的基礎。相比之下，《中華人民共和國字海詞典》收錄了8.5萬多個詞條，每一個詞條代表一個詞或一個概念。
這些優勢激發了利用這些原理的人工神經網絡。這些模型中的神經元以高度分佈的「多對多」方式編碼輸入對象的特徵（例如圖像，文本等）。每個神經元表示許多對象特徵，並且對象特徵的表徵分佈在許多神經元上，從而提供了一種表徵對象之間相似性和關聯性的豐富方式。深度網絡層中的神經元編碼複雜的功能組合，事實證明，相對於其他模型而言，這對於提高深度學習模型的預測準確性至關重要。這樣的模型也可以用於解碼和創建前所未有的對象。
在人類神經影像學中，跨多個腦體素的活動如何共同編碼行為結果的多變量建模是細胞神經科學中群體編碼概念的延伸。由於人類神經成像提供了一種比單個神經元更符合局部視野電位和在體鈣成像的神經活動的間接測量方法，因此任何單個體素中的活動都不被視為任何特定計算或過程的指示，而是作為分佈式表徵的一部分在認知過程中進行動態轉換，完成不同的功能任務。多變量方法並不像傳統的單變量方法那樣試圖定位獨立的功能模塊，而是描述了活動的分佈模式與心理事件和行為類別之間的關係。
多變量腦模型簡史多體素模式分析進展
多變量腦模型是一個多樣的模型家族，涵蓋多個目標和分析方法。它的一個主要目標是準確預測結果（即，最大限度地解釋由模型解釋的方差），這對於將來的預測（預後）是有用的。但也有其他互補的目標。模型可以設計為：
（1）概括到新的人群、精神狀態或行為，或測試環境；
（2）區分一類心理事件或行為；
（3）在其他神經科學數據的背景下或多或少容易得到解釋，並針對其他發現進行驗證。準確的、可概括的和可解釋的模型提供的不僅僅是預測。它們為心理事件的神經基礎提供解釋。模型對大腦中心理事件的表現方式也有不同的假設，不同的目標和假設表明了不同的研究設計和分析方法。
在過去的二十年里，隨着對大腦如何表示心理事件的假設發生了變化，一些原本被認為無法實現的目標現在看來是可能的，所採用的模型類型的變化已經顯著增加。圖2A顯示了一些最重要的發展的時間表，以及關於模型目標和結構的相應選擇。我們將這些進展分為多個階段，每個階段都向神經科學家的工具箱中添加一組技術。
圖2多變量腦模型的優勢：圖a顯示從往上顯示了腦影像分析由個人逐步向更加具有普適性的模型發展的進程，由左往右顯示了隨着時間的推移，這個神經影像領域的發展進程；圖b顯示了包含在腦活動里多變量大腦模型的決策類型。
- 個人內部的局部信息編碼。
早期的研究基於這樣的假設：信息主要在局部大腦區域編碼，在功能神經元列的活動中聚集，並具有良好的空間尺度，並且其精確的地形圖因人而異。因此，建模工作着重於預測空間局部區域內個體內的心理狀態。其目的並不是開發一個有用的感知或行為的整體模型，而是（如在傳統的大腦映射中一樣）理解局部的大腦表示。
利用這種方法，幾篇開創性的論文表明，早期視覺皮層的大腦活動可以用來預測一個人所看到的線條光柵的方向；其他的研究表明，用這種方法識別的活動模式可以用作工作記憶的探針。例如，在沒有視覺刺激的情況下，識別感知線條光柵方向的模型可以用來推斷工作記憶的內容。這些研究和其他領域的開創性工作有助於在感興趣的局部區域內建立預測分析，以此了解心理事件的局部表徵。一個名叫searchlight mapping的拓展方法，涉及在大腦中的局部球形「searchlights」中進行多變量預測，以構建關於心理/行為結果的信息編碼位置的大腦地圖，這已成為繪製局部大腦信息內容的流行技術。
如果您對searchlight及機器學習數據處理方法感興趣，可點擊下文思影科技課程：
儘管這些研究表明了一種開創性的新方法，但它們在某些重要方面受到限制。首先，研究表明局部fMRI模型預測高於偶然性的結果本身並不允許使用該模型作為「標記」，或大腦表徵的代表。使用大腦模型來推斷心理事件的存在或強度需要假設（或理想地證明）：
（1）假定的大腦標記與心理事件有因果關係，而不是混淆的過程；
（2）大腦標誌物能夠很好地捕捉心理事件的大腦表徵，並以高靈敏度檢測它；
（3）大腦標誌物專門針對感興趣的心理事件。腦標誌物對心理事件有很高的陽性預測價值，腦標誌物的激活意味着心理事件是在且僅在滿足後兩個標準的情況下發生的。這些標準在單被試、局部解碼模型中尤其難以滿足。另一個限制是，由於單對象解碼為每個被試標識了不同的模型（例如，基於觀察到的fMRI激活的不同的參數估計模式），因此在捕獲偽影和與過程無關的混淆過程中具有很大的靈活性。潛在的混淆（例如，學習、習慣化和疲勞等時變影響）通常不在局部解碼研究中建模，避免系統性偏見需要專門的實驗設計（例如，在人內平衡和混淆分層），這在許多情況下可能是不實際的。在新的研究中，個體化的模型也不能被用於精確性、概括性或易混淆性的測試，除非將相同的個體帶回重新測試。也就是說，有可能複製行為前活動可以預測未來選擇的結論，但無法測試用於每個人的精確模型是否表示預期的行為，或者表示與意願的行為無關的另一個相關過程。
最後，局部預測很大程度上依賴於信息主要包含在精細的局部模式中的假設。如果不是這樣的話，那麼如果僅局限於大腦的局部區域，預測模型的表現將會很差。而且解碼精度越低，越有可能是大腦測量的噪音太大而不能代表測量，目標大腦區域可能在表徵心理過程中只起到很小的作用，或者大腦和心理/行為結果之間的關聯是人為的。不幸的是，在許多已發表的文獻中，很難知道局部searchlight模型有多精確，因為如果從多個測試區域中選擇重要區域，則searchlight mapping中的事後效應大小會有樂觀偏差。
因此，開發大腦測量指標作為感知、工作記憶、疼痛等心理結構的指標是一個重要目標，但它需要難以在單個研究中建立的推論，更不用說單個被試了。正如本文下面所描述的，該領域的一些發展解決了這些限制的不同方面。
- 從局部解碼到全腦解碼。
其他的研究不是集中在單個區域，而是從假設信息是在分佈式大腦系統中編碼開始的，描述複雜行為可能需要模型來捕捉這些系統中的活動模式。這一假設導致了基於橫跨大腦的多個體素（目前高達數十萬）的活動和/或連接的聯合模式進行預測的模型。
這種方法發展較慢，部分原因是當模型參數（如體素）比觀測值多時，可能會出現過擬合，產生的模型不能很好地泛化（有關神經成像背景下的更多解釋，見Pereira等人，2009）。然而，正則化或減少具有大量特徵的預測模型的複雜性的機器學習技術有助於克服這一挑戰並使全腦模型可行。研究發現，使用全腦模式來解碼記憶和語義信息的內容，並區分認知任務類型。最近的研究表明，包含獎懲、工作記憶、語義、疼痛、持續注意力和其他功能信息的信號並不局限於單個大腦區域或系統，而是廣泛分佈於各個大腦區域。一個新的方向是直接比較在不同空間尺度下運行的模型，從而可以推斷出心理/行為信息編碼的位置和範圍。早期的模型比較研究表明，關於至少某些類別的心理事件的信息確實分佈在不同的區域和系統中。
擴大模型的空間尺度本身並不能解決單被試模型固有的局限性，包括:
（1）易受混淆因素影響（尤其是對目標精神狀態不明確的瀰漫性神經調節作用）;
（2）模型參數的可解釋性差（即，體素內和體素間的模式）;
（3）無法在被試、情境和心理事件類型之間測試已訓練模型的可概括性和特異性。
此外，儘管有正則化和相關的建模技術，這些參數的估計通常比標準的單變量映射噪聲更大，其解釋也更複雜。例如，模型中重要的大腦簽名可以捕捉和控制數據中的噪聲源，而不是與心理事件直接相關。
當使用非線性映射（如常用的徑向基函數支持向量機和深層神經網絡實現的映射）從大腦活動預測心理狀態時，模型參數的可解釋性特別複雜。這些方法在參數（通常是大腦簽名）和複雜的非單調的結果之間建立映射。這個問題的一個典型例子是從視網膜活動中解碼物體身份。一個複雜的非線性模型可以利用視網膜活動來預測被觀察對象的語義類別，即使視網膜中的單個神經元沒有基於語義的響應。類別的表示是在模型中編碼的，而不是直接在視網膜細胞的活動中。在這種情況下，線性模型將無法預測語義類別這一優勢，因為它只依賴於以線性方式編碼在系統中的信息。儘管非線性模型面臨這一挑戰，但利用深度網絡對腹側視路進行模型處理的開創性研究顯示，它與生物學數據有着驚人的一致性。更通俗來說，與解釋性相關的問題可以通過評估它們與單變量編碼權重的關係和評估模型權重在個體間的再現性來部分解決。
- 從模擬個體到群體。
考慮到上述局限性，研究人員越來越關注於識別在個體間普遍存在的模型。在一組受試者中預測結果的模型被限制為在個體之間具有相同的模型參數和估計，從而減少了特殊的工件並增加了可解釋性。此外，模型性能可以在樣本之外的個人身上進行測試，從而得到個人級性能的估計值，就像在醫學中使用的診斷測試一樣。
這種方法假設大腦活動模式中包含有用的信息，這些信息在個體的中尺度和系統級活動中是一致的。儘管最初的假設與此相反，跨學科解碼在許多不同領域被證明是有效的，包括識別注意狀態、檢測感知對象的語義類別、診斷痴呆、抑鬱、慢性疼痛和其他臨床結果。這些研究通過建立在被試之間推廣的總體人群模型，塑造了預測模型的格局。
一個潛在的缺點是，群體水平模型並不總是像個體模型那樣具有預測性。一個重要的限制是結構和功能解剖學的被試間可變性，這降低了被試間的泛化能力。統計理論表明，人際（between-person）相對於人內（within-person）預測的相對成本取決於人際差異（個體差異）與人際差異（個體測量誤差）之比。更大的個體差異和每人可收集大量數據的能力將優勢轉移到了人內模型上。然而，由於可以在一個人身上收集的數據量通常是有限的，例如在標準的簡短「定位」任務中，在某些情況下，人模型之間的性能幾乎與人模型內部的性能相同，或者實際上更準確。一些新的模型，包括高度對齊和其他方法，使被試之間的功能（而不是解剖學）區域對齊，可以顯著減少功能解剖學的被試間變異，提高群體水平模型的準確性和特異性。
其他幾個重要的限制仍然存在，包括可解釋性的限制，潛在的混淆以及有關給定模型是否可以推廣到不同語境（context（可理解為背景，下同））的問題（即，在看似不同的環境中預測相關結果）。然而，這些限制可以通過考慮選擇訓練和測試數據以及模型結構來部分克服，如下所述。
- 跨語境的概括。
所有類型預測模型的一個主要挑戰是確保它們反映了特定的目標心理過程（如疼痛、注意力等）。在某些情況下，該模型可以追蹤相關的表面變量，而在其他情況下，它可能只追蹤一個背景下的心理過程。例如當個體觀看憤怒和恐懼面孔時，腦分類器是否基於「憤怒」和「恐懼」的廣義概念理解來預測，而不是個體觀看時候的面孔和眼動模式的一些特殊層面？多變量建模的一個重要方向是明確地訓練對實驗環境變化具有魯棒性的模型，例如憤怒與中性圖片、聲音、記憶等。系統地概括實驗環境使模型更可能反映目標心理類別，而不是相關的感覺運動和認知過程。
最近的幾項研究發展了一種模型，這種模型概括了一個心理過程中看似不同的範例。為情感類別（恐懼、憤怒等）建模的工作已經訓練了群體級別的模型，以概括音樂和電影片段、短片和心理意象以及各種引導情緒方法。其他的研究已經預測了情緒和情感效價，其方法概括了視覺和味覺刺激；面部、聲音和身體暗示；以及對語境的直接感知和因果推斷。
與其他方法一樣，這也有局限性。不同的操作在誘發目標心理狀態方面的有效性不一；例如，視頻剪輯通常比心理想像或自傳體回憶更能激發情緒，某些類型的經驗可能更難用某些類型的刺激進行操作。這引入了類別和強度之間的混淆，這可以歸因於 （1）從強度上不同類別的近似匹配刺激和（2）在模型訓練期間對強度的控制。同樣的原則也適用於其他潛在的混淆因素，雖然先前的工作在某些情況下已經考慮到了它們，但是未來的建模工作應該仔細考慮它們。此外，在一項研究中操縱多個變量往往是不可行的。將語境變化與群體級建模相結合，可以幫助整合多個研究中的數據，使組合數據集中的上下文異質性更強。最後，假設一些心理結構隨着語境的變化而變化。例如，「憤怒」和「恐懼」與不同的行為傾向有着內在的聯繫，可能無法將情緒與這些傾向分開。
大腦簽名（brain signature）：心-腦關聯的強力推斷
儘管多變量大腦模型輸入了很多變量，但一個共同的目標是預測心理事件，從而了解其背後的大腦表徵。這可以包括：
（1）檢測是否已經進行了心理過程；
（2）推斷參與的強度（strength）或強度（intensity）；
（3）推斷哪些心理類別在其大腦表示上相似或不同；
（4）推斷心理狀態如何變化。情境或治療方法會影響心理過程的參與及其大腦的表徵等等。
我們認為，一類特殊的模型腦信號在這方面特別有用。這類模型使用分佈在大腦系統內部和整個系統中的信息，在受試者對一個心理過程的參與強度的預測之間（理想情況下是跨環境的），使其與其他類型的心理事件區分開來。這些簽名是有效的大腦生物標誌物，或神經標誌物。在我們的用法中，「簽名」和「生物標誌物」這兩個詞基本上是可以互換的。大腦簽名並不像手寫簽名對人來說是獨一無二的那樣，被認為是特定心理過程所獨有的。它的敏感性、特異性、概括性和其他測量特性都是經驗性的。同樣，醫學中的生物標誌物可能或多或少是準確的，或多或少是特定於某一特定疾病的，等等。具有理想特性的簽名應該更廣泛地進行和測試，而那些測量特性差的簽名應該被丟棄或重新定義。通過擴展，僅僅因為模型開發針對的是一種類型的心理事件，我們不應該假設目標事件類是對簽名度量的最佳描述。例如，訓練用來追蹤疼痛的「疼痛信號」可以衡量注意力的投入或負面影響。測試其他心理描述也是一個經驗過程，我們稱之為「結構識別」的核心。
此外，簽名可能不是對心理過程的完整描述。它可能是有用的指標，而不需要捕捉相關的大腦過程，就像疾病生物標記不需要捕捉疾病生理學的所有方面一樣。因此，對於同一類心理事件，有足夠的空間進行多重認證。
在構建腦信號分佈信息和群體水平模型時所涉及的特定建模選擇允許這些不同類型的經驗發展和驗證在研究和實驗室中進行，顯著提高了（1）通過作出強有力的預測來偽造模型的能力，（2）開發模型理想的測量特性，（3）在研究中建立可重複性，（4）使用預先定義的模型作為干預的目標，和（5）識別由腦信號測量的心理結構，並開發新的心理本體論。
偽造模型（Falsifying Models）
把大腦簽名看作是一種測量方法，突出了它們的一個主要優點：它們提供了可以檢驗和偽造的具體、定量的預測。這使得一個模型制定和嚴格測試的周期成為跨領域科學進步的關鍵。在物理學中，它導致了強大的、理論驅動的預測，這些預測僅僅在許多年後才經過經驗檢驗，就像愛因斯坦基於廣義相對論的預測，即當恆星到達地球時，它應該圍繞太陽彎曲。多年後，埃丁頓對這一預測進行了檢驗，驗證了該理論的預測效用。
例如，當強烈認為疼痛存在時，「疼痛簽名」應該做出反應，但不是其他的。如果它對疼痛沒有反應，並且可以排除方法上的錯誤，那麼可以排除特徵反映所有類型疼痛的假設，為新的改進鋪平道路。或者，這個特徵可能只反映了某些類型的疼痛或來自某些來源的疼痛，從而導致新的假設，即大腦包括多個不同的過程，可以標記為疼痛。如果簽名對明顯不痛苦的事件做出反應，比如厭惡的圖像、苦澀的味道或呼吸困難，那麼簽名可以被偽造為疼痛的唯一特徵，並且對它所衡量的東西的理解可以被提煉。
聚焦於測量屬性
因為大腦映射和多變量searchlight方法的大部分焦點都集中在解釋局部大腦表徵上，相對較少關注由信號檢測理論定義的腦信號的測量特性，例如它們的靈敏度、特異性、陽性行為的預測值和可概括性。大腦信號的第二個優點是它們具有可定義的測量特性，使得模型可以在隨後的研究中進行經驗測試。
此外，多變量模式與基礎神經表示之間的更緊密匹配自然會帶來更好的測量性能。這一點得到了超敏銳性研究的支持，超敏銳性的觀察表明多變量模型對以比神經成像數據採集的分辨率更精細的空間分辨率編碼的信息敏感。多尺度敏感性的觀察也支持了這一點，其中區域內和區域間的分佈信息比單個區域提供了更好的預測。與局部多變量和單變量模型相比，在多項研究中進行直接比較時，這些優勢導致全腦多變量模型的效應值更大（圖3）。由於與基礎神經表示最匹配的模型可能最適合，因此模型比較（單變量與多變量，局部區域與分佈式網絡）提供了一種使用神經影像技術來探查基礎大腦表示的性質的方法。
可重複性
在研究和實驗室之間重現結果的能力是科學進步的關鍵部分。無法複製的發現可能只是誤報，或者其影響可能與上下文有關，以至於累積的科學進步和在實際應用中的實用性。關於科學發現的可重複性的問題已經成為跨領域的主要問題。但是，在涉及大量測試的領域，例如在神經成像和遺傳學領域，建立可再現的發現尤其成問題。當大量上下文變量可能會改變過程的工作方式時（例如在轉化神經科學和心理學的某些領域），這也是一個問題。基於神經影像的大腦到大腦的映射位於這些危險區域的交叉點。
圖3多種腦模型性能的比較，可以發現相對於其他單一的腦影像分析模型，多變量的全腦模型可以在更大的體素尺度以及精度上獲得更加優秀的預測效果。
在嘈雜的體素水平測量和涉及的大量測試的結合下，體素層面映射的可重複性受到限制。所應用的多重比較閾值越嚴格，具有相同真實基礎神經活動的研究產生相同結果的可能性就越小。實際上，較低的統計能力可以確保每個研究都能識別出真實的微小部分（通常是不同部分）的底層模式。相比之下，基於簽名的方法將大腦信息集成到針對新的獨立個體的單個優化預測和測試預測中。這避免了進行多次比較的需要，並在測試實驗干預如何影響模式表達時提供了效應大小的無偏估計。
在多個大腦區域上匯總信息可以產生效果更大的測量值。儘管局部效應的大小是有限的（通常在Cohen』s d = 0.5左右為「中等」效應），但在獨立研究中評估時，腦部信號通常顯示出較大的效應大小。例如，一種稱為神經痛標誌（Neurologic Pain Signature，NPS）的疼痛預測模型，對高或低疼痛的效果大小在d = 1.2至3.50之間。在最近一項對來自全球不同地點的20項研究中的603名被試的分析中，在95.4％的被試中，NPS對疼痛和休息的反應更大，Hedges'g的影響大小為g = 2.30，95％CI [1.92，2.69 ]跨研究。圖片誘導的負性情緒簽名（Picture-Induced Negative Emotion Signature，PINES）將情緒性負數與中性圖像區分開，效果大小為d = 4.69。對於觀察到的高疼痛和低疼痛，替代疼痛標誌產生的效應大小在d =1.63至1.75之間。
這些簽名已在多項研究中進行了評估，這些研究以不同的方式測試了它們的特性。NPS對疼痛的反應能力已在14個獨立發表的研究隊列和一項大規模分析中得到了證實，這些研究已開始表徵其NPS(神經痛標誌)的敏感性、特異性以及對藥物和心理干預的反應。它對某些干預措施有反應，包括阿片類瑞芬太尼、5-羥色胺再攝取抑製劑西酞普蘭，以及一些可能影響疼痛預期的調節範式。但是，它對他人（包括認知重新評估，感知的控制，獎勵和安慰劑）不敏感，表明它跟蹤某些有助於疼痛自我報告的神經生理過程，而對其他過程則不敏感。PINES（圖片誘導的負性情緒簽名）反應已與NPS雙重分離，表明它可以測量一組獨特的大腦過程，並已被用作情緒調節的結果。在後者的研究中，以「強硬」個體為視角可以減少PINES對負性圖像的反應。NPS對軀體性疼痛的反應和VPS對替代性疼痛的雙重解離已在另外兩項獨立研究中重複進行。
干預的新目標（和措施）
考慮到與基礎過程的更好匹配和改進的測量特性，多變量腦模型是直接或間接影響神經活動（例如分別為神經刺激或神經反饋）的因果乾預措施的有希望的目標。群體級別大腦的「簽名」在評估這些屬性時特別有用，因為它們可以進行交叉研究測試和促進科學發展。事實證明，針對多變量大腦模型的大腦刺激是有效的，特別是在塑造記憶力方面。這些技術通常旨在改變單個大腦區域的活動，但是它們的作用可能更廣泛，並且會改變分佈在多個大腦系統中的表徵。在這種情況下，通過測量神經刺激改變的目標過程，並確定對行為或臨床結果有影響的大腦介質，多元標記物可以作為結果的量度。
構建驗證：使用生物學基礎的模型了解心理事件
將大腦映射到頭腦的工作的核心是定義應映射到大腦過程的精神事件的類別。痛苦的熱、冷和化學刺激都涉及不同的外周受體和神經元群體。他們的經歷會喚起大腦中類似表示的單一類型「疼痛」的所有示例嗎？還是「疼痛」類別更像「傢具」類別，這是人類思維和語言的便利？相反，我們使用「疼痛」一詞來形容與人身傷害和浪漫拒絕有關的感覺。他們的大腦表示是否不同，還是應該將「疼痛」類別擴展到非軀體事件？這些問題和其他問題的答案決定了我們如何概念化思維和大腦的組織，並且通常也具有實際意義。造成他人身體疼痛是起訴的依據；根據法律，造成情感上的痛苦是否應被視為同樣有害？
最終，所有心理類別都是心理「構造」，即概念類別被組織為心理事件分類法。傳統上，心理構造是基於現象學和語言用法而非生物學系統的相似性來定義的「民間類別」。同樣，歷史上，疾病類別基於可觀察到的癥狀（胃痛，發抖等），而不是生物學原因（細菌，病毒等）。根據疾病的根本生物學病理學對疾病進行重新分類是將現代同種療法藥物與先前的疾病診斷和治療系統區分開來的重要概念轉變。研究領域標準（RDoC）框架等最新舉措試圖在我們對精神疾病的思考方式上實現類似的轉變。
無論結果是疾病類別還是其他精神構造，比較大腦模型及其敏感性和特異性模式都可以用來驗證現有的精神構造，甚至可以推斷出新的精神構造，從而利用大腦來重新定義我們對思想的看法。目前，旨在開發多元大腦模型的研究隱含地嘗試驗證結構，但沒有系統地利用結構驗證理論。通過正式構造開發方法向顯式評估大腦模型的範式轉變可能會導致對大腦和思維的更好理解。
構建驗證
結構驗證原則性的方法來定義和驗證結構可以在測量理論中找到，但他們使用的策略很少被應用到神經科學中。一個中心原則是承認構造是不可直接觀察的；相反，它們是從多個度量（稱為指標）的性能中推斷出來的。例如，心理測量學研究假設「一般智力」或「數學能力」等結構不能直接觀察，但數學和閱讀測試可以用作反映潛在潛在能力的指標。如果具有不同材料和呈現格式的不同類型的數學測試相互關聯（收斂有效性），可以推斷它們都測量（加載）同一結構，並且可以開發比任何單一指標更好地跟蹤潛在結構的複合測量。如果數學測試與另一組連貫的測試（判別效度）相對不相關，比如說，語言表現，那麼可以推斷，這些測試衡量的是「數學能力」，而不是「一般智力」，即遵循指令的意願等。這種方法使用指標之間的相似結構來推斷其他不可觀察結構的性質。
結構驗證理論提供了評估多變量腦模型的原則性方法，並為使用腦模型推斷哪些結構具有連貫的神經生理學機制提供了途徑。大腦模型提供了潛在結構的假定測量（即潛在指標）。正如單個測試項目可以合併在一起以測量一個結構（例如，臨床清單的子尺度），跨體素和系統的大腦活動可以合併以創建與潛在結構相關的測量。
例如，如果同一個大腦測量被多種不同類型的疼痛激活，而不是被其他情緒或認知過程的操縱激活，那麼作為「疼痛」結構的測量，它既顯示了收斂有效性，也顯示了判別有效性。類似地，如果一個大腦測量值與需要運動反應抑制的多個任務的表現相關，那麼作為「抑制」結構的測量值，它顯示出一些收斂的有效性，但是，結構的邊界條件是什麼還不清楚。大腦模式可以狹義地與運動抑制相關；與包含動作、思想、感知和記憶的更廣泛的「抑制」結構相關；也可以非常廣泛地與「認知控制」相關。該模式對聚合和鑒別證據操作模式敏感且具體相反，分別識別結構。在抑制的例子中，這樣的分析表明新的任務是有信息的；例如，記憶抑制和其他與運動抑制沒有明顯關係的認知控制任務。認識到結構是推斷出來的，這就清楚地表明，我們需要明確的策略來推斷大腦模型實際測量的是什麼，反過來，通過在大腦層面識別具有收斂和判別有效性的結構來重新確定心理分類。
從這個角度來看，最近對跨語境和刺激模式的概括性的研究開始建立情感價效和其他結構的聚合效度。一些研究包括多語境和多假設結構的操作，在同一研究中建立收斂和判別效度。對研究中的個體級圖像數據進行「大規模分析」可以擴展這一過程，允許系統地對多個結構進行採樣，每個結構都有多個不同的操作，這在個別研究中是困難的。例如，Kragel等人分析了來自疼痛，負面情緒和認知控制的被試水平的對比圖像。選擇了18個研究（有270名被試），以包括三種不同的方法來使每種推定的構建體參與（例如，有害的熱、機械和內臟刺激，用於構建「疼痛」），每種方法都有兩項代表性研究。對各種構造，方法和研究的相似性結構進行建模，為前扣帶回皮層中「疼痛」和腹側前額葉皮層中「負性情緒」的常見表示提供了收斂的有效性。這項研究還提供了證據，即「認知控制」可能無法清晰地映射到一種潛在的大腦表徵上，而應該細分為更精細的亞型。
驗證結構的另一種方法是外部有效性，這涉及到使用大腦模型來預測現實世界的結果。例如，在觀看項目時腹側紋狀體的腦反應預測隨後的購買決定，腹內側前額葉反應預測長期行為，例如嘗試戒煙，杏仁核活動預示着未來的焦慮。更複雜的多變量模式預測慢性疼痛的進展，以及前額葉腦刺激是否是治療抑鬱症的有效方法。在另一系列的研究中，一項研究中開發的六種不同情緒類型的大腦信號被應用於一項獨立研究中的靜息狀態數據，並顯示與情緒和個性特徵的個體差異相關。具有較高抑鬱癥狀自我報告的個體具有更大的「悲傷」特徵的表達，而焦慮的個體表現出更大的「恐懼」特徵的表達。
其他研究已經通過干預驗證了這些結構。Rose等人使用searchlight映射識別功能磁共振成像模式活動與工作記憶中某個項目相關的區域（即面部、文字或運動方向）。他們發現，隨着時間的推移，持續活動性下降到基線水平，但這些區域的經顱磁刺激優先激活了記憶相關模式，增強了隨後的記憶。包括大腦刺激、神經反饋和藥理學在內的干預措施可以通過表明它們對行為的干預效果來幫助驗證大腦測量。直接操縱大腦也能對所測大腦系統的因果效應提供更有力的推論。
總體級別的模型可以通過對各個研究進行測試，從而將這些各種類型的驗證結合在一起。NPS已根據來自世界各地許多實驗室的數據進行了測試，從而可以臨時（持續）識別其測量的結構（圖4）。它跟蹤由有害的多種外周刺激引起的疼痛，包括熱、機械、電、辣椒素增強的熱、激光和內臟刺激，證明了誘發疼痛的收斂有效性。它對非有害的溫暖刺激、威脅提示、社交排斥相關的刺激以及觀察到的疼痛或反感的圖像沒有反應，從而證明了對某些相關的非軀體過程的判別有效性儘管它對其他形式的臨床疼痛的普遍性仍然未知，並且在顯示對被認為可調節疼痛的干預措施（例如鴉片瑞芬太尼）的反應中，但它在預測纖維肌痛患者超敏反應方面具有外部有效性。
圖4 多體素尺度的模型預測能力測試：大腦範圍內的多變量模型可以通過檢查模式表達(即模式表達)來理解。不同的大腦網絡和區域會產生不同的結果。
挑戰和注意事項
除了模型參數解釋面臨的挑戰外，研究人員常常試圖超越數據，對模型的生物學意義作出廣泛的結論。例如，如果一個模型預測行為、區分情感類別等，它可能被認為反映了大腦系統，這些系統是（1）預先連接的或生物決定的（即獨立於學習或經驗而發生的），（2）穩定的或對環境不變的（新樣本、個體、測試條件、身體代謝狀態等），（3）優於其他解釋（該分類方案是「正確」或「最佳」分類）。這些結論都不是我們在這裡討論的模型或例子的邏輯後遺症。然而，有些是可測試的：新的樣本可以被評估，至少在跨個體概括的模型中是這樣，並且上下文可以系統地改變。一個大腦模型的先天性可以通過評估它在整個發展過程中，或在具有明顯不同文化和經驗的人群中間接推斷出來。這種變化是建築發展的核心。
朝着生物驅動的構造發展
通過明確地識別知識缺口，研究項目可以更加有意識和有計劃地朝着識別大腦對精神狀態和過程的表徵的目標前進。這個過程可能是一個反覆的過程：開發預測和解釋心理結構的大腦模型將需要頻繁地修改大腦模型和結構定義。一個目標是最大化簡單結構：迭代地重新構造心理構造和腦測量，以儘可能接近它們之間的1:1對應關係。對模型的修改將教會我們大腦如何在我們目前定義它們時對精神狀態進行編碼，而對結構的修改將幫助我們開發關於大腦如何工作的新的、神經科學知識豐富的想法。
神經影像學導致了心理學和神經科學之間的緊張關係，因為研究人員對研究大腦可以告訴我們關於大腦的信息採取了不同的立場。這種緊張的一種表現是一系列的文章，質疑神經影像學是否教會了我們大腦如何工作。雖然對這一挑戰有各種經驗性的答案，但進展往往很難追蹤，因為它不是以證明或反駁關於大腦的批判理論的形式出現，而是通過改變關於大腦如何工作的假設，這些假設通常是含蓄的、隱喻性的，並嵌入我們目前對數學、生物學和物理學的理解中。
例如，大腦的計算模型建立在傳統的五感概念的基礎上，這是一個基本的、隱含的概念，很少有認知科學家提出質疑。但是有多少感覺？神經科學告訴我們，不僅僅有一種「觸摸」的感覺，而是多種類型的軀體感覺，它們是由不同的途徑和機制所介導的（例如，單獨的路徑存在於輕觸感、深層壓力、疼痛壓力、麻醉和其他軀體事件中）。對於許多目的，包括指定所涉及的計算過程和預測結果，這些不能集中在一起，像「觸摸」這樣的結構阻礙了理解和臨床應用的進展。此外，一些神經科學的發現挑戰了這樣一種假設：我們的五種外部感覺彼此獨立；例如，聽覺信息以初級視覺皮層的活動模式編碼，反之亦然。
「認知」、「情感」、「記憶」、「語言」等心理結構也是如此，每個心理結構內部都存在着有意義的變異，各心理結構之間也存在着有意義的相似性。生物學上的理解使我們能夠發現有意義的範疇，以及關於假定的範疇（如「工作記憶」）如何受先前認為不相關的過程（如「炎症」）影響的新想法。如果我們願意利用神經科學的洞察力做出新的推論，它可以教會我們很多關於大腦的知識。
結論：
一系列新的多變量預測模型正以一種新的、更加強大的方式將精神世界與大腦聯繫起來。在主要的認知，感知以及情緒等領域，這類研究模型對於心理行為和個體行為之間有較強的可重複性。並且該模型，有較強的適用性，並在某些情況下能對個人的研究提供更加精確的研究結果。而且這類的模型有着較強的泛化能力。這種多變量的腦影像分析模型，擺脫了以往獨立地看待人的活動與大腦某個區域的聯繫，以一種總體思維，全局的角度看待行為與大腦神經活動的關係。這樣的分析思路更貼近了思維的本質，能夠更加精確的解釋人類思維活動的本質。
