[[408373]]

本文主要討論的是機(jī)器學(xué)習(xí)（ML）和功能性磁共振成像（fMRI）的應(yīng)用問題。fMRI 主要用來(lái)檢測(cè)人在進(jìn)行各種腦神經(jīng)活動(dòng)時(shí)（包括運(yùn)動(dòng)、語(yǔ)言、記憶、認(rèn)知、情感、聽覺、視覺和觸覺等）腦部皮層的磁力共振訊號(hào)變化，配合在人腦皮層中樞功能區(qū)定位，就可研究人腦思維進(jìn)行的軌跡，揭示人腦奧秘。其基本原理是利用 MRI 來(lái)測(cè)量神經(jīng)元活動(dòng)所引發(fā)之血液動(dòng)力的改變。所以，利用 ML 連接 fMRI 圖像，以了解人腦正在觀察和思考的物件是理論上可行的。以本文討論的問題為例，神經(jīng)科學(xué)家現(xiàn)在可以通過像數(shù)據(jù)科學(xué)家一樣運(yùn)行計(jì)算模型來(lái)預(yù)測(cè)并準(zhǔn)確地將神經(jīng)功能與認(rèn)知行為聯(lián)系起來(lái)。不過，這些技術(shù)與人工智能模型有著相同的偏見（biases）和局限性（limitations），需要嚴(yán)格的科學(xué)方法加以應(yīng)用[1]。

雖然神經(jīng)科學(xué)家在 20 世紀(jì)初就注意到了大腦血流有明顯的變化，但是卻一直沒有找到合適的方法來(lái)測(cè)量這些變化。20 世紀(jì) 80 年代出現(xiàn)了一種有效的方法：正電子發(fā)射體層攝影(術(shù)) （position emissiom tomography，PET）。有了這種技術(shù)，研究人員能夠通過放射性追蹤和檢測(cè)光子（phonto）發(fā)射來(lái)觀察神經(jīng)元活動(dòng)的變化。由于這些光子在神經(jīng)元消耗最多葡萄糖的地方降解得最多，因此它們可以顯示出神經(jīng)元的活動(dòng)。然而，早期使用這種方法時(shí)面臨著一個(gè)問題：每個(gè)人的大腦都有不同的尺寸和結(jié)構(gòu)，差異和變化非常大。此外，PET 掃描的空間和時(shí)間圖像分辨率非常低。它們檢測(cè)的區(qū)域至少有一毫米寬，需要 10 秒鐘才能收集到足夠的數(shù)據(jù)來(lái)形成圖像。所以該技術(shù)的早期應(yīng)用范圍相當(dāng)有限。

磁共振成像（magnetic resonance imaging，MRI）可以在原子核振動(dòng)的基礎(chǔ)上構(gòu)建更準(zhǔn)確的大腦圖像。由于 MRI 掃描儀以不同的速度向許多位置發(fā)送信號(hào)，它可以通過解碼不同的頻段來(lái)成像。不過在 MRI 成像時(shí)需要使用一種造影劑，這種造影劑可能對(duì)受試者的健康有危險(xiǎn)。幸運(yùn)的是，在注意到核磁共振信號(hào)對(duì)大腦中血液循環(huán)的含氧量敏感后，許多研究小組在 90 年代提出了檢測(cè)大腦活動(dòng)的功能性磁共振成像（fMRI）的概念。

神經(jīng)科學(xué)家的傳統(tǒng)方法是通過發(fā)現(xiàn)最活躍的信號(hào)區(qū)域來(lái)推斷統(tǒng)計(jì)學(xué)上的選擇性區(qū)域?，F(xiàn)代研究目標(biāo)則是推斷出選擇性區(qū)域的共性活動(dòng)模式。研究人員發(fā)現(xiàn)，神經(jīng)網(wǎng)絡(luò)并不會(huì)對(duì)一個(gè)物體有特別的反應(yīng)，但從統(tǒng)計(jì)學(xué)角度上分析，卻分布著對(duì)許多物體的不同比例的反應(yīng)。這是一種統(tǒng)計(jì)學(xué)上的相關(guān)關(guān)系。此外，現(xiàn)代神經(jīng)科學(xué)家的另一個(gè)研究目標(biāo)是通過訓(xùn)練一個(gè)計(jì)算模型，從更大的數(shù)據(jù)集中預(yù)測(cè)人類感知的物體。這種基于機(jī)器和統(tǒng)計(jì)學(xué)習(xí)的方法旨在根據(jù)神經(jīng)模型的交叉驗(yàn)證來(lái)預(yù)測(cè)人們的思維。

但是，盡管取得了一些成功，但是對(duì)這些基于統(tǒng)計(jì)學(xué)的科學(xué)推論我們?nèi)孕枰?jǐn)慎分析和討論。fMRI 分析測(cè)量了數(shù)十萬(wàn)個(gè)稱為體素（voxel）的小方塊。為了從大腦的某個(gè)部分找到有意義的反應(yīng)，而不是由于隨機(jī)的變化，必須進(jìn)行統(tǒng)計(jì)測(cè)試。因此，需要衡量真假陽(yáng)性的風(fēng)險(xiǎn)，如研究人員在他們的一個(gè)實(shí)驗(yàn)中發(fā)現(xiàn)了一個(gè)重要的反應(yīng)，但當(dāng)這些實(shí)驗(yàn)被多次重復(fù)時(shí)，這一反應(yīng)信號(hào)在一般的數(shù)據(jù)中卻變得不明顯。因此，人們必須能夠?qū)?shí)驗(yàn)重復(fù)幾百次甚至幾千次，才能確定結(jié)果。使用 fMRI 統(tǒng)計(jì)的另一個(gè)問題是所謂的 "非獨(dú)立性（non independence）" 統(tǒng)計(jì)錯(cuò)誤。研究人員傾向于選擇最適合他們研究的數(shù)據(jù)和結(jié)果。例如，在所有的統(tǒng)計(jì)測(cè)試中，他們可能會(huì)關(guān)注那些體素顯示出最強(qiáng)關(guān)聯(lián)性的實(shí)驗(yàn)，而這相對(duì)來(lái)說(shuō)可以使他們的實(shí)驗(yàn)結(jié)果好得多。

我們?cè)谶@篇文章中，圍繞上面的主題，以三篇最新的研究型論文為基礎(chǔ)，探討基于統(tǒng)計(jì)學(xué)中 ML 的 fMRI 分析方法。

1、通過深度學(xué)習(xí)對(duì)人腦的任務(wù)狀態(tài)進(jìn)行解碼和映射

本文是來(lái)自中科大和北大的研究人員 2020 年發(fā)表在 Human brain mapping 中的一篇文章[2]。本文重點(diǎn)討論基于支持向量機(jī)（SVM）的多變量模式分析（multivariate pattern analysis，MVPA）在基于人腦功能磁共振成像（fMRI）的特定任務(wù)狀態(tài)解碼中的應(yīng)用。本文作者提出了一個(gè)深度神經(jīng)網(wǎng)絡(luò)（DNN），用于從大腦的 fMRI 信號(hào)中直接解碼多個(gè)大腦任務(wù)狀態(tài)，無(wú)需人工進(jìn)行特征提取。

關(guān)于根據(jù)腦功能成像數(shù)據(jù)解碼和識(shí)別人腦的功能的問題，SVM-MVPA 是一種應(yīng)用最為廣泛的方法。SVM-MVPA 是一種監(jiān)督學(xué)習(xí)技術(shù)，可同時(shí)考慮多個(gè)變量的信息。不過，SVM-MVPA 在高維數(shù)據(jù)中的表現(xiàn)欠佳，往往依賴于專家選擇 / 提取特征的結(jié)果。因此，作者在本研究中探索了一種開放式的大腦解碼器，它使用的是人類的全腦神經(jīng)成像數(shù)據(jù)。相對(duì)應(yīng)的，具有非線性激活函數(shù)的 DNN 的分層結(jié)構(gòu)使其能夠?qū)W習(xí)比傳統(tǒng)機(jī)器學(xué)習(xí)方法更復(fù)雜的輸出函數(shù)，并且可以進(jìn)行端到端的訓(xùn)練。由此，本文提出了一個(gè) DNN 分類器，通過讀取與任務(wù)相關(guān)的 4D fMRI 信號(hào)，有效解碼并映射個(gè)人正在進(jìn)行的大腦任務(wù)狀態(tài)。

1.1 方法介紹

1.1.1 數(shù)據(jù)介紹

本研究使用了 HCP S1200 最小預(yù)處理的 3T 數(shù)據(jù)版本，其中包含了大量年輕健康成年人的成像和行為數(shù)據(jù)[3]。作者使用了 1034 名 HCP 受試者的數(shù)據(jù)，他們共執(zhí)行了七項(xiàng)任務(wù)：情緒、賭博、語(yǔ)言、運(yùn)動(dòng)、關(guān)系、社交和工作記憶（working memory，WM）。具體用于實(shí)驗(yàn)分析的是 HCP volume-based 的預(yù)處理 fMRI 數(shù)據(jù)，這些數(shù)據(jù)已經(jīng)被歸一到 Montreal Neurological Institute's(MNI) 152 空間。七項(xiàng)任務(wù)中的大部分是由控制條件（例如，WM 任務(wù)中的 0 - 回位和情感任務(wù)中的形狀刺激）和任務(wù)條件（例如，WM 任務(wù)中的 2 - 回位和情感任務(wù)中的恐懼刺激）組成的。在每個(gè)任務(wù)中，只有一個(gè)條件被選為下一個(gè)步驟。對(duì)于只有兩個(gè)條件的任務(wù)（情感、語(yǔ)言、賭博、社交和關(guān)系任務(wù)），與任務(wù)關(guān)聯(lián)度大的條件優(yōu)先于其他條件。WM 和運(yùn)動(dòng)任務(wù)包含一個(gè)以上的任務(wù)條件，作者則是從列表中隨機(jī)選擇一個(gè)（WM 的 2 個(gè)背部身體和運(yùn)動(dòng)的右手）（表 1）。

對(duì)于每個(gè)任務(wù)，輸入樣本是一個(gè)連續(xù)的 BOLD（Blood-oxygen-level-dependent imaging）序列，涵蓋了整個(gè)區(qū)塊和區(qū)塊后的 8s 內(nèi)的樣本，包括血流動(dòng)力學(xué)反應(yīng)函數(shù)（hemodynamic response function，HRF）的后信號(hào)。此外，將每個(gè) BOLD volume 從 91×109×91 剪裁到 75×93×81，以排除掉不屬于大腦的區(qū)域。因此，輸入數(shù)據(jù)的大小從 27×75×93×81 到 50×75×93×81（time × x × y × z，TR=0.72s）。在所有的任務(wù)和受試者中，總共獲得了 34,938 個(gè) fMRI 4D 數(shù)據(jù)項(xiàng)。

1.1.2 模型介紹

圖 1 為本文提出的網(wǎng)絡(luò)模型的完整流程圖。該網(wǎng)絡(luò)由五個(gè)卷積層和兩個(gè)全連接層組成。其中，27×75×93×81 的數(shù)據(jù)是通過節(jié) 1.1.1 的預(yù)處理和數(shù)據(jù)增強(qiáng)步驟產(chǎn)生的。第一層使用了 1×1×1 的卷積濾波器，即卷積神經(jīng)網(wǎng)絡(luò)（CNN）的結(jié)構(gòu)中最普遍的設(shè)定，這些濾波器可以在不改變卷積層的感受野的情況下增加非線性。這些濾波器可以為 fMRI volume 中的每個(gè)體素生成時(shí)間描述符，而且它們的權(quán)重可以在訓(xùn)練中由 DNN 學(xué)習(xí)得到。因此，采用這種類型的過濾器后，數(shù)據(jù)的時(shí)間維度從 27 降到了 3。在這之后，堆疊一個(gè)卷積層和四個(gè)殘差塊以提取高層次（high-level）特征。本文使用的殘差塊是通過用一個(gè)三維卷積層替換原始?xì)埐顗K中的二維卷積層而得到的。四個(gè)殘差塊的輸出通道分別為 2 的倍數(shù) -----32、64、64 和 128。這些層的設(shè)計(jì)方式是：它們的尺寸可以迅速減少以平衡 GPU 內(nèi)存的消耗。為了便于網(wǎng)絡(luò)可視化分析，作者在最后一個(gè)卷積層中使用了全卷積，而不是常見的 CNN 中的池化操作。在卷積層堆疊之后，使用了兩個(gè)全連接層；第一個(gè)有 64 個(gè)通道，第二個(gè)進(jìn)行七路分類（每類一個(gè)）。在本文模型中，每個(gè)卷積層之后都引入了 ReLU 函數(shù)和 BN 層，而在最后一個(gè)全連接層中采用了 softmax 函數(shù)。

該網(wǎng)絡(luò)由五個(gè)卷積層和兩個(gè)全連接層組成。該模型將 fMRI 掃描作為輸入，并提供標(biāo)記的任務(wù)類別作為輸出

對(duì)人腦進(jìn)行特定任務(wù)解碼面臨的一個(gè)最大問題是可用數(shù)據(jù)有限。在其他類似的應(yīng)用中，可以采用數(shù)據(jù)增強(qiáng)的方式以基于有限的數(shù)據(jù)生成更多的數(shù)據(jù)樣本。數(shù)據(jù)增強(qiáng)的主要目的是增加數(shù)據(jù)的變化，這可以防止過度擬合并提高神經(jīng)網(wǎng)絡(luò)的不變性。與傳統(tǒng)圖像相反，本實(shí)驗(yàn)中的輸入圖像已經(jīng)與標(biāo)準(zhǔn)的 MNI152 模板對(duì)齊。因此，在空間域進(jìn)行數(shù)據(jù)增強(qiáng)是多余的?？紤]到輸入數(shù)據(jù)的不同持續(xù)時(shí)間，作者在時(shí)間域中應(yīng)用了數(shù)據(jù)增強(qiáng)，以提高神經(jīng)網(wǎng)絡(luò)在這種情況下的泛化能力。在訓(xùn)練階段的每個(gè) epoch 中，從每個(gè)輸入數(shù)據(jù)項(xiàng)中隨機(jī)分割出 k 個(gè)連續(xù)的 TR 片段（實(shí)驗(yàn)中 k=27）（圖 2a）。為了避免報(bào)告的準(zhǔn)確性出現(xiàn)波動(dòng)，在驗(yàn)證和測(cè)試階段只使用由每個(gè)數(shù)據(jù)的前 k 個(gè) TR 組成的片段。

(a) 模型自動(dòng)學(xué)習(xí)標(biāo)記的 fMRI 時(shí)間序列的特征，并在驗(yàn)證的損失達(dá)到最小時(shí)停止訓(xùn)練。因此，模型訓(xùn)練時(shí)不需要手工提取特征。遷移學(xué)習(xí)的工作流程類似，只是使用訓(xùn)練后的模型取代未訓(xùn)練的模型。每個(gè)數(shù)據(jù)項(xiàng)的分類被反向傳播到網(wǎng)絡(luò)層，以獲得對(duì)分類重要的部分的可視化?？梢暬臄?shù)據(jù)具有與輸入數(shù)據(jù)相同的大小，然后在時(shí)間維度上縮小，并映射到 fsaverage 表面

1.1.3 遷移學(xué)習(xí)

與傳統(tǒng)方法相比，深度學(xué)習(xí)方法，特別是 CNN 的一個(gè)重要優(yōu)勢(shì)是其可重復(fù)使用性，這意味著訓(xùn)練好的 CNN 可以直接在類似的任務(wù)中重復(fù)使用。作者對(duì)訓(xùn)練好的 CNN 使用了遷移學(xué)習(xí)策略來(lái)驗(yàn)證所提出的模型的適用性。遷移訓(xùn)練的工作流程與初始訓(xùn)練的工作流程基本相似（圖 2a），只是它從一個(gè)前四層已經(jīng)訓(xùn)練好的模型開始，而輸出層是未訓(xùn)練的。作者采用了 HCP 的 TEST-RETEST 任務(wù) - fMRI 組的 TEST 數(shù)據(jù)集（N = 43）訓(xùn)練深度模型來(lái)分類兩個(gè) WM 任務(wù)子狀態(tài) ----0bk body 和 2bk-body。作者采用了按主題劃分的五重交叉驗(yàn)證，其中 60% 的數(shù)據(jù)（25 個(gè)主題的 100 個(gè)樣本）用于訓(xùn)練，20%（9 個(gè)主題的 36 個(gè)樣本）用于驗(yàn)證，20%（9 個(gè)主題的 36 個(gè)樣本）用于測(cè)試（總共 172 個(gè)樣本的規(guī)模與常用的 fMRI 研究數(shù)據(jù)集相當(dāng)）。為了進(jìn)一步驗(yàn)證，作者訓(xùn)練深度模型來(lái)分類四個(gè)運(yùn)動(dòng)任務(wù)子狀態(tài)—左腳、左手、右腳和舌頭運(yùn)動(dòng)。使用五重交叉驗(yàn)證，其中 60%（25 名受試者的 400 個(gè)樣本）用于訓(xùn)練，20%（9 名受試者的 144 個(gè)樣本）用于驗(yàn)證，20%（9 名受試者的 144 個(gè)樣本）用于測(cè)試（共 688 個(gè)樣本）。輸入樣本是一個(gè)連續(xù)的 BOLD 序列，涵蓋了整個(gè)區(qū)塊和區(qū)塊后的 8 秒，包括 HRF 的后信號(hào)。

為了評(píng)估使用小樣本量的 fMRI 研究的 DNN 的適用性，作者對(duì)來(lái)自 HCP TEST 掃描的 43 個(gè)對(duì)象的數(shù)據(jù)進(jìn)行了深度分類器的訓(xùn)練。N = 1, 2, 4, 8, 17, 25, 34。為了避免準(zhǔn)確性的差異，所有的測(cè)試都應(yīng)用于 HCP TEST-RETEST 數(shù)據(jù)集中全部 43 名受試者的 RETEST 數(shù)據(jù)。深度學(xué)習(xí)在 120 個(gè) epochs 后停止。此外，作者使用傳統(tǒng)的搜索光和全腦 SVM-MVPA 方法進(jìn)行實(shí)驗(yàn)比較。

1.1.4 性能評(píng)估

為了評(píng)估該模型在不同分類任務(wù)中的表現(xiàn)，作者首先定義了一組參數(shù)。每個(gè)任務(wù)條件的 F1 分?jǐn)?shù)被計(jì)算為 TP、FP 和 FN 的函數(shù)：F1=（2×TP）/（2×TP + FP + FN）。其中，TP 是真陽(yáng)性，F(xiàn)P 是假陽(yáng)性，F(xiàn)N 是每個(gè)標(biāo)簽的假陰性。作者還通過一比一的方法計(jì)算每個(gè)標(biāo)簽的 ROC 曲線，參數(shù)靈敏度和特異性表示為：靈敏度 sensitivity=TP/（TP+FN），特異性 specificity=TN/(TN+FP)，其中 TN 是真陰性，等于其余標(biāo)簽的 TP 之和。準(zhǔn)確率被定義為正確預(yù)測(cè)與分類總數(shù)的比率：準(zhǔn)確率 accuracy=（TP + TN）/（TP + FP + TN + FN）。

1.1.5 網(wǎng)絡(luò)可視化分析

本文使用引導(dǎo)反向傳播（Guided back-propagation [4]） ，一種廣泛使用的深度網(wǎng)絡(luò)可視化方法，生成每個(gè)分類的模式圖和輸入 fMRI 4D 時(shí)間序列的任務(wù)加權(quán)表示。在標(biāo)準(zhǔn)的反向傳播過程中，如果一個(gè) ReLU 單元的輸入是正的，那么該單元的偏導(dǎo)就向后復(fù)制，否則就設(shè)置為零。在引導(dǎo)式反向傳播中，如果一個(gè) ReLU 單元的輸入和部分導(dǎo)數(shù)都是正數(shù)，則該單元的部分導(dǎo)數(shù)被向后復(fù)制。因此，引導(dǎo)式反向傳播保持了對(duì)類別得分有積極影響的路徑，并輸出 CNN 檢測(cè)到的數(shù)據(jù)特征，而不是那些它沒有檢測(cè)到的特征。如圖 2b 所示，在向訓(xùn)練好的網(wǎng)絡(luò)輸入數(shù)據(jù)后，相對(duì)于輸入數(shù)據(jù)產(chǎn)生了 27×75×93×81 的預(yù)測(cè)梯度。然后，每個(gè)體素的時(shí)域絕對(duì)最大值的符號(hào)值被抽出并建立在三維任務(wù)模式圖中，然后被歸一化為其最大值。最后，將 pattern map 映射到 fsaverage 表面。此外，測(cè)試組的歸一化 pattern map 的 Cohen's d 效應(yīng)被計(jì)算為每個(gè)任務(wù)的 pattern map 的平均值除以其 SD。

本文的可視化對(duì)比分析是在 AFNI[5]、Freesurfer[6]、HCP Connectome Workbench和 MATLAB（MathWorks, Natick, MA）中進(jìn)行。為了比較傳統(tǒng)的 GLM 圖和模式圖(pattern map)，作者還從 HCP 任務(wù)的 fMRI 分析包中獲取了參數(shù)估計(jì)對(duì)比度（COPE）的 Cohen 效應(yīng)。

1.2 實(shí)驗(yàn)結(jié)果分析

首先，作者完成了針對(duì)深度模型在一般分類任務(wù)中的實(shí)驗(yàn)。作者在實(shí)驗(yàn)中使用 NVIDIA GTX 1080Ti 板進(jìn)行了約 30 個(gè) epoch 的訓(xùn)練，所需時(shí)間大約 72 小時(shí)。本文所提出的模型成功地區(qū)分了七個(gè)任務(wù)，準(zhǔn)確率為 93.7±1.9%（mean±SD）。根據(jù) F1 得分，本文使用的模型 / 分類器在七個(gè)任務(wù)中的表現(xiàn)不同：情緒（94.0±1.6%）、賭博（83.7±4.6%）、語(yǔ)言（97.6±1.1%）、運(yùn)動(dòng)（97.3±1.6%）、關(guān)系（89.8±3.2%）、社交（96.4±1.0%）和 WM（91.9±2.3%，平均值 ±SD）。平均混淆矩陣（The average confusion matrix）顯示，前兩個(gè)混淆分別是由賭博與關(guān)系、WM 與關(guān)系引起的（圖 3a）。圖 3b 顯示了 ROC 曲線，根據(jù)該曲線，運(yùn)動(dòng)、語(yǔ)言和社交任務(wù)具有最大的曲線下面積（area under the curve，AUC），而賭博具有最小的面積。在驗(yàn)證關(guān)鍵超參數(shù)的選擇，即 1×1×1 核通道的數(shù)量（NCh1）時(shí)，模型記錄的準(zhǔn)確值分別為 93.2%、91.5% 和 92.7%，NCh1=3、9 和 27（圖 3c）。在 NCh1=1 的情況下，該模型無(wú)法在 30 個(gè) epoch 內(nèi)收斂。

然后，為了確定對(duì)每個(gè)分類貢獻(xiàn)最大的體素（Voxel，指一段時(shí)間內(nèi)多次測(cè)量大腦某塊區(qū)域），作者使用引導(dǎo)式反向傳播法生成了模式圖，以可視化模型學(xué)習(xí)到的模式。圖 4 給出了對(duì)任務(wù) COPE 的 GLM 分析的 Cohen's d 效應(yīng)大小的分組統(tǒng)計(jì)圖（圖 4a-g），以及 DNN 模式圖的 Cohen's d（圖 4h-n）。如圖所示，DNN 模式圖上的 Cohen's d 與 GLM COPEs 上的情感、語(yǔ)言、運(yùn)動(dòng)、社交和 WM 任務(wù)相似。例如，在語(yǔ)言條件下，GLMCOPEs（圖 4c）和 DNN 模式圖（圖 4j）中的 bilateral Brodmann 22 區(qū)出現(xiàn)了較大的效應(yīng)大小異常。同樣，在運(yùn)動(dòng)任務(wù)的右手運(yùn)動(dòng)條件下，兩個(gè)圖（圖 4d,k）顯示在 Brodmann 4 和 bilateral Brodmann 18 區(qū)有類似的效應(yīng)。

最后，關(guān)于遷移學(xué)習(xí)的問題，經(jīng)過五次交叉驗(yàn)證，本文提出的 DNN 在測(cè)試中達(dá)到了 89.0±2.0% 的平均準(zhǔn)確率（圖 5a），平均 AUC 為 0.931±0.032（圖 5b）。如圖 5c 所示，通過雙樣本 t 檢驗(yàn)，DNN 的準(zhǔn)確性明顯高于 SVM-MVPA 全腦（t[8]=9.14，p=.000017；平均 ±SD=55.6±7.9%）和 SVM-MVPA ROI（t[8]=7.59，p=.000064；平均 ±SD=69.2±5.4%）。

經(jīng)過五次交叉驗(yàn)證，本文提出的 DNN 的平均準(zhǔn)確率為 94.7±1.7%（圖 6a），平均 AUC 為 ROC 0.996±0.005（圖 6b）。平均混淆矩陣顯示，最主要的混淆是由左腳與右腳造成的（圖 6a）。圖 6c 顯示，通過雙樣本 t 檢驗(yàn)，DNN 的準(zhǔn)確性（94.7±1.7%）明顯高于 SVM-MVPA 全腦（t[8]=3.59，p=.0071；平均 ±SD=81.6±7.1%）和 SVM-MVPA ROI（t[8]=8.77，p=.000022；平均 ±SD=68.6±5.7%）。然后，作者驗(yàn)證了學(xué)習(xí)所需的數(shù)據(jù)量。所有三種方法在所有 N_Subj 中都報(bào)告了高于經(jīng)典方法的準(zhǔn)確性。N_Subj=8 足以使 DNN（80.3%）在準(zhǔn)確性方面超過普通的 SVM-MVPA 全腦方法（41.7%）和 SVM-MVPA ROI（56.3%）（圖 6d）。

小結(jié)：本文提出的方法能夠直接從 4D fMRI 時(shí)間序列中對(duì)人正在進(jìn)行的大腦功能進(jìn)行分類和映射。本文方法允許從簡(jiǎn)短的 fMRI 掃描中解碼受試者的任務(wù)狀態(tài)，無(wú)需進(jìn)行特征選擇。這種靈活高效的大腦解碼方法可以應(yīng)用于神經(jīng)科學(xué)的大規(guī)模數(shù)據(jù)和精細(xì)的小規(guī)模數(shù)據(jù)。此外，它的便利性、準(zhǔn)確性和通用性的特點(diǎn)使得該深度框架可以很容易地應(yīng)用于新的人群以及廣泛的神經(jīng)影像學(xué)研究，包括內(nèi)部精神狀態(tài)分類、精神疾病診斷和實(shí)時(shí) fMRI 神經(jīng)反饋等等。

2、使用深度生成神經(jīng)網(wǎng)絡(luò)從 fMRI 模式重建人臉

本文是發(fā)表在 Communications Biology 中的一篇文章[7]。由上一篇文章的介紹可以知道，目前，已經(jīng)可以從功能磁共振成像的大腦反應(yīng)中解碼識(shí)別不同的類別。但是，針對(duì)視覺上相似的輸入（例如不同的人臉）的分類和識(shí)別仍然是非常困難的。本文具體探討的是應(yīng)用深度學(xué)習(xí)系統(tǒng)從人類的功能磁共振成像重建人臉圖像。作者基于一個(gè)大型名人臉部數(shù)據(jù)庫(kù)使用一個(gè)生成對(duì)抗網(wǎng)絡(luò)（GAN）的無(wú)監(jiān)督過程訓(xùn)練了一個(gè)變分自動(dòng)編碼器（VAE）神經(jīng)網(wǎng)絡(luò)。自動(dòng)編碼器的潛在空間為每幅圖像提供了一個(gè)有意義的、拓?fù)鋵W(xué)上有組織的 1024 維描述。然后，向人類受試者展示了幾千張人臉圖像，并學(xué)習(xí)了多體素 fMRI 激活模式和 1024 個(gè)潛在維度之間的簡(jiǎn)單線性映射。最后，將這一映射應(yīng)用于新的測(cè)試圖像，將 fMRI 模式轉(zhuǎn)化為 VAE 潛在編碼，并將編碼重建為人臉。

2.1 模型介紹

本文所使用的 VAE-GAN 模型如圖 7（a）所示，其中的三個(gè)網(wǎng)絡(luò)學(xué)習(xí)完成互補(bǔ)的任務(wù)。具體包括：編碼器網(wǎng)絡(luò)將人臉圖像映射到一個(gè)潛在的表征（1024 維）上，顯示為紅色。生成器網(wǎng)絡(luò)將其轉(zhuǎn)換為一個(gè)新的人臉圖像。鑒別器網(wǎng)絡(luò)（只在訓(xùn)練階段使用）為每張給定的圖像輸出一個(gè)二進(jìn)制的判斷，可以是來(lái)自原始數(shù)據(jù)集，也可以是來(lái)自生成器輸出，即：該圖像是真的還是假的？訓(xùn)練的過程具有 "對(duì)抗性"，因?yàn)榕袆e器和生成器的目標(biāo)函數(shù)相反，并交替更新：如果鑒別器能夠可靠地確定哪些圖像來(lái)自生成器（假的），而不是來(lái)自數(shù)據(jù)庫(kù)（真的），就會(huì)得到獎(jiǎng)勵(lì)。如果生成器能夠產(chǎn)生鑒別器網(wǎng)絡(luò)不會(huì)正確分類的圖像，就會(huì)得到獎(jiǎng)勵(lì)。訓(xùn)練結(jié)束后，丟棄鑒別器網(wǎng)絡(luò)，編碼器 / 生成器網(wǎng)絡(luò)被用作標(biāo)準(zhǔn)（變分）自動(dòng)編碼器。

網(wǎng)絡(luò)中的 "人臉潛在空間" 提供了對(duì)大量人臉特征的描述，可以近似于人腦中的臉部表現(xiàn)。在這個(gè)潛在空間中，人臉和人臉特征（例如，男性）可以被表示為彼此的線性組合，不同的概念（例如，男性，微笑）可以用簡(jiǎn)單的線性操作來(lái)處理（圖 7b）。作者分析，這種深度生成神經(jīng)網(wǎng)絡(luò)潛在空間的多功能性表明它可能與人腦的人臉表征有同源性，這也使得它成為基于 fMRI 的人臉解碼的理想候選方法。由此，作者推斷，在對(duì)大腦活動(dòng)進(jìn)行解碼時(shí)，學(xué)習(xí) fMRI 模式空間和這種潛在空間之間的映射，而不是直接學(xué)習(xí)圖像像素空間（或這些像素的線性組合，例如 PCA 等的處理方法），可能是非常有用的。此外，作者推測(cè) ，VAE-GAN 模型能夠捕捉人臉表征的大部分復(fù)雜性，使 "人臉流形" 變得平坦，就像人類大腦可能做的那樣。因此，作者認(rèn)為，采用簡(jiǎn)單的線性大腦解碼方法就足夠了。

作者首先使用無(wú)監(jiān)督 GAN 在 202,599 張名人人臉標(biāo)記數(shù)據(jù)庫(kù)上訓(xùn)練了一個(gè) VAE 深度網(wǎng)絡(luò)（13 層）(CelebA[8])，共執(zhí)行 15 個(gè) epoch。使用編碼器處理向人類受試者展示的人臉圖像以生成 1024 維的潛在編碼，這些編碼作為設(shè)計(jì)矩陣后續(xù)會(huì)用于 fMRI GLM（一般線性模型）分析。作者使用 SPM12 處理 fMRI 數(shù)據(jù)（https://www.fil.ion.ucl.ac (https://www.fil.ion.ucl.ac/).uk/spm/software/spm12/）。接下來(lái)，作者對(duì)每份數(shù)據(jù)分別進(jìn)行了切片時(shí)間校正和重新對(duì)齊。然后將每個(gè)時(shí)段的數(shù)據(jù)與第二個(gè) MRI 時(shí)段的 T1 掃描數(shù)據(jù)進(jìn)行聯(lián)合登記。不過，作者并未對(duì)這些數(shù)據(jù)進(jìn)行歸一化或平滑化處理。具體的，作者將每個(gè)實(shí)驗(yàn)的開始和持續(xù)時(shí)間（固定、訓(xùn)練臉、測(cè)試臉、單人背影或意象）輸入一般線性模型（general linear model，GLM）中作為回歸因子；將用于訓(xùn)練臉部的 1024 - 維潛在向量（來(lái)自 VAE-GAN 或 PCA 模型）作為參數(shù)化的回歸器來(lái)建模，并將運(yùn)動(dòng)參數(shù)作為滋擾回歸器（nuisance regressors）輸入用于消除滋擾信號(hào)。此外，在估計(jì) GLM 參數(shù)之前，令整個(gè)設(shè)計(jì)矩陣與 SPM 的血流動(dòng)力學(xué)反應(yīng)函數(shù)（hemodynamic response function，HRF）進(jìn)行卷積處理。

作者訓(xùn)練了一個(gè)簡(jiǎn)單的大腦 fMRI 的編碼器（線性回歸），將人臉圖像的 1024 維潛在表征（通過 "編碼器" 運(yùn)行圖像，或使用 PCA 變換獲得）與相應(yīng)的大腦反應(yīng)模式聯(lián)系起來(lái)，并將人類受試者在掃描儀中觀看相同的人臉時(shí)記錄下來(lái)。圖 8（a）給出了這一過程的完整描述。每個(gè)受試者平均看到超過 8000 張人臉（每個(gè)人都有一個(gè)演示），使用 VAE-GAN 潛在維度（或圖像在前 1024 個(gè)主成分上的投影）作為 BOLD 信號(hào)的 1024 個(gè)參數(shù)化回歸因子。這些參數(shù)化的回歸因子可以是正的，也可以是負(fù)的（因?yàn)楦鶕?jù) VAE 的訓(xùn)練目標(biāo)，VAE-GAN 的潛在變量是近似正態(tài)分布的）。將一個(gè)額外的分類回歸因子（"面部與固定" 對(duì)比）作為一個(gè)恒定的 "偏差" 項(xiàng)添加到模型中。作者驗(yàn)證了設(shè)計(jì)矩陣是 "full-rank" 的，也就是說(shuō)，所有的回歸因子都是線性獨(dú)立的。作者分析，這一屬性是因?yàn)?VAE-GAN（和 PCA）的潛在變量往往是不相關(guān)的。因此，由 SPM GLM 分析進(jìn)行的線性回歸產(chǎn)生了一個(gè)優(yōu)化的權(quán)重矩陣 W，以預(yù)測(cè)大腦對(duì)訓(xùn)練人臉刺激的反應(yīng)模式。

假設(shè)在 1025 維的人臉潛在向量 X（包括了一個(gè)偏置項(xiàng)）和相應(yīng)的大腦激活向量 Y 之間存在一個(gè)線性映射 W：

訓(xùn)練大腦解碼器通過以下方式找到最佳映射 W：

為了在 "測(cè)試階段" 使用這個(gè)大腦解碼器，作者簡(jiǎn)單地反轉(zhuǎn)了線性系統(tǒng)，如圖 8b 所示。作者向同一受試者展示了 20 張新的測(cè)試人臉，這些人臉在訓(xùn)練階段并沒有向受試者展示過。每個(gè)測(cè)試人臉平均呈現(xiàn) 52.8 次以增加信噪比。所得的大腦活動(dòng)模式簡(jiǎn)單地與轉(zhuǎn)置的權(quán)重矩陣 W^T 及其反協(xié)方差矩陣相乘，以產(chǎn)生 1024 個(gè)潛在人臉維度估計(jì)值。然后，使用 GAN（如圖 7a 所示）將預(yù)測(cè)的潛在向量轉(zhuǎn)化為重建的人臉圖像。對(duì)于基線 PCA 模型，方法的流程是相同的，但人臉的重建是通過解碼的 1024 維向量的 inverse PCA 獲得的。測(cè)試大腦解碼器包括使用學(xué)到的權(quán)重 W 為每個(gè)新的大腦激活模式 Y 檢索潛在的向量 X，利用下式求解 X：

作者已經(jīng)將本文使用的預(yù)訓(xùn)練的 VAE-GAN 網(wǎng)絡(luò)以及 Python 和 TensorFlow 源代碼公布在了 GitHub 上：https://github.com/rufinv/VAE-GAN-celebA.

2.2 實(shí)驗(yàn)結(jié)果分析

本實(shí)驗(yàn)中，通過 Amazon Mechanical Turk (AMT)獲得用于比較 VAE-GAN 和 PCA 人臉重建的圖像質(zhì)量的人類評(píng)價(jià)結(jié)果。四個(gè)受試者的 20 張測(cè)試圖像中的每一張都標(biāo)記為 "原始 ”，然后是 VAE-GAN 和基于 PCA 的重建圖像，在" 選項(xiàng) A "和" 選項(xiàng) B "的字樣下顯示。實(shí)驗(yàn)中，向受試者發(fā)布的指示為：" 在兩個(gè)修改過的人臉中，哪一個(gè)最像原來(lái)的人臉？選擇 A 或 B"。每對(duì)圖像總共被比較了 15 次，由至少 10 個(gè)不同的 AMT" 工作者 " 進(jìn)行，每個(gè)反應(yīng)分配（VAE-GAN/PCA 為選項(xiàng) A/B）由至少 5 個(gè)工作者查看。因此，該實(shí)驗(yàn)在兩個(gè)人臉重建模型之間總共進(jìn)行了 1200 次（=4×20×15）比較。

作者首先對(duì)比了 VAE-GAN 和 PCA，將灰質(zhì)體素的一個(gè)子集定義為 "興趣區(qū)域" (ROI)。事實(shí)上，大腦的許多部分都在進(jìn)行與人臉處理或識(shí)別無(wú)關(guān)的計(jì)算。作者的 ROI 只選擇生理上的可能應(yīng)激大腦區(qū)域，選擇標(biāo)準(zhǔn)考慮了兩個(gè)因素。(i) 預(yù)計(jì)體素會(huì)對(duì)人臉刺激作出反應(yīng)（通過臉部和基線條件之間的 t 檢驗(yàn)來(lái)確定，即固定在空屏幕上），(ii)將 1024 個(gè)潛在人臉特征作為回歸因子輸入線性模型時(shí)，體素的 BOLD 反應(yīng)的解釋方差有望改進(jìn)（與只有二元人臉回歸因子的基線模型相比：存在 / 不存在人臉）。所選的體素如圖 9 描述，包括 枕部、顳部、頂部和額部區(qū)域。作者對(duì) PCA 人臉參數(shù)進(jìn)行了單獨(dú)的選擇， 并將這些參數(shù)用于基于 PCA 的 "大腦解碼器"（所選體素的平均數(shù)量：106,685；范圍：74,073-164,524）；兩個(gè)模型所選區(qū)域幾乎相同。

在大腦解碼器訓(xùn)練階段，體素的選擇是基于其視覺反應(yīng)性和 GLM 擬合度的綜合考慮（圖 8a）。顏色代碼（紅色到黃色）表示每個(gè)特定體素被選中的受試者的數(shù)量（1-4）。彩色的線表示標(biāo)準(zhǔn)皮質(zhì)區(qū)域的邊界

圖 10（a）給出了人臉重建圖像的示例。雖然 VAE-GAN 和 PCA 都能重建出與原始人臉相似的圖像，但是由 VAE-GAN 重建的圖像更真實(shí)，更接近原始圖像。作者通過將 20 張測(cè)試人臉的大腦估計(jì)潛在向量與 20 張實(shí)際人臉的潛在向量相關(guān)聯(lián)來(lái)量化大腦解碼系統(tǒng)的性能，并使用成對(duì)相關(guān)值來(lái)測(cè)量正確分類的百分比。具體結(jié)果見圖 10（b）。實(shí)驗(yàn)結(jié)果表明，從人腦激活到 VAE–GAN 潛在空間的線性映射比到 PCA 空間的映射更容易、更有效。作者認(rèn)為，這與其 “深度生成神經(jīng)網(wǎng)絡(luò)更接近于人臉表征的空間” 的假設(shè)相吻合。此外，作者還進(jìn)行了模型間的完全識(shí)別結(jié)果比較，即利用重建圖像的感知質(zhì)量作為指標(biāo)衡量重建的人臉?biāo)?。?shí)驗(yàn)要求人類觀察者比較兩種模型重建的人臉質(zhì)量：四個(gè)受試者的原始測(cè)試圖像與相應(yīng)的 VAE-GAN 和 PCA 重建圖像一起顯示，受試者判斷哪一個(gè)重建圖像從感知角度判斷更像原始圖像。具體結(jié)果見圖 10（c）。76.1% 的實(shí)驗(yàn)中受試者選擇了 VAE-GAN 重建的圖像，而 23.9% 的實(shí)驗(yàn)中受試者選擇了 PCA 重建的圖像。

進(jìn)一步的，為了確定哪一個(gè)大腦區(qū)域?qū)蓚€(gè)大腦解碼模型的人臉重建能力貢獻(xiàn)最大，作者將每個(gè)受試者的體素選擇劃分為三個(gè)大小相等的子集，如圖 11a 所示。然后分別對(duì)這三個(gè)子集進(jìn)行腦解碼和面部重建。兩兩識(shí)別結(jié)果顯示，枕骨體素和較小程度的顳體素提供了大腦解碼所需的大部分信息（圖 11b）。

（a）體素分割過程；（b）不同區(qū)域的兩兩識(shí)別結(jié)果，F(xiàn)ull select 指的是圖 9 中描述的體素集；它與圖 10b 中的數(shù)據(jù)相同。圓圈代表個(gè)別受試者的表現(xiàn)。虛線是單個(gè)受試者表現(xiàn)的 p<0.05 的顯著性閾值。在三個(gè)子集中，枕部體素的表現(xiàn)是最優(yōu)的，其次是顳部體素。在所有情況下， VAE-GAN 模型的性能仍然高于 PCA 模型。

最后，作者通過創(chuàng)建一個(gè)簡(jiǎn)單的分類器以根據(jù)人臉屬性為大腦解碼的潛在向量貼標(biāo)簽的方式，研究人腦對(duì)于特定人臉屬性的表征。具體的關(guān)于人臉 “性別” 屬性的實(shí)驗(yàn)結(jié)果見圖 12。將每個(gè)大腦解碼的潛在向量投射到潛在空間的 "性別" 軸上（圖 12a），投射的符號(hào)決定了分類輸出（正數(shù)代表“男性”，負(fù)數(shù)代表“女性 ”）。由圖 12b 的結(jié)果可以看出，這個(gè)單一衡量標(biāo)準(zhǔn)的分類器提供了足夠的信息來(lái)對(duì)人臉性別進(jìn)行分類，準(zhǔn)確率達(dá)到了 70%。非參數(shù) Friedman 檢驗(yàn)表明，性別解碼性能在三個(gè)體素子集中是不同的，而 post hoc 檢驗(yàn)則顯示枕葉體素的表現(xiàn)明顯好于額頂葉體素，而顳葉體素介于兩者之間。

3、AI 解碼大腦神經(jīng)反饋動(dòng)力學(xué) - 用于解碼神經(jīng)反饋實(shí)驗(yàn)的數(shù)據(jù)

本文是來(lái)自日本 ATR 國(guó)際學(xué)院計(jì)算神經(jīng)科學(xué)實(shí)驗(yàn)室的研究人員發(fā)表在《Scientific Data》2021 上的一篇文章[9]，主要為利用 AI 解碼大腦神經(jīng)反饋以讀取和識(shí)別大腦中特定信息的方法提供實(shí)驗(yàn)所需的數(shù)據(jù)。解碼神經(jīng)反饋（Decoded neurofeedback，DecNef）是一種閉環(huán) fMRI 神經(jīng)反饋與機(jī)器學(xué)習(xí)方法相結(jié)合的形式，意思是分析 fMRI 的狀態(tài)改變外圍不同設(shè)備（比如被測(cè)者面前的顯示器）的刺激。這是對(duì)操縱大腦動(dòng)力學(xué)表現(xiàn)或表征這一長(zhǎng)期目標(biāo)的更細(xì)化的呈現(xiàn)。本文針對(duì) DecNef 實(shí)驗(yàn)，提供了可應(yīng)用的數(shù)據(jù)來(lái)源。作者發(fā)布了一個(gè)大型的、可公開訪問的神經(jīng)影像學(xué)數(shù)據(jù)庫(kù)，其中包括 60 多個(gè)接受 DecNef 訓(xùn)練的人。這個(gè)數(shù)據(jù)庫(kù)由大腦的結(jié)構(gòu)和功能圖像、機(jī)器學(xué)習(xí)解碼器和額外的處理數(shù)據(jù)組成。作者在文中描述了編譯數(shù)據(jù)庫(kù)時(shí)采用的協(xié)議，包括源數(shù)據(jù)中常見的和不同的掃描參數(shù)、元數(shù)據(jù)、結(jié)構(gòu)，以及匿名化、清理、排列和分析等處理方式。

3.1 DecNef 背景分析

在單變量（univariate）方法中，人們具體測(cè)量一個(gè)感興趣區(qū)域（ROI）的整體活動(dòng)水平。與此不同，多體素模式分析（multivoxel pattern analysis，MVPA）則是學(xué)會(huì)對(duì)分布在活動(dòng)模式中的信息進(jìn)行解碼。DecNef 利用了 MVPA 而不是使用單變量方法，因此它具有很高的目標(biāo)特異性。此外，盡管受試者清楚解碼神經(jīng)反饋實(shí)驗(yàn)的存在，但他們并不知道具體的內(nèi)容和目的，從而有助于減少由于認(rèn)知過程或?qū)Ρ徊倏v維度的了解而產(chǎn)生的混淆。此外，解碼神經(jīng)反饋實(shí)驗(yàn)甚至可以通過一種稱為 "超邊界（hyperalignmen）" 的方法，根據(jù)受試者間接推斷出目標(biāo)神經(jīng)表征。通過這樣的功能排列方法，將不同受試者的神經(jīng)活動(dòng)模式通過一組線性變換構(gòu)建了一個(gè)共同的、高維的空間。這些轉(zhuǎn)換是有效的參數(shù)，可以用來(lái)將任何新的數(shù)據(jù)模式帶入 / 帶出個(gè)人的大腦坐標(biāo)系統(tǒng)和模型空間坐標(biāo)。上述特點(diǎn)使得 DecNef 成為了開發(fā)新的臨床應(yīng)用的一種有效工具，特別是在神經(jīng)精神疾病方面。除了面向臨床的研究外，DecNef 還可以作為系統(tǒng)和認(rèn)知神經(jīng)科學(xué)的一個(gè)重要范式來(lái)研究大腦的基本功能。

不同的 DecNef 實(shí)驗(yàn)探究的是不同的認(rèn)知過程或心理表征，但所有研究都采用了相同的基本設(shè)計(jì)邏輯（如圖 13a）。(1)最初的環(huán)節(jié)是獲取 fMRI 數(shù)據(jù)，用于訓(xùn)練機(jī)器學(xué)習(xí)算法—MVPA 或解碼器構(gòu)建環(huán)節(jié)。（2）隨后的神經(jīng)反饋階段，持續(xù) 2 到 5 天不等。在解碼器構(gòu)建環(huán)節(jié)，受試者完成了簡(jiǎn)單的動(dòng)作，包括視覺（研究 2、3）、偏好（研究 1）、知覺（研究 4）或記憶任務(wù)（研究 5），在神經(jīng)反饋環(huán)節(jié)，所有程序幾乎都是相同的（圖 13b）。在神經(jīng)反饋訓(xùn)練中，要求受試者調(diào)節(jié)或操縱他們的大腦活動(dòng)，以最大限度地?cái)U(kuò)大反饋盤（feedback disc）的大小。

(a) 每項(xiàng)研究都包括一段 fMRI，用于獲得構(gòu)建 "解碼器" 所需的數(shù)據(jù)，這是一個(gè)機(jī)器學(xué)習(xí)的大腦活動(dòng)模式分類器。(b) 所有的研究都有相同的基本實(shí)驗(yàn)設(shè)計(jì)

到目前為止，全世界只有少數(shù)研究小組有機(jī)會(huì)完成這種技術(shù)上具有挑戰(zhàn)性的實(shí)驗(yàn)。作者介紹，他們已經(jīng)發(fā)表了關(guān)于如何運(yùn)行解碼神經(jīng)反饋實(shí)驗(yàn)這部分工作的介紹[10]。不過，關(guān)于 DecNef（以及一般的神經(jīng)反饋）的一個(gè)關(guān)鍵問題仍未解決：潛在神經(jīng)機(jī)制究竟是什么？一些近期的研究工作已經(jīng)開始聚焦于這個(gè)問題，并應(yīng)用了元分析、計(jì)算模型、神經(jīng)網(wǎng)絡(luò)等工具。表 2 總結(jié)了已有的部分研究，包括相關(guān)出版物、神經(jīng)反饋過程訓(xùn)練目標(biāo)等內(nèi)容。

3.2 數(shù)據(jù)分析

關(guān)于本文提供的源數(shù)據(jù)，表 3 給出所有研究中使用的掃描參數(shù)的技術(shù)細(xì)節(jié)，以及不同研究之間的差異。

可通過機(jī)構(gòu)存儲(chǔ)庫(kù) "DecNef 項(xiàng)目大腦數(shù)據(jù)存儲(chǔ)庫(kù)（DecNef Project Brain Data Repository）"(https://bicr-resource.atr.jp/drmd/)，或從 Synapse 數(shù)據(jù)存儲(chǔ)庫(kù) (https://doi.org/10.7303/syn23530650) 訪問數(shù)據(jù)。數(shù)據(jù)是按照?qǐng)D 14 所示的結(jié)構(gòu)來(lái)組織的。簡(jiǎn)而言之，對(duì)于每項(xiàng)研究，最上層的文件夾包含了每個(gè)受試者的文件夾（例如，"sub-01"）。其中有三個(gè)子文件夾，"anat" 包含與結(jié)構(gòu) / 解剖掃描有關(guān)的原始 Nifti 文件，"func"—進(jìn)一步細(xì)分為特定會(huì)話文件夾（例如，"ses-0"：解碼器，"ses-1"：神經(jīng)反饋的第一個(gè)會(huì)話，等等），包含所有來(lái)自功能掃描的壓縮 Nifti 文件。

對(duì)高分辨率的解剖學(xué)掃描進(jìn)行涂抹處理，以確保結(jié)構(gòu)數(shù)據(jù)的適當(dāng)匿名化。使用統(tǒng)計(jì)參數(shù)映射（SPM）對(duì)圖像進(jìn)行了偏差校正。使用統(tǒng)計(jì)參數(shù)繪圖（SPM）工具箱（https://www.fil.ion.ucl.ac.uk/spm/）對(duì)圖像進(jìn)行偏差校正，并使用 FreeSurfer 套件的自動(dòng)涂抹工具進(jìn)行涂抹。圖 15 為一個(gè)受試者的圖像結(jié)果示例。

鑒于 DecNef 方法的細(xì)粒度、高空間分辨率的要求，用于在線反饋計(jì)算的大腦圖像的功能排列需要具備非常高的會(huì)話間一致性。圖像必須與原始解碼器的結(jié)構(gòu)對(duì)齊，而且這種對(duì)齊必須在（子）體素水平上是精確的。即使是微小的頭部運(yùn)動(dòng)也很容易破壞這一前提條件，導(dǎo)致不完善的解碼和反饋得分計(jì)算。為了滿足這一要求，所有的研究都要求實(shí)時(shí)監(jiān)測(cè)傳入的大腦功能圖像與原始解碼器結(jié)構(gòu)中的模板之間的對(duì)齊情況。盡管使用 Turbo BrainVoyager（TBV，Brain Innovation）實(shí)時(shí)校正頭部運(yùn)動(dòng)，但并不能保證校正后的圖像在解碼方面是有意義的，尤其是在突然出現(xiàn)明顯位移時(shí)。因此，在實(shí)時(shí)神經(jīng)反饋實(shí)驗(yàn)中，對(duì)原始 DICOM 圖像進(jìn)行了以下處理步驟。首先，在誘導(dǎo)期測(cè)量的功能圖像使用 TBV 進(jìn)行三維運(yùn)動(dòng)校正。第二，從解碼器識(shí)別的每個(gè)體素中提取信號(hào)強(qiáng)度的時(shí)間序列，并將其移位 6 秒以考慮到血流動(dòng)力學(xué)延遲。第三，從時(shí)間過程中去除線性趨勢(shì)，并使用從每次 fMRI 運(yùn)行開始后 10 秒測(cè)量的信號(hào)強(qiáng)度對(duì)每個(gè)體素的信號(hào)時(shí)間過程進(jìn)行 Z-score 歸一化處理。第四，計(jì)算反饋分?jǐn)?shù)的數(shù)據(jù)樣本是通過平均每個(gè)體素在誘導(dǎo)期的 BOLD 信號(hào)強(qiáng)度來(lái)創(chuàng)建的。

在目標(biāo)體素的激活模式方面，控制數(shù)據(jù)質(zhì)量的一個(gè)有效方法是首先計(jì)算它們的平均激活（用初始解碼器構(gòu)建會(huì)話的數(shù)據(jù)）。然后，在實(shí)時(shí)會(huì)話中，計(jì)算平均模式和傳入活動(dòng)模式之間的逐個(gè)相關(guān)性。這種方法確保了當(dāng)體素的反應(yīng)模式由于例如頭部或身體運(yùn)動(dòng)而發(fā)生重大變化時(shí)，相關(guān)度的降低會(huì)迅速發(fā)生，從而可以被檢測(cè)到。最佳水平的相關(guān)性水平應(yīng)該在 r∈[0.85 1.00]的區(qū)間內(nèi)，或 Fisher 變換的 z∈[1.26 Inf]。作者證實(shí)，所有的研究確實(shí)都能滿足此條件（圖 16）。平均來(lái)說(shuō)，只有不到 2% 的實(shí)驗(yàn)的 z 值小于 1.26（研究 1：0.13%，研究 2：3.17%，研究 3：0.91%，研究 4：0.36%，研究 5：3.74%）。

較大值表明實(shí)時(shí)測(cè)量模式和解碼器構(gòu)造模式之間有更好的功能一致性。每個(gè)點(diǎn)代表一個(gè)實(shí)驗(yàn)的相關(guān)值。每個(gè)琴狀圖有 N（天）×M（受試者）×L（運(yùn)行）×J（實(shí)驗(yàn)）個(gè)點(diǎn)。圖中央的白圈代表中位數(shù)，粗灰線代表四分位數(shù)范圍，細(xì)灰線代表相鄰的數(shù)值。將 z<1.10 的數(shù)據(jù)點(diǎn)從圖中刪除

接下來(lái)，作者建立了頭部運(yùn)動(dòng)和模式相關(guān)度之間的關(guān)系。作者使用 SPM12 計(jì)算了頭部運(yùn)動(dòng)參數(shù)，得出了 3 個(gè)平移參數(shù)和 3 個(gè)旋轉(zhuǎn)參數(shù)。為了這個(gè)分析的目的，作者通過對(duì)相關(guān)的 3 個(gè)參數(shù)進(jìn)行平均化處理來(lái)計(jì)算平均絕對(duì)旋轉(zhuǎn)和平均絕對(duì)平移，在神經(jīng)反饋實(shí)驗(yàn)中使用的 3 個(gè) TR 來(lái)計(jì)算解碼器的可能性和模式的關(guān)聯(lián)性。作者將這兩個(gè)頭部運(yùn)動(dòng)指數(shù)（以毫米為單位）與所有研究中匯集的 Fisher 轉(zhuǎn)換后的相關(guān)系數(shù)（即模式相關(guān)度）進(jìn)行了對(duì)比（如圖 17 所示）。為了進(jìn)行統(tǒng)計(jì)分析，作者串聯(lián)單次實(shí)驗(yàn)數(shù)據(jù)，使用線性混合效應(yīng)（linear mixed effects，LME）模型進(jìn)行分析（按照 Wilkinson 符號(hào)，指定為 y ~ 1 + m + (1 | st) + (1 + st | prt)；其中 y：模式相關(guān)性，1：截距，m：運(yùn)動(dòng)參數(shù)，st：實(shí)驗(yàn)研究，prt：受試者）。具體來(lái)說(shuō)，這些 LME 模型的設(shè)計(jì)是將運(yùn)動(dòng)作為固定效應(yīng)，實(shí)驗(yàn)研究作為隨機(jī)效應(yīng)和協(xié)變量，個(gè)體受試者作為隨機(jī)效應(yīng)而嵌套在實(shí)驗(yàn)研究中。

頭部運(yùn)動(dòng)被計(jì)算為三維方向上的旋轉(zhuǎn)（a）或三維方向上的平移（b），并與 Fisher 轉(zhuǎn)換后的模式相關(guān)系數(shù)成圖。使用不同顏色繪制來(lái)自不同研究的數(shù)據(jù)點(diǎn)。每個(gè)數(shù)據(jù)點(diǎn)表征一個(gè)特定受試者、運(yùn)行和實(shí)驗(yàn)

最后，其他的生理噪聲源（如心跳或呼吸）也會(huì)影響用于實(shí)時(shí)解碼的多體素活動(dòng)模式。這些來(lái)源在本研究中沒有直接測(cè)量，因此作者只能猜測(cè)它們的影響。如果它們對(duì)所有體素的影響是相對(duì)均勻的，作者預(yù)計(jì)對(duì)模式相關(guān)的測(cè)量幾乎沒有影響，因?yàn)轶w素之間的關(guān)系將保持基本不變。如果各體素之間存在不均勻的影響，作者認(rèn)為模式相關(guān)性會(huì)受到類似于頭部運(yùn)動(dòng)的影響。人們可能會(huì)擔(dān)心，在第一種情況下，將無(wú)法檢測(cè)到數(shù)據(jù)的噪聲失真，從而有可能造成反饋給受試者的目標(biāo)真實(shí)性失效。但由于所有體素的活動(dòng)首先經(jīng)過基線歸一化處理，然后通過計(jì)算體素的活動(dòng)模式與權(quán)重向量之間的點(diǎn)積來(lái)確定反饋似然，因此重要的是體素的模式（體素活動(dòng)之間的 "差異"）。由此，作者指出，由于 MVPA 的特殊性，額外的噪聲源不太可能在不影響模式相關(guān)度的情況下顯著影響體素活動(dòng)模式的信息內(nèi)容。

4、小結(jié)

本文探討了基于統(tǒng)計(jì)學(xué)中 ML 的 fMRI 分析方法。其中， 第一篇文章介紹了基于 SVM 的多變量模式分析在基于人腦功能磁共振成像（fMRI）的特定任務(wù)狀態(tài)解碼中的應(yīng)用。具體的，作者引入一個(gè) DNN 分類器，通過讀取與任務(wù)相關(guān)的 4D fMRI 信號(hào)，有效解碼并映射個(gè)人正在進(jìn)行的大腦任務(wù)狀態(tài)。DNN 的分層結(jié)構(gòu)使其能夠?qū)W習(xí)比傳統(tǒng)機(jī)器學(xué)習(xí)方法更復(fù)雜的輸出函數(shù)，并且可以進(jìn)行端到端的訓(xùn)練，進(jìn)而提升了大規(guī)模數(shù)據(jù)集中 fMRI 解碼的準(zhǔn)確度水平。第二篇文章具體探討的是應(yīng)用深度學(xué)習(xí)系統(tǒng)從人類的功能磁共振成像（fMRI）重建人臉圖像。利用 VAE-GAN 模型，學(xué)習(xí)多體素 fMRI 激活模式和 1024 個(gè)潛在維度之間的簡(jiǎn)單線性映射。然后將這一映射應(yīng)用于新的測(cè)試圖像，將 fMRI 模式轉(zhuǎn)化為 VAE 潛在編碼，并將編碼重建為人臉。最后一篇文章發(fā)布了一個(gè)大型的、可公開訪問的神經(jīng)影像學(xué)數(shù)據(jù)庫(kù)，該數(shù)據(jù)庫(kù)中的數(shù)據(jù)是由解碼神經(jīng)反饋（Decoded neurofeedback，DecNef）實(shí)驗(yàn)訓(xùn)練得到的，除了面向臨床的研究外，該數(shù)據(jù)庫(kù)還可以作為系統(tǒng)和認(rèn)知神經(jīng)科學(xué)的一個(gè)重要范式來(lái)研究大腦的基本功能。這一數(shù)據(jù)庫(kù)的發(fā)布為推動(dòng)解碼神經(jīng)反饋的研究發(fā)展提供了良好的數(shù)據(jù)基礎(chǔ)。

ML 已經(jīng)證明在圖像處理和識(shí)別的廣泛用途。利用 ML 連接 fMRI 圖像，可以分類人腦正在觀察和思考的狀態(tài)，甚至重建正在聯(lián)想的人臉內(nèi)容。神經(jīng)科學(xué)家正在借助機(jī)器學(xué)習(xí)技術(shù)解碼人類大腦的活動(dòng)、理解人類大腦的趨勢(shì)方興未艾，幫助我們更好的了解我們的大腦迷宮。