[[412437]]

近年來，腦機接口（BCI）研究吸引了越來越多科研機構和科技企業的興趣，也相繼出現了很多令人矚目的技術成果，如馬斯克腦機接口公司 Neuralink 先后在豬、猴子等體內植入腦機接口設備、斯坦福大學腦機接口設備讓癱瘓患者實現「意念寫字」等。這些成果都為癱瘓患者重新與世界進行交互提供了新的希望。

一直以來，Facebook 也致力于腦機接口的研究，并專注于研發頭戴式腦機接口設備。然而，Facebook 近日發表博客稱其將停止研發頭戴式腦機接口技術，轉而專注一種不同的神經接口方法，即由肌電圖驅動的腕帶式設備。究其原因，該公司認為手腕式設備能在短期內進入市場。不過，Facebook 仍然相信頭戴式腦機接口技術的長期前景。

與此同時，Facebook 也宣布其與加州大學舊金山分校（UCSF）Chang Lab 的腦機接口項目 Project Steno 取得了最新的進展。他們啟動了一項名為「手臂和聲音的腦機接口修復」（Brain-Computer Interface Restoration of Arm and Voice）新研究，并將一位 36 歲、癱瘓在床且失語多年的男子作為受試者。研究者在這位受試者的大腦中控制聲道的區域植入一個電極陣列，當他試圖回答屏幕上顯示的問題時，機器學習算法自動識別出他腦中出現的單詞，轉換為實時的句子。

據了解，這是首次成功地從癱瘓失語患者言語皮質的大腦活動中直接解碼完整句子。

相關論文研究《Neuroprosthesis for Decoding Speech in a Paralyzed Person with Anarthria》發表在了《新英格蘭醫學雜志》上。

論文地址：https://www.nejm.org/doi/full/10.1056/NEJMoa2027540?query=featured_home

從大腦活動中直接解碼完整句子

受試者在 16 年前因中風癱瘓在床并且失語多年，他通常使用頭部運動控制輔助計算機打字與他人交流。

受試者。

在實驗中，研究者在其大腦的感覺運動皮層（sensorimotor cortex）區域植入一個硬膜下、高密度的多電極陣列，用于控制受試者的言語。

實驗中植入的多電極陣列。

研究者記錄了 22 個小時的皮質活動，同時受試者試圖從包含 50 個單詞的詞匯集中（其中包括水、家庭、好等日常生活中必不可少的詞匯）說出單個單詞。在實現受試者說出單詞的過程中，研究者使用深度學習算法來創建相應的計算模型，用于從記錄的皮質活動的模式中檢測和分類單詞。

除了這些計算模型之外，他們還使用了一個自然語言模型，該模型在給定序列中前一個單詞的情況下生成下一個單詞的概率，以在受試者試圖說出這些單詞時解碼完整的句子。如下圖所示，研究者用到了神經信號處理、言語生成、單詞分類和語言建模等技術。

原理示意圖如下所示，可以看到從受試者試圖回答（圖 A）到皮質信號（圖 B）、神經信號處理（圖 C）、言語生成（圖 D）、單詞分類（圖 E）、語言建模（圖 F）和最后的解碼響應（圖 G），它們是一個完整的過程。

為了測試這一方法是否有效，研究者會通過屏幕顯示問題，比如「你今天過得怎么樣」、「你想喝點水嗎」等，受試者相應地給出回答：「我很好」、「不，我不想喝水」等。

實驗結果顯示，這個腦機接口系統平均每分鐘可以實時解碼 15.2 個單詞，平均準確率為 74%。并且，每分鐘最多可以解碼 18 個單詞，準確率最高可以達到 93%。在事后分析中，研究者檢測到受試者試圖生成單個單詞的概率為 98%，并且在 81 周的研究期間，他們使用穩定皮質信號分類單詞的準確率達到了 47.1% 。

腦機接口技術仍需改進

在 2019、2020 年，Chang Lab 就發表過早期的 Project Steno 項目研究，該項目表明電極陣列和預測模型可以創建相對快速和復雜的思維類型系統。以前的打字方法都涉及用大腦植入物在屏幕上觸動光標，盡管其他一些研究人員也嘗試過例如可視化手寫字體這樣的方法，但都不理想。該實驗室的早期研究涉及解碼說話人的大腦活動，而最新的研究表明，即使受試者不 (或不能) 大聲說話，它也能起作用。

此次研究中未使用的 Facebook Reality Labs 耳機。

UCSF 神經外科主任 Eddie Chang 表示，下一步是改進該系統，并讓更多的人進行測試。「在硬件方面，我們需要構建具有更高數據分辨率的系統，以更快地記錄更多來自大腦的信息。在算法方面，我們需要有能夠將大腦中這些非常復雜的信號轉換成語言系統的能力，不是文本，而是真正的、可聽得到的口語。最重要的是要大大擴大詞匯量。」

這項研究對于那些沒有可用鍵盤輸入和其他現有接口的人來說很有價值，即使是有限的詞匯量，也能幫助他們進行更好的交流。但這與 Facebook 在 2017 年設定的宏偉目標相去甚遠，該目標是研究一種非侵入性 BCI 系統，可以讓人每分鐘打 100 個字，這個速度相當于人在傳統鍵盤的打字速度。UCSF 最近的研究涉及植入技術，但還未到達這個數字（每分鐘打 100 個字），甚至是大多數人按手機鍵盤的速度也沒有到達。

此后，Facebook 在 2019 年收購了肌電圖 EMG 腕帶公司 CTRL-Labs，為其提供了 AR 和 VR 的替代控制選項。「我們仍處于釋放腕部肌電圖 (EMG) 潛力的早期階段，但我們相信它將成為 AR 眼鏡的核心輸入，對 BCI 的了解將幫助我們更快地實現這一目標，」Facebook Reality Labs 研究主管 Sean Keller 說。Facebook 不會完全放棄頭戴式大腦接口系統，而是計劃將該軟件技術開源，并與外部研究人員共享硬件原型，同時停止研發頭戴式腦機接口技術，轉而專注一種不同的神經接口方法。