近年來，基于深度學習的神經解碼器已成為實現神經假肢靈巧、直覺控制的主要方法。人類甚至已經設想出了這種假肢在醫學領域的廣泛應用圖景。

然而，由于深度學習對計算的要求很高，很少有研究將其應用于臨床。邊緣計算設備的發展為解決這一問題提供了可能。

在一篇新論文中，來自明尼蘇達大學等機構的研究者提出了一種基于嵌入式深度學習控制的神經假肢實現。該研究中的神經解碼器基于 RNN 架構設計，部署在 NVIDIA Jetson Nano 上。NVIDIA Jetson Nano 擁有不錯的 AI 算力，但體格非常小巧，這使得假肢安裝者可以實時控制每一根手指，同時還能自由移動。

研究者利用外周神經信號在橈骨截肢的志愿者身上評估所提出的系統。實驗結果顯示，無論是在實驗室還是真實環境下，該系統都能提供魯棒、準確（95-99%）、低延遲（50-120 毫秒）的單個手指控制。

研究者表示，據他們所知，該系統是第一個在臨床神經假肢應用的便攜式平臺上有效實現深度學習神經解碼器的系統。這種新型假肢系統擁有嵌入式人工智能，可以作為新型可穿戴生物醫學設備的基礎，有助于加快深度神經網絡在臨床應用中的部署。

論文鏈接：
https://arxiv.org/pdf/2103.13452.pdf

這一成果離不開之前研究取得的進展，包括 Overstreet 等人 2019 年提出的連接神經纖維和生物電子系統的神經束內微電極陣列；Nguyen 等人 2020 年設計的能同時展開神經記錄和刺激的 Neuronix 神經接口微芯片；Luu 等人 2021 年提出的降低解碼器計算復雜度的深度學習電機解碼范式優化；以及 SOTA 邊緣計算平臺的軟硬件實現等。

系統概覽

下圖展示了研究者提出的神經假肢神經解碼器的大體構造：

該系統包含 Scorpius 神經接口、帶有定制載板的 Jetson Nano、定制的手臂控制器以及一個可多次充電的鋰電池。

下圖是該系統的原型圖。AI 引擎重 90 克，鋰電池（7.4V，2200mAh）重 120 克。在實際應用中，整個系統都可以集成到假肢內部，替代假肢現有的 ENG 傳感器和電子設備，因此對手臂的重量和美感影響極小。

神經數據是通過研究者之前提出的 Scorpius 神經接口獲得的。每個 Scorpius 設備有 8 個記錄通道，配有頻率整形（FS）放大器和高精度模數轉換器（ADC）。根據需要的通道數量，可以配置多個設備。FS 神經記錄器被證明能夠在抑制 artifact 的同時獲得超低噪聲神經信號。原始的神經數據會直接傳輸到 Jetson Nano 電腦進行進一步處理。

該系統的核心是由Jetson Nano 平臺支撐的 AI 引擎。研究者設計了一個定制的載板為 Nano 模塊提供電源管理和 I/O 連接。該模塊可工作在 10W 模式 (4 核 CPU 1900 MHz，GPU 1000 GHz) 或 5W 模式 (2 核 CPU 918 MHz，GPU 640 MHz) 下，按當前電池尺寸，可分別連續使用 2 小時和 4 小時左右。

在這個系統中，訓練好的深度學習模型被部署到 AI 引擎上，實時地將神經信號轉化為個體手指運動的真實意圖。最后的預測被發送到手部控制器來驅動假手。

這個假手是基于英國科技公司 Touch Bionics 的 i-Limb 假肢平臺設計的，有五個單獨驅動的手指。研究者用定制的手部控制器替換了原來的 i-Limb 默認驅動器，從而根據深度學習模型的預測，直接操作隱藏在每根手指中的直流電機。該控制器是圍繞 ESP32 模塊設計的，帶有一個低功耗微控制器。

下圖 3 更詳細地展示了各個組件的硬件實現：

關于該研究的更多細節可以參考原論文。