仿生體感-視覺關聯學習框架。

可伸縮應變傳感器。

techxplore.com網站7月14日報道，新加坡南洋理工大學和悉尼科技大學的研究人員最近在《自然·電子學》雜志發文公布了一種機器學習架構，可通過分析可伸縮應變傳感器捕捉到的圖像識別人類手勢。

項目研究人員Xiaodong Chen在接受TechXplore采訪時說：“人腦如何處理信息?我們對此很感興趣。在人腦中，思維、規劃和靈感等高級感知活動，不僅依賴特定的感官信息，還與不同傳感器的多感官信息綜合整合有關。這為我們結合視覺信息和軀體感覺信息，實現高精度手勢識別提供了啟示。”

人類在解決實際任務時，通常會整合從周圍環境收集到的視覺和體感信息。兩種類型的信息是互補的，當它們結合在一起時，能夠為解決問題提供更好的方案。因此，在開發人類手勢識別技術時，Chen等需要確保該技術能夠整合多個傳感器收集到的不同類型的感知信息。Chen解釋：“為了實現目標，我們對傳感器進行了改進。與目前使用的可穿戴傳感器相比，新設計的可伸縮、高適應性傳感器可以更準確地收集肢體感覺數據。我們還開發了一種仿生體感-視覺(BSV)學習框架，它可以合理地融合視覺信息與體感信息。”

Chen等開發的BSV學習框架以多種方式復制了人類大腦的體感-視覺信息融合途徑，表現出三大特點：首先，它的多層、層級結構以人工神經網絡模仿大腦。其次，系統中的部分分段網絡處理模式與大腦中的神經網絡處理模態大致相同。最后，BSV架構具備新開發的稀疏神經網絡融合特征。

在初步評估實驗中，Chen等設計的BSV學習架構的表現優于單式識別方法(只處理視覺或體感數據的方法)。值得注意的是，它能比此前開發的三種多模態識別技術(加權平均融合SV-V，加權強調融合SV-T和加權倍增融合SV-M)更準確地識別人類手勢。

Chen說：“與單式識別和常見多模態識別相比，我們開發的仿生學習架構具有更高的識別精度。而在圖像有噪聲、曝光不足或曝光過度等非理想條件下，它的識別精度也相對更高。”

BSV學習架構可用于制造醫療機器人，或者開發更先進的虛擬現實、增強現實和娛樂技術。Chen說：“BSV獨特的仿生特性使其優于多數現有技術。這已經被實驗結果證實。下一步，我們將嘗試構建基于仿生融合的虛擬現實和增強現實系統。”