這個新型AI電子器件沒有硅!能模擬大腦神經元,還登上了Science
本文經AI新媒體量子位(公眾號ID:QbitAI)授權轉載,轉載請聯系出處。
用鈣鈦礦取代硅研制電子器件,居然還能被用來完成AI計算???
眾所周知,鈣鈦礦作為一種重要的材料,摻雜后主要用于生產SCI及博士論文(手動狗頭)。
這次被用在開發新型AI電子器件上,還登上了Science,結果讓人眼前一亮:
其心律識別任務的平均性能是傳統硬件的5.1倍,并且還能靈活模擬動態網絡、降低訓練能耗。
用神經形態計算降能耗
這項研究主要是通過向鈣鈦礦中摻入不同量的氫,來模擬人類神經元活動,從而完成不同機器學習任務。
這主要是基于鈣鈦礦自身的特性。
鈣鈦礦具備獨特的晶體結構,很容易吸收氫離子。氫離子的加入可以改變材料的導電性,由此也就可以讓材料制備成一種可切換狀態的AI電子器件。
在這里研究人員使用了一種混合了釹和鎳的鈣鈦礦材料。
通過向這一材料中混合不同含量的氫離子,來改變元件的不同狀態,以此實現對大腦神經元活動的模擬。

具體來看,在這種材料中加入大量氫離子后,它的電子最終會轉移到鎳原子上,導致原子電性發生改變,進而影響材料的導電性。
這時,施加外部電場可以控制氫的電子轉移;再控制氫的含量,則可以讓該電子元件在4種不同模式之間切換。
這4種模式分別是神經元模式、突觸模式、電阻器模式和記憶電容器模式。

其中,在不摻雜或少量摻雜氫離子的情況下,該材料處于電阻器模式,可以用來存儲和處理信息。
在經過一個電子脈沖刺激后,該硬件可切換到記憶電容器模式。記憶電容器是模仿大腦結構神經網絡系統的常見元件。
神經元模式會積累多個信號,此時元件電阻會發生明顯變化,可以模擬人類大腦神經元被刺激時的活動狀態。
突觸模式則是根據神經元信號的強度來轉換輸入。
之所以會想到向鈣鈦礦這種材料中摻入氫,是因為研究人員想要利用神經擬態計算來構建這一新器件。
這是一種不同于普通馮·諾依曼計算體系的結構,它主要通過模擬人腦神經元和突觸的活動來完成機器學習任務。
它最大的好處就是可以降低計算能耗,這對于解決未來更復雜、更大規模的AI計算具有重大意義。
由此一來,在進行AI計算時,便無需在硬件上激活、關閉不同的部分,只需控制硬件調整到相應模式即可。
研究人員還表示,這種電子器件的內部是亞穩定狀態,可以保持6個月不用替換氫離子。
實驗結果
那么,這種硬件在不同神經網絡中的表現如何?就成為了驗證其性能的關鍵。
在這里,研究人員使用了兩個神經網絡作為測試。
第一個是一種儲層計算網絡,這是一種模擬人類大腦運作方式的機器學習系統。
它的運作過程是將信息輸入到一個儲層,其中的數據以各種方式連接在一起,然后這些數據再被送出儲層進行分析。
由此一來,該網絡也就無需預訓練大量數據,僅對輸出前的最后一層網絡做梯度下降即可。
其中的關鍵儲層,將分別用此次提出的新電子器件和傳統硬件來完成運算。

與傳統理論儲層和實驗儲層相比,這種新型儲層(H-NNO)在MINIST(手寫數字識別)、SpokenDight(音頻數字識別)、ECGHeartBeat(心率識別)三個任務上都能使用更少的設備、實現相同的性能。
平均性能則分別高出1.4倍、1.2倍和5.1倍。

此外,基于這一新型電子器件設計的動態神經網絡,在處理增量學習上的表現也非常好。
如下網絡(GWR)是一個可以識別紅鳥、黃鳥的系統。理想狀態下,當網絡檢測到新類型(藍鳥)的輸入時,系統會通過增加節點的方式來擴大網絡規模。
如果其中任何一類動物長時間沒有出現在輸入中,其對應的節點也會隨之關閉,以此來節省能耗。

研究人員繼續使用了手寫數字識別這一數據集來進行測試。
首先,他們讓網絡識別0-4范圍內的數字。然后將范圍擴大到0-9訓練一段時間,之后再只識別0-4。
結果顯示,隨著后來5-9的數字不再出現,網絡中的相關節點也在逐漸關閉。
下圖i-iii中,數字表示對應打開節點,黑色區域則表示關閉的節點。

再將這一動態神經網絡與靜態網絡對比,研究人員發現在增量學習場景下,對于MNIST、CUB-200兩個數據集,動態網絡的表現都更好。
從如下圖B-E中可以看到,在MINIST數據集測試中,動態網絡最終準確性是靜態網絡的2.1倍;數據集CUB-200的最終準確性則是靜態網路的2.5倍。

北航張海天教授為共同一作及通訊作者
北京航空航天大學張海天教授為該論文的共同一作及通訊作者。

他博士畢業于美國賓夕法尼亞州立大學材料科學與工程專業。
2018年獲得美國吉爾布雷斯學者基金(Gilbreth Research Fellow),于普渡大學工程院開展獨立研究工作(合作教授:Shriram Ramanathan以及Kaushik Roy)。
去年9月,張海天全職加入北京航空航天大學材料科學與工程學院。
主要研究領域為功能相變材料的調控及神經計算學器件應用、磁性功能材料、納米材料等。
論文鏈接:
https://www.science.org/doi/10.1126/science.abj7943

































