人工智能的另一方向：基于憶阻器的存算一體技術
本文轉自雷鋒網，如需轉載請至雷鋒網官網申請授權。
過去的十年以深度神經網絡為代表的人工智能技術深刻影響了人類社會。但深度神經網絡的發展已經進入瓶頸期，我們仍處于弱人工智能時代。如何更近一步，跨入強人工智能，敲擊著每一位智能研究者的心。
算法提升，則是走向強人工智能的一個方向；而受腦啟發的硬件設計，則是人工智能的另一方向。
在硬件層面上，智能研究如何從對人腦的研究中受益？隨著我國在類腦計算方面的深入，已有越來越多的學者開始拷問這一問題。
2020年4月25日，在未來論壇青創聯盟線上學術研討中，開展了AI+腦科學的主題討論，共有六位嘉賓發表演講，從Brain Science for AI和AI for Brain Science兩個不同的視角進行前沿討論。
其中來自清華大學的吳華強老師做了題目為“大腦啟發的存算一體技術”的報告。在報告中吳教授介紹到：當思考未來計算的時候，量子計算、光計算是向物理找答案，類腦計算、存算一體是向生物找答案，也就是向大腦找答案。
目前吳老師正在芯片上做電子突觸新器件，做存算一體的架構。新器件方面主要研究的是憶阻器，它的特點是可以多比特，同時非易失，即把電去掉可以保持阻值，并且它速度很快。
另外，吳老師還提到，其用存算一體的計算結構設計的芯片與樹莓派28納米的CPU做過對比，在準確率相當的情況下，前者運行一萬張圖片是3秒，后者是59秒。
吳華強， 清華大學微納電子系教授，清華大學微納電子系副系主任，清華大學微納加工平臺主任，北京市未來芯片技術高精尖創新中心副主任。
吳華強：
我的報告將從硬件的挑戰，研究進展以及展望三方面來介紹大腦啟發的存算一體技術。
人工智能無處不在，從云端到我們手機端都有很多人工智能。不同的人工智能應用對芯片的需求是不一樣的,比如數據中心、汽車無人駕駛要求算力特別高，而智能傳感網、物聯網和手機希望耗能低，追求高能效。不同應用對芯片的不同需求給了芯片領域很多機會。
人工智能的三個發展浪潮和硬件算力也有關系。
從第一款神經網絡Perceptron 網絡AI開始火起來，到70年代進入低谷，一個非常重要的因素是，雖然有很好的理論模型，但是沒有足夠的算力。
后來專家系統出現，第二波浪潮又起來。這時候很多人做專門圍繞人工智能的計算機。同時代摩爾定律快速推動芯片的發展，通用計算機的性能飛速上揚，專業計算機能做的通用計算機也能做，因此逐漸占據市場，第二波浪潮又下去。
第三波浪潮，深度神經網絡的提出到利用GPU加速網絡訓練，GPU成為AI的主要訓練平臺。有了更大的算力，網絡規模快速提升。AlphaGo Zero需要5000個TPU訓練40天才成為地表最強的圍棋選手，花費的時間還是很大的，因此人工智能的廣泛應用需要硬件能力革新，支撐人工智能的發展。
c4b8.jpg" target="_blank">c4b8.jpg" width="auto" border="0" height="auto" alt="" title="">
芯片能提供的算力和人工智能的高需求是很矛盾的。第一臺計算機ENIAC出現在1947年，算力是每秒鐘5000次左右。英特爾2019年的CPU大約是20.8GFLOPS。我們看到它的變化是圍繞著摩爾定律，即每18個月翻一番的集成度來提升算力。但是目前AI的需求是每3.4個月翻一番。因此需要尋找新方法提供算力。
算力提升越來越困難有兩個原因，一是過去摩爾定律是把器件做的越來越小，現在器件尺寸縮小已經接近物理極限了，所以摩爾定律逐漸失效。二是傳統計算架構發展帶來的性能提升日趨緩慢。現代計算系統普遍采用信息存儲和運算分離的馮諾依曼架構，其運算性能受到數據存儲速度和傳輸速度的限制。具體來說，CPU的計算速度小于1納秒，但是主存DRAM是百納秒左右，也就是存儲的速度遠遠低于計算速度。
在能耗上，以TSMC45納米的工藝為例，加減乘小于一個pJ，但是32位DRAM的讀要高達640個pJ，這一比也是百倍的差距。因此存儲速度遠遠低于CPU的速度，而存儲的功耗也遠遠高于CPU的功耗。這還沒有講存儲的寫，寫的功耗會更高。這樣整個系統的性能受到數據存儲速度和傳輸速度的限制，能耗也因為存儲讀的功耗和寫的功耗很大，導致整個系統功耗都很大。
現在可以看到很多新的計算出來了，量子計算、光計算、類腦計算、存算一體。所以當我們要思考未來的計算時，我自己覺得量子計算、光計算是向物理找答案，類腦計算、存算一體是向生物找答案，也就是向大腦找答案。
著名的人機大戰，人工智能選手 AlphaGo用了176個GPU、1202個CPU，功耗是150000W。而我們大腦體積大概1.2L，有10^11個神經元，10^15個突觸，思考的時候功耗是20W。大腦的功耗這么少，這么聰明，這里面還有這么大容量的神經元、突觸。所以我們希望用腦啟發設計新的人工智能芯片。
我們想通過向生物學家學習、向神經學家學習，來看看大腦是如何處理計算的。大腦有幾個特點，一個是有大量的神經元連接性，以及神經元加突觸的結構，一個神經元將近連接了1萬個突觸。第二個它的時空信息的編碼方式是用脈沖的方式。我們希望模仿大腦的結構和工作機制，用脈沖編碼的形式來輸入輸出。
生物突觸是信息存儲也是信息處理的最底層的生物器件。我們想在芯片上做電子突觸新器件，做存算一體的架構。新器件方面我們主要研究的是憶阻器，它的特點是可以多比特，同時非易失，即把電去掉以后可以保持這個阻值，并且它速度很快。還有很關鍵的一點，它和集成電路的CMOS工藝是兼容的，可以做大規模集成。近十年我們一直圍繞這個器件來做其優化和計算功能。
美國DARPA的FRANC項目提出用模擬信號處理方式來超越傳統的馮·諾依曼計算架構，希望帶來計算性能系統的增加。任正非在2019年接受采訪時說，未來在邊緣計算不是把CPU做到存儲器里，就是把存儲器做到CPU里，這就改變了馮·諾依曼結構，存儲計算合而為一，速度快。阿里2020年的十大科技趨勢里提到計算存儲一體化，希望通過存算一體的架構，突破AI算力瓶頸。存算一體的理念也是受大腦計算方式啟發的。
基于憶阻器的存算一體技術可以分為三個階段：第一個階段是單個器件的發展階段。2008年惠普實驗室的Stan William教授首次在實驗室制備了憶阻器，之后美國密西根大學的盧偉教授提出了電子突觸概念，美國UCSB大學的謝源教授提出了基于憶阻器的PRIME存算一體架構，引起廣泛關注。
第二個階段開始做陣列，2015年UCSB在12×12的陣列上演示了三個字母的識別，我們團隊2017年在128×8的陣列上演示了三個人臉的識別，準確率能夠大于95%，同時期還有IBM，UMass和HP等研究團隊實驗實現了在陣列上的存算一體。
第三個階段是存算一體芯片，我們以芯片設計領域的頂會ISSCC上近幾年發表的文章為例，2018年松下展示了多層感知機的宏電路，2019年臺灣地區新竹清華大學和臺積電聯合演示了卷積核計算的宏電路，今年清華和斯坦福合作做的限制玻耳茲曼機宏電路。
也是今年我們清華團隊完成的一個全系統集成的完整的存算一體芯片，從系統測試結果來看，這個芯片能效高達78.4TOPs/W，是相當高的。我們還做了一個對比，一個是存算一體的芯片和系統，一個是用了樹莓派28納米的CPU。我們的芯片跑完一萬張圖片是3秒，而他們是59秒，我們的速度要快很多，準確率卻相當。
今年1月我們在Nature上發表了一個憶阻器存算一體系統的工作。這個工作主要是把多個陣列放在一起組成一個系統，并驗證是否能用作模擬計算來實現AI的工作。我們提出新型混合訓練算法，實現了與軟件相當的計算精度。還提出了新型卷積空間并行架構,成倍提升了系統處理速度。
為什么憶阻器存算一體適合人工智能呢？因為交叉陣列結構特別適合快速矩陣向量乘法。存算一體可以減少權重搬移帶來的功耗和延時，有效地解決目前算力的瓶頸。另外，人工智能更關注系統準確性，而不是每個器件的精度，這特別符合憶阻器和模擬計算的特點。
我們還和畢國強老師合作了一篇綜述文章。利用腦啟發來設計人工智能芯片，我們把大腦從I/O通道，到突觸，神經元，到神經環路，到整個大腦的結構，都和電子器件做了對比。文章題目叫《Bridging Biological and Artificial Neural Networks》，發表在2019年的Advanced Materials上面，如果大家感興趣可以讀這個文章。
展望未來，希望能夠做一個存算一體的計算機系統。以前是晶體管加布爾邏輯加馮·諾依曼架構，現在是模擬型憶阻器加模擬計算和存算一體的非馮架構。
OMT：腦科學是如何助力AI的
在演講報告之后，來自中國科學技術大學神經生物學與生物物理學系系主任畢國強老師，來自北京大學信息科學技術學院長聘教授吳思老師和三位報告演講老師就腦科學已經為AI發展提供了什么思想、方法和技術？有哪些典型案例？做了激烈的討論。
在會上胡曉林提到：有很多工作其實是從腦科學啟發過來，追根溯源到1943年，麥克和皮茨這兩個人第一次提出人工神經元MP神經元，如果沒有他們提出人工神經元，后面的這些CNN等等都是不存在的，他們其實是做神經科學的，他們嘗試發明計算模型并解釋大腦的工作，他們提出了這種邏輯運算的MP神經元。后來Rosenbaltt把MP神經元擴展了一下，得到了多層感知機。后來在1989年、1990年的時候Yan LeCun等人提出來CNN，當時是受了Neocognitron模型的啟發，Neocognitron是日本人Fukushima提出來的，我真的找過他那篇論文，Neocognitron的結構和現在CNN的結構一模一樣，唯一區別是學習方法不一樣，Neocognitron在1980年提出來時還沒有BP算法。Neocognitron怎么來的呢？它是受到一個神經科學的發現，在貓的視覺皮層有簡單細胞、復雜細胞兩種細胞，從這兩種細胞的特點出發構建了Neocognitron嘗試去解釋大腦怎么識別物體的。后來才發展到CNN。MP神經元和Neocognitron這是兩個具有里程碑意義的方法，這是很典型的神經科學給我們AI的啟發的工作，甚至可以說是顛覆性的工作。
坦白說到這次神經網絡、人工智能的騰飛，這次騰飛期間我并沒有看到特別多令人非常興奮的腦啟發的工作，我本人也做了一些這方面的工作，發現目前一些受腦科學啟發的計算模型好像都沒有我剛才說的那兩個模型的意義那么大。希望這個領域能出現一些新的腦啟發的方法，哪怕它們現在的性能非常差，但是十幾年、幾十年以后，它們也許會成為奠基性的工作。
吳思：我們要看我們怎么定義AI。如果泛泛的包括信息理論、動力學系統分析、統計學習等，那么這些都是計算神經科學每天在用的工具，它們一直在助力腦科學的發展。如果一定要強調最新的，比如說深度學習，那么如何將AI用于腦科學是目前的一個研究熱點。國際上有多個組，也包括清華的胡曉林老師，大家把視覺系統當成一個深度學習網絡，然后訓練這個深度學習網絡，同時加入一些生物學的約束，然后用對比的方法看這個系統能學習到什么，進而回答生物視覺認知的問題。
唐華錦：我補充一下吳思老師講的，在傳統上AI提供了很重要的大數據分析工具，視覺神經、視覺皮層，現在的AI提供了很重要的大數據工具，尤其是在高通量的腦成像方面，建立非常精細的腦模型，AI大數據起到重要的作用。還有實時的腦活動的分析上，比如斑馬魚的活動，如何同時實時記錄以及把這些神經元的活動匹配到那些神經元上，這是大量AI深度學習幫助腦科學家在分析數據、統計數據上，包括三維重建，包括樹突、軸突之間連接的結構也會起到非常重要的作用，AI還是提供了很好的工具在深入的解釋上面。
