“天機”今登Nature封面：清華施路平團隊發布全球首款異構融合類腦芯片！
清華大學開發出全球首款異構融合類腦計算芯片——“天機芯”，由該芯片驅動的的“無人駕駛自行車”登上了最新一期Nature封面！
這項研究由依托精密儀器系的清華大學類腦計算研究中心施路平教授團隊進行，演示了一輛由新型人工智能芯片驅動的自動駕駛自行車。
基于此研究成果的論文“面向人工通用智能的異構天機芯片架構”（Towards artificial general intelligence with hybrid Tianjic chip architecture）作為封面文章登上了8月1日《自然》（Nature），實現了中國在芯片和人工智能兩大領域《自然》論文零的突破。
天機芯片5x5陣列擴展板
現階段，發展人工通用智能的方法主要有兩種：一種是以神經科學為基礎，盡量模擬人類大腦；另一種是以計算機科學為導向，讓計算機運行機器學習算法。二者各有優缺點，目前將兩者融合被公認為最佳解決方案之一。發展一個二者融合的計算平臺將是推動融合的一個關鍵。新型芯片融合了兩條技術路線，這種融合技術有望提升各個系統的能力，推動人工通用智能的研究和發展。
這種混合芯片被命名為“天機芯”(Tianjic)，有多個高度可重構的功能性核，可以同時支持機器學習算法和現有類腦計算算法。
研究人員用一個自動行駛自行車系統驗證了這一混合芯片的處理能力。
這是一個異構可擴展人工通用智能開發演示平臺，利用一塊天機芯片，展示了自行車的自平衡、動態感知、目標探測、跟蹤、自動避障、過障、語音理解、自主決策等功能。
語音控制“左轉”
施路平教授表示，這只是非常初步的一個研究，但這項研究或能為面向人工通用智能計算平臺的進一步發展起到促進作用。
接下來，新智元帶來對這一突破性研究的詳細解讀，以及對施路平團隊的采訪。
一般認為，實現通用人工智能（AGI）有兩條路：分別為計算機科學導向和神經科學導向。由于這兩條路的思路、理念和實現方案存在根本差異，分別依賴于不同開發平臺，彼此互不兼容，這給AGI技術的開發造成很大阻礙。目前迫切需要一個同時支持兩種方法的通用平臺。
施路平團隊開發的“天機芯”(Tianjic芯片)就做到了這一點，可以為AGI技術提供一個混合協同的開發平臺。
Tianjic芯片和測試板
Tianjic芯片采用眾核架構、可重構功能核模塊和混合編碼方案的類數據流控制模式，不僅可以適應基于計算機科學的機器學習算法，還可以輕松實現受大腦原理啟發的神經計算模型和多種編碼方案。
僅用一個芯片，就可以在無人駕駛自行車系統中同時處理多種算法和模型，實現實時目標檢測、跟蹤、語音控制、避障和平衡控制。這一研究預計可以為通用性更高的硬件平臺發展開拓新的道路，促進AGI技術的開發。
鑒于目前機器學習和神經科學的進步，AGI系統至少應具有以下特征：
-
能夠支持在神經網絡中進行豐富的空間、時間和時空關系的表達。
-
支持分層、多粒度和多域網絡拓撲架構，不限于某一專門的網絡結構。
-
支持各種模型，算法和編碼方案。
-
支持多個專用神經網絡的交織合作，這些神經網絡可能是為并行處理不同任務而設計的。
這些特征需要在一個通用化的平臺中高效地運行，即能夠在統一框架中實現對主流的人工神經網絡（ANN）以及受神經科學啟發的模型和算法的支持。
圖1：實現AGI開發的混合路線
為了支持這些功能，團隊開發了一種跨范式計算平臺，可以適應面向計算機科學和神經科學的神經網絡（圖1），兼容各種神經模型和算法，尤其是基于生物學的（如脈沖神經網絡，即SNN）要素。
通常，ANN和SNN在信息表示、計算原理和記憶組織方面具有不同的建模方式（如圖2a所示）。二者最大的差異是，ANN以精確的多位值來處理信息，而SNN使用二進制脈沖序列。ANN神經元和SNN神經元之間的實現比較如圖2b所示。
另一方面，ANN和SNN神經元之間也存在一些相似之處，這就為模型間的融合留下了空間。通過對ANN和SNN的神經網絡模型進行詳細比較，將計算模型解析并對應到相關的神經元功能模塊上 - 即軸突、突觸、樹突和胞體，從而構建一個跨范式的統一神經元方案（如圖2c所示）。團隊設計了同時適用兩種方案的突觸和樹突，而軸突和體細胞通過獨立重構來改變功能。
圖2d是一個完整的單功能核（FCore）示意圖，包括軸突、突觸、樹突、胞體和路由部分。為了實現深度融合，幾乎整個FCore都可以重新配置，以便在不同模式下實現高利用率。FCore能夠涵蓋大多數ANN和SNN使用的線性積分和非線性變換操作。該芯片上的FCores以二維2D網格方式排列，如圖2e和2f所示。
Tianjic芯片和其后端布局圖如圖3a所示。芯片由156個FCore組成，包含大約40000個神經元和1000萬個突觸。Tianjic芯片采用28納米半導體工藝制造，面積為3.8×3.8平方毫米。每個獨立模塊占用的芯片面積，包括軸突，電流，信號，路由器，控制器和其他芯片開銷，如圖3b所示。由于資源可以重復使用，用以兼容SNN和ANN模式的區域僅占總面積的3%左右。FCore的功耗分解如圖3c所示。
圖3 芯片評估和建模摘要示意圖
Tianjic能夠支持多種神經網絡模型，包括基于神經科學的網絡（如SNN，以及基于生物學啟發的神經網絡）和基于計算機科學的網絡（如MLP，CNN和RNN等）。圖3d所示為在Tianjic芯片上測試不同網絡模型與通用處理單元的測試結果。
如圖3e所示，具有樹突中繼的混合神經網絡可突破傳統神經形態芯片Fan in/fan out的限制，避免SNN網絡的精度損失（+11.5％）。采用這種混合模式增加的額外開銷小到可以忽略不計，因為Tianjic可以自然地在FCore中實現異構轉換。使用Tianjic還可以探索更具生物學意義的認知模型（如圖3f所示）。
語音控制，自動避障，這輛無人自行車很秀
為了證明構建類腦跨范式智能系統的可行性，團隊利用無人駕駛自行車發展了一個異構可擴展人工通用智能開發展示平臺，在一塊Tianjic芯片內并行部署并同時運行多個專用網絡。
實驗中的自行車配備了多種算法和模型，能夠執行實時物體檢測、跟蹤，語音命令識別、加速、減速、躲避障礙、控制平衡和決策等任務（圖4a）。
自動行駛自行車演示平臺
要實現這些任務，需要克服三個主要挑戰：
首先，在室外自然環境中成功檢測并平滑跟蹤移動目標、跨越減速帶，并在必要時自動避開障礙物。
第二，需實時響應平衡控制、語音命令和視覺感知產生實時電機控制信號，以保持自行車在正確的方向上運動。
第三，實現多種信息的集成處理和快速決策。
圖4：基于Tianjic芯片多模型整合平臺的無人駕駛自行車各項測試結果
為了完成這些任務，團隊開發了幾個神經網絡，包括用于圖像處理和物體檢測的CNN，用于人類目標跟蹤的CANN，用于語音命令識別的SNN，用于姿態平衡和方向控制的MLP，還有用于決策控制的混合網絡。
由于芯片的分散式架構和任意路由拓撲，Tianjic芯片平臺可以實現所有神經網絡模型的并行化運行，并實現多個模型之間的無縫通信，使自行車能夠順利完成這些任務。圖4c顯示響應不同語音命令的輸出信號。
圖4d顯示自行車在跟蹤、避障和和“S形”曲線行進時的輸出控制信號。圖4e為基于物理量度的不同速度下的車輛姿態和轉向控制的學習情況。
Tianjic芯片可以同時支持基于計算機科學的機器學習算法和基于神經科學的生物學模型，可以自由地集成各種神經網絡和混合編碼方案，實現多網絡之間的無縫通信，包括SNN和ANN。
總而言之，本文介紹了一種新穎的類腦計算的芯片架構，通過將交叉范式模型和算法集成到一個平臺上來實現靈活性和擴展性。希望這一研究成果能夠加速AGI的發展，推動新的實際應用的發展。
對于這項研究中大家比較關心的幾個問題，清華大學精密儀器系教授施路平、清華大學精密儀器系副研究員裴京、加州大學圣塔芭芭拉分校博士后鄧磊代表研究團隊接受了媒體的采訪。
問：研究中遇到的最大的挑戰是什么？
施路平：我們是從2012年就開始孕育這項研究，遇到了很多的挑戰，但是我們認為，最大挑戰不來自于科學、也不來自技術，而是在于學科的分布不利于我們解決這樣的一個問題，所以我們認為多學科深度融合是解決這個問題的關鍵。所以在這項研究當中，我們組成了一個多學科融合的團隊，由七個院系組成了一個類腦計算研究中心，覆蓋腦科學、計算機、微電子、電子、精儀、自動化、材料等。在這里，特別感謝清華大學校各位領導對跨學科建設的大力支持，這是本項目取得成功的關鍵。
鄧磊：在芯片方面，遇到的最大挑戰是如何實現深度和高效的融合。我強調兩點：
第一，是深度和高效。目前比較火的神經網絡模型有兩類，一類是從計算機科學來的，一類是從腦科學來的。這兩種模型的語言有很大不同，它們有不一樣的計算原理，有不一樣的信號編碼方式，也有不一樣的應用場景，所以它們所需要的計算架構和存儲架構是非常不一樣的，哪怕設計的優化目標都是很不一樣的，這一點可以從目前我們能看到的一些深度學習加速器，還有一些神經形態芯片，它們基本上設計體系都是獨立的。因此可以看出，深度融合并不簡單，并不是說設計一個深度學習加速模塊、再設計一個神經形態模塊、再把它們拼到一起就可以了，這樣是行不通的，我們很難確定每部分的比例是多少，因為現實中的應用是復雜多變的，這不是高效的。
第二，如果構建一個異構的混合模型，可能還需要在兩個模塊之間有專門的信號轉換單元，這又會有很多額外的成本，所以，如何設計一套芯片架構來兼容這兩類模型，而且又可以靈活的配置和具有高性能，這也是我們芯片設計中的挑戰。
問：為什么選擇無人自行車作為一個切入點？
施路平：自行車是為我們芯片服務的。當時我們經過了反復的深入討論，確定要開發一款什么樣的應用平臺來展示我們這樣一個異構融合新的功能，這是一件不容易的事情。我們有四點考量：
第一，我們希望這是一個有點類似大腦的一個多模態系統，而不是像現在AI的一些做算法，只做單一應用。我們希望這是一個覆蓋感知決策和執行的完整的鏈路，這樣才能夠給我們異構融合的多種模型提供支撐，所以這是與單一模型不同的。
第二，我們希望這個也是能夠與真實環境交互的，而不是說在機房里面做一下實驗或者在電腦里做一套仿真。我們希望它能夠是一個真實環境交互。
第三，我們希望這個系統它最好是對我們的處理芯片是有功耗和實時性要求的，這樣才能夠體現我們專用芯片的優勢。
第四，是因為我們要通過做反復的實驗，我們希望這個系統是可控的、可擴展的。
通過考量上述幾點，我們最終選擇了無人自行車平臺，讓它有語音識別的功能、有目標探測追蹤的功能，可以運動控制、避障、自主決策。所以它看起來雖然很小，但實際上是一個五臟俱全的小型的類腦計算平臺。
問：類腦可以超越人腦嗎？
施路平：大家對于類腦技術能否超越人腦這方面很感興趣。實際上這就和大家始終在問電腦如何來超越人腦一樣。
電腦早就超越了人腦，只是說在哪些方面。我們大家現在認為天才所具有的那些我們嘆為觀止的能力，其實現在的電腦是很容易來實現的，比如說記得快、記得準、算得快、算得準等等，在這些方面，對于計算機來講都是小兒科。
但是目前在很多智能的層次，特別是對于不確定性的問題，對于比如說學習、自主決策等很多領域，計算機和人腦還是有相當大的距離。
計算機會逐漸的縮小差距，至于最后能否全面的超過人腦，我個人覺得從技術的層面會越來越多，因為計算機的發展有一個特點，就是它從不退步，它一直往前走。但是我相信我們人是有智慧的，我們會在發展的過程當中來逐漸的完善我們對于研究領域的一個理解，來把控它的風險，因為我相信人們之所以對這個問題重視，是因為我們擔心會不會像科幻電影說的那樣毀滅人類。
實際上，能毀滅人類的東西我們早就已經造出來了，就是核武器，但是為什么現在它沒有毀滅人類？是因為我們掌握它、我們可以控制它。像類腦計算、強人工智能、人工通用智能這些東西，我們相信人類可以很好地利用我們的智慧來規范它的發展的路徑，來讓它造福于我們人類，最大限度的避免那些風險。
本文合作單位包括北京靈汐科技有限公司、北京師范大學、新加坡科技與設計大學和美國加州大學圣芭芭拉分校。
