不久之前，機器之心AI科技年會在線上召開。杜克大學電子計算機工程系教授陳怡然發表了主題演講《高效人工智能系統的軟硬件協同設計》。

演講視頻回顧：

https://www.bilibili.com/video/BV1yP4y1T7hq?spm_id_from=333.999.0.0

以下為陳怡然在機器之心 AI 科技年會上的演講內容，機器之心做了不改變原意的編輯。

我經常用這張圖，來源于大概 32 年前的一本書《The Age OF Intelligent Machines》，作者是 Kurzweil 博士 ，他當時就預言了未來人工智能所需要的算力發展。我們對這張圖做了些延伸，單個器件上大概能夠集成多少計算能力。過去 100 年，計算能力幾乎呈指數增長趨勢，到現在，比如今天英偉達發布會最新 GPU 的計算，包括上周蘋果發布的 GPU 芯片，基本上可以帶來超過一個人腦級別的計算能力，為我們帶來了非常大的可能。

人工智能計算平臺分很多種，從大家比較熟悉的 GPU、FPGA、ASIC 到新型架構，實際都遵循了一個原則：要么更高效，要么更專業需要更長時間，要么更靈活，不可能在多個維度達到統一，永遠存在一個設計上的矛盾。

比如，在 GPU 上算力最高，功耗也最高。FPGA 上會實現一些非常容易可重構的計算，但能效比可能不是那么好。ASIC 能效比非常好，但需要更長的開發周期 ，基本上是對特定應用做設計，當出貨量比較小的時候，不是特別有效。

大家比較熟悉馮 · 諾伊曼瓶頸，實際上是說計算能力可以通過不斷增加計算單元來實現，但最后瓶頸在于能不能把數據及時給到計算單元。過去四五十年，片上計算能力和片外數據通過存儲帶寬提供給片上的能力差距越來越大，也帶來了 “內存墻” 的概念。當然，實際具體設計中，比如不能及時挪走產生的熱量、不能無限制增大使用頻率等，（這些）都迫使我們尋找新的計算設計。

現在比較熱門的是近存或存內計算設計，想法也非常簡單，既然瓶頸來源于數據間流動，尤其是存儲空間到計算空間的流動，能不能想一些辦法讓計算跟存儲發生在同一個地方？這實際上正好和馮諾依曼體系相對，后者是將兩者分開，這個要合在一起。

為什么可以這么做？因為新型計算，比如神經網絡或圖計算，經常有一方不變，另外一方不斷變化的情況。比如 A 乘上 B，A 不斷變化而 B 不變，這種情況下，可以在存儲 B 的地方進行計算，不需要把數據挪來挪去。

大家進行了非常多嘗試，比如用 DRAM 來做計存。最近，阿里好像也寫了一篇文章講了存內計算，把存儲器設計成可以有計算單元，直接在里面進行相應計算，這都是一些有益的嘗試。與在從外面拿到數據過來進行計算相比，這個計算能效強幾千倍，是非常有希望的未來發展方向。

我們今天講的一些內容與這些相關，包括存內計算深度學習加速器、模型方面的優化，分布式訓練系統以及一些涉及神經網絡架構設計自動化方面的操作。

當你看到存內計算時，第一個想法是把神經網絡參數存到一個地方，數據進到這個地方后直接進行計算，避免數據搬運。一個比較常見的場景是，把這些參數存在一個特殊納米芯片上，（納米芯片里的）一些器件上的阻值可以通過電流或電壓變化（而變化，進而可以被用）來進行編程，表現一個參數。

當涉及一個比較大的矩陣形式，所有輸入跟所有輸出可以在某些交叉節點上進行連接，非常像一個矩陣在神經網絡里面的狀態，所有輸入相當于一個向量，向量乘以矩陣可以看做所有電壓進行輸入，電壓經過電流產生一個合并的電流就是他們所有統計的和。這就以一個非常高效的方式實現了向量跟矩陣的相乘。

過去十幾年，我們在杜克做了大量相關嘗試，并設計了一些芯片。

2019 年我們在 VLSI 發了一篇文章，可以用新型存儲器和傳統 CMOS 進行連接，集成之后可以將比如卷積神經網絡整個映射到這樣一個矩陣狀態里，同時可以選擇精度，進行精度和能效之間的權衡（tradoff）。相比傳統 CMOS 設計，性能最后可以得到幾十倍的提高。

今年在 ISSCC 上我們也有另外一個工作，主要是我們畢業的學生燕博南在北大的一個課題小組工作，這個設計思想還可以放到傳統 SRAM 。這個設計的一個特別之處在于，傳統設計通過電阻進行參數表達，實際上是一種模擬計算方式。換句話說，組織上連續態表達一個參數，這就需要模擬到數字的轉換，數模轉換非常昂貴。而我們在 ISSCC 上的工作：ADC-Less SRAM 實際上是一個二值的整數表達，比如零和一，這就有可能去掉數模轉換，直接實現數字狀態下的計算。這是當時實現的一個技術突破。

可以看到下面這張圖 Digital CIM（最右邊, This Work）, 能效大概可以達到 27.4 （ TOPS/W，8 比特狀態下 ），已經超過原先其他所有設計，整個 density 非常高，在 28 納米工藝情況下，每平方毫米上差不多有上兆的晶體管。

除了電路，還要有架構跟編譯器之間的支持才能夠實現整個計算系統的設計。2014-2015 年之前，我們就開始做相關設計，比如設計編譯器，找到可以用來加速的程序的一部分，同時在片上通過一些方式連接各種各樣的陣列，把大的網絡分成小的網絡，或在不同網絡層（layer）之間進行數值的轉換。

比較值得一提的是，我們經常會在一個大的網絡里遇到很多陣列，至少存在兩種網絡并行計算的方式——數字并行和模型并行。所謂數字并行，是指有很多輸入（input），些數據可以被并行的分到不同運算單元（PE）里面去。對于模型并行來說也是一樣，大的模型可以被分塊進行計算。

但是，這兩種并行的方式并不排他。即使對于一個 Layer 來說，當你把這一個 layer 映射到不同 PE 上，在每個 PE 仍可能采用不同的并行方式。比如下圖用黑點和白點來表達，大部分并行方式是通過模型并行的方式來操作，也有少部分是數字并行。

為什么會這樣？因為只有集成不同并行的分布方式，才能使得在整個算力全部被表達的情況下，所有數字跟數字正好達到一個穩態平衡，整體能效最高。如果是單一表達，有的地方就空了或者算得比較慢，拖累了整個計算。這是 2019 年發表的文章 HyPar。

2020 年我們發現一個新問題，我們實際上沒有太考慮卷積網絡本身的表達，而你經常會在卷積層里一個層一個層地去計算，會有一些中間結果，直到最后才會被用到。這樣一來會產生第三種并行方式，就是 Tensor 并行的方式，比如下圖這種，輸入和輸出各有三種并行的可能。3 乘以 3，總共有 9 種表達方式。

如果考慮到每個 PE 都有 9 種方式進行表達，就沒有辦法通過人工方式進行優化，必須通過自動化方式（比如線性規劃）完成整個系統的表達。同時，你也不可能逐個去找這些表達方式，需要一些的層次化的方式。

比如，先有些大的區分，再由小的區分一直到最后單個表達。如果用三種顏色來做表達，會發現即使在一個層次的映射下也有不同 PE 有不同運行表達來滿足整體上數據流動的最優。這樣，能效就能再推進一倍。

同樣的思路不僅僅可以用到深度學習里面。深度學習只是一個圖計算特例。而任何可用圖方式來表達數據流動的計算都是圖計算，深度學習雖然很豐富但仍然只是圖計算的一種特殊表達。所以，你可以用存內計算方式來進行圖計算。

這是我們另外一個 HPCA 2018 上的工作。我們發現是圖計算，尤其是深度優先或者網絡優先搜索這類算法，可以把他們在矩陣上的表達，用圖計算的方式來實現。相對于在傳統 CPU 平臺上的計算，能效會有上百倍提高。

講完整個架構設計，在算法上如何繼續優化計算能效？下一個例子是結構稀疏化。稀疏化早就被熟知，當神經網絡的一些權重很小或者近乎于零，無論輸入多大，對輸出沒有影響，這個時候，你根本不需要算結果，直接丟掉這個結果（其實是零）就可以了。

2016 年以前，所有針對神經網絡的稀疏化操作基本都是非結構稀疏化，只要你看到一個零，就把它去掉。這就帶來一個問題——所有數據在計算機存儲的時候有一個 locality（局域性），因為有時域跟空域的局域性，當用到一個數，基本上會有一個預期，這個數字會不斷被用到，或者存儲在其周圍的數也會在未來被不斷用到。當你把很多零去掉后，會產生很多洞。當你找到一個數之后，會期待下一個數，但你根本沒有存。整個緩存會陷入一個狀態：不斷到很遠地方把數字弄過來，結果你發現這不是需要的，然后繼續去找。

怎么解決這個問題？做稀疏化的時候，仍然希望把去掉的這些零或者計算，以某種局域性來做表達，比如整行或者整列全部去掉。這樣就可以在滿足存儲局域性的前提下，仍然達到計算優化。

說起來容易，關鍵是怎么做？我們 2016 年 NeurIPS 有篇文章講了結構稀疏化，這篇文章后來也變得很有名。（文章講的是）基本上可以找到這些參數，對應了某種存儲結構，這種結構使得這些數以一塊一塊方式進行存儲。這樣在清零時，把整個行或者列全部清零，仍然能夠在滿足優化條件的前提下同時滿足 局域性。這個可以用在 CNN、LSTM、RNN 甚至一些更復雜計算。這項技術現在基本上已經是神經網絡優化的一個標配。

另一個常用的神經網絡優化是量化. 網絡訓練需要高精度，但推理時并不需要高精度。這就產生了一個很有趣的事情：究竟什么樣的精度，優化是最好的，而且這個精度用什么方式去表達。

傳統上，大家可以逐個去找最佳結果。比如，一個 bit、兩個 bit、四個 bit...... 去找就對了。但你會發現，還要考慮到這個 bit 怎么在存儲進行表達。比如，對這個 layer 來講，當有某個 bit 于所有數字來說都是零，那就不需要存這一整個 bit。舉個例子，只要保證你只要這四個 bit 里的第二個和第四個存在，而不是每個都需要，這就豐富了整個精度的優化。這也是我們第一次將結構稀疏化運用到 bit 水平的稀疏化研究上。

我們用 Group LASSO 的方式，把數據表達里面整個 column 或者整個結構為零的 bit 全部去掉，這樣就極大降低存儲成本。這是我們 2021 年的一篇文章。

再往下就是訓練，這是一個很復雜的事情。我們經常教學生 loss function 要趨近于飽和。但在公司，永遠不可能有足夠的算力讓你算到飽和，基本上給你一百臺機器訓練 24 小時，無論你訓練成什么樣，你都得結束，這使得訓練本身要非常高效。

傳統上我們采取分布式服務器的做法，把模型復制很多遍，但每個復制的模型只用一部分數據來訓練。那么怎么保證最后得到的結果考慮到所有的數據？你就需要把這些神經網絡在訓練中禪城的梯度送到參數服務器里面，做平均之后再發回去來更新本地的神經網絡。這就產生了一個問題：當節點服務器特別多的時候，最后整個系統就完全的被梯度傳輸產生的數據流所占據。

怎么辦？我們后來發現，當參數足夠多的情況下，產生的梯度會滿足某一個分布，根本不需要傳輸原始數據，只需要算分布的一些參數和一些諸如數據多還是少之類的，把他們傳過去，就可以完全在另外一端復制這個分布，得到相應結果。

我們在手機端就完成了這樣一個操作，聯合很多手機進行訓練，同時還可以做推理。

做推理的時候，我們采取了聚類的方式，將那些非零的數字盡量以行列變換的方式調整到一塊兒，然后發到手機上集中進行計算，減少手機間的通信，提高運算效率。

我們曾經跟一家公司做測試，在全球找了幾千個 CDN 網絡服務器，搞了一個 Style Transfer（風格轉換）應用，通過分布計算跟表達完成整個計算，效果非常好?；旧峡梢约磿r通過手機跟服務器聯動，完成整個訓練和推理。

剛才講了這么多，實際上有一個問題：所有這些東西都需要一些非常有經驗、非常貴的工程師來設計相應的神經網絡。這也是現在神經網絡落地成本中非常大的一部分。我們可以通過自動化方式，比如增強學習、優化方式來優化整個神經網絡，因為可以將它模擬成某種優化過程，但這些傳統的優化過程非常昂貴。

我們曾經想通過圖表達的方式來做這個。通過一個有向圖而且是一個沒有環路的有向圖來表達深度神經網絡架構，它有很多個 cell，不同 cell 疊加在一起完成整個神經網絡架構。我們要找的是這個 cell 里面的拓撲結構，來看最后這個神經網絡設計是否滿足要求。這就是一個對拓撲結構比較敏感的研究。

另外，你會發現：當做這些事情的時候，拓撲結構比較相似的神經網絡的準確度也都差不多，有相關性，相關系數雖然不是 1，但基本上也是一個比較高的數。因此，可以通過架構預測這樣一個架構是不是可以滿足我們的性能要求，這種預測可以指引完成整個神經網絡架構的搜索。

這是一些具體結果。我們把一些離散態的架構或者拓撲結構映射到連續態的空間里，產生向量之間的夾角（相似性）作為一個性能的關鍵表達，可以通過這樣方式預測得到優化是什么樣的，不斷接近優化結果。

顯然，這個方式是跟人的設計是相反的，人不是這么設計神經網絡的。人是看哪里有小模型能不能滿足要求，滿足不了再往上加。我們也做過這樣的嘗試，叫 Automated network depth discovery , 設計一些規則，使得你可以從最小網絡不斷往上加，每個層里加不同 layer，或者加很多層，看到什么樣架構最后滿足這個要求。當然，你要設計一些具體規則或者做一些嘗試。

這些嘗試還挺有意思。最后你總能優化到設計平衡前沿面的某一個點上，但沒有辦法固定優化到某一個點，你只能到這個前沿面上的某個點，慢慢讓它自由流動。我們還是沒有足夠的理解，使得我們完全可以控制優化的方向跟范圍。所以，這個工作還需要更深一步研究，我們只是證明了可行性，但沒有對規則的完備性做更多研究。

最后，硬件跟軟件協同設計，有很多參數需要考慮，包括軟硬協同、具體電路跟架構設計、以及算法本身針對硬件的優化。

我們團隊內部做了很多年的積累，從 2012 年開始研究神經網絡在不同硬件上的表達，到后來做架構設計、分布式設計，到自動化設計等，做了非常多的嘗試。大概看到了如何從一個最簡單的表達，一直最后只需到按一個鈕，完成了 AI 軟硬件結合的建設。

謝謝大家！