OpenAI最近對不同時期***型的AI試驗所消耗的計算量進行了調查分析。結果發現，跟6年前相比，AI訓練所需的計算量整整增長了30倍，相當于每3.5月就翻番。這種指數增長速度是驚人的，但是考慮到硬件投入、電耗支出等開支(比如目前規模***的AI試驗AlphaGo Zero的訓練開銷估計達1000萬美元)，這種趨勢還能持續多久呢?

Ryan Carey通過分析得出結論說不會超過3.5-10年。但是哪怕這種趨勢還能繼續延續這么久，AI也能突破一些實現一般人工智能(AGI)所需的計算量。 

我們知道，過去幾年AI試驗使用的算力要比之前多得多。不過就在上個月，OpenAI進行的一項調查對這種發展速度有多快做出了一些初步估計。通過對AlphaGo Zero與AlexNet進行比較，他們發現現在***型的試驗是6年前***型試驗規模的300000倍。此間每年的***型試驗規模都呈現出指數性增長，每3.5月就翻番。

按照這種AI計算趨勢，試驗的增長率之快令人詫異，值得進行一些分析。本文將探討兩個問題。***個是如果試驗規模還是增長得這么快的話，很快就會變得承受不起，所以這種趨勢將漸近結束。除非經濟被徹底重塑，否則這種趨勢頂多只能維持3.5到10年，具體要看開支水平以及計算成本如何變化。第二個問題是如果這種趨勢能再維持3.5年，則用于AI試驗的計算量就會超過一些有趣的里程碑。尤其是，一次試驗所用的計算將超過利用尖峰神經元模擬人腦 18年思考所需的總量。大體而言，我們可以說這種趨勢將超過達到成人智力水平所需的水平，如果賦予同等效率算法的話。在(1)、(2)節里，我將相應探討這些問題，而在(3)節，我會討論一下這一分析的限制并且權衡這一工作將如何影響AGI的預測。 

縱軸：AI訓練所需的計算量，單位千億次浮點運算

1、這個AI計算趨勢還能維持多久?

要想弄清楚這種AI計算趨勢在經濟上還能持續多久，我們需要知道三件事情：試驗成本的增長率，目前試驗的成本，以及未來一次試驗可以承受的***開支。

***型的試驗每3.5個月規模就翻番(每年大概增加一個數量級，也就是10倍。時間測算=LOG(10,2)*3.5/12=0.9689年，約為1年)，而每計算單位的成本大概是每4-12年下降一個數量級(長期趨勢是每4年成本改進10倍，而近期趨勢是每12年成本改進10倍)。所以***型試驗的成本每1.1-1.4年就增加一個數量級。

目前規模***的試驗是AlphaGo Zero，其成本可能是1000萬美元。

當然，試驗規模能到多大要取決于誰來做。最有錢的玩家大概是美國政府。之前，美國用了GDP的1%來進行曼哈頓項目，而實施阿波羅計劃期間往NASA投入了~0.5%的GDP。那我們就假設類似地投入到AI試驗的***開支也能占到GDP的1%，也就是2000億美元。鑒于一個數量級的增長所需時間為1.1-1.4年，而初步試驗規模為1000萬美元，那么按照AI計算趨勢預測在5-6年時間內我們就將看到成本達2000億美元的試驗。那么鑒于未來(美國)經濟狀況跟目前類似，屆時將是這股AI計算趨勢的終結。

我們還可以考慮一下如果政府不參與的話這種趨勢能持續多久。鑒于私營企業規模較小，其遭遇經濟門檻也會快一點。其中***的是科技公司：Amazon和Google目前的研發預算大概是每年200億美元，那么我們可以假設政府以外***的獨立試驗是200億美元。則私營板塊大概能跟上AI計算趨勢的時間為政府的3/4，也就是約3.5到4.5年。

另一方面，特定硬件的研發也可能令計算成本變低，因此導致趨勢維持更久一點。如果一些新硬件讓計算便宜1000倍并且突破性價比摩爾定律的話，則這種經濟門檻還能維持得久一點，大約還能持續3-4年。

為了讓AI計算趨勢維持真正長的時間(超過10年)，經濟產出必須以每年增長一個數量級的速度發展。這的確是非常極端的情況了，但也不是不可能，主要一點是要看某些極其強大的AI技術能不能帶來大規模的經濟收益。

當然，重要的是要清楚這些數字都是上限，所以并不能排除AI計算趨勢更快停止(比方說如果AI研究被證明經濟性不如預期的話)的可能性，不管是突然中止還是慢慢停下來。

小結：AI計算快速發展的趨勢難以為繼，基本上無法超過3.5到10年。

2、AI計算趨勢什么時候有可能突破AGI相關的里程碑?

第二個可以得出的結論是，如果AI計算趨勢繼續當前的節奏的話，就會突破某些有趣的里程碑。如果AI計算趨勢繼續3.5-10年，則***型試驗的規模預計將達到10^7-5×10^13 Petaflop(千萬億次浮點運算)/日，那么問題就是在該水平之下能達到哪些里程碑。哪些里程碑可能會給AGI的發展做出貢獻仍然是個爭議話題，不過這里有3個候選：

• 模擬兒童期間人類大腦所需的計算量
• 模擬人腦下圍棋，直到Alphago Zero成為超人所需局數所需的計算量。
• 模擬人腦進化所需的計算量。

人類兒童的里程碑

對于創造出人工智能所需的計算量，一個自然的猜想是人腦所用的計算量。假設AI有(相對于人類)：

• 類似的效率算法來學習執行不同任務(各有不同的計算和數據)
• 內置到它的架構里面的類似知識，
• 類似的數據
• 足夠的計算去模擬人類大腦運行18年，以足夠細的顆粒度去捕捉大腦的智力表現。

然后，AI應該就能夠像一位18歲的青少年一樣解決類似范圍內的問題了。

模擬大腦一秒鐘所需的每秒浮點運算數量有很多測算。AI Impact收集的數據得出的中位數是1018 FLOPS(用霍奇金-哈斯利Hodgkin-Huxley方程來模擬)，范圍在3×10^13FLOPS(Moravec的估計)與1×10^25FLOPS(模擬代謝組)之間。運行這樣的模擬18年相當于700萬Petaflop。(范圍在200-7×10^13 Petaflop/s之間)。

那么按照最短的估計，比如Moravec的估計，我們的計算已經足以超過人類兒童的里程碑了。而按照中位數測算以及Hodgkin-Huxley測算的話，我們將在3.5年內到達里程碑。

AlphaGo Zero游戲里程碑

關于人類兒童里程碑的一個異議是AI系統目前比人學得慢(“slower-learners”)。AlphaGo Zero下了250萬局圍棋才變成超人，也就是說如果一局需要1小時的話就得下300年的圍棋游戲。我們也許會問，像人腦這么復雜的東西要是運行300年而不是18年的話得要多久。答案是：為了達到這一里程碑，趨勢在達到人類兒童里程碑之后還得再繼續14個月。

大腦進化里程碑

一個更加保守的里程碑是模擬所有神經進化所需的計算量。2012年Shulman和 Bostrom介紹了一種辦法，那就是看看模擬神經系統進化的成本。這需要模擬10^25 個神經元10億年間的進化。Shulman和 Bostrom估計模擬一個神經元1秒鐘的成本是1-10^10次浮點運算，這樣的話模擬進化的總成本就是3×10^21-3×10^31Petaflop/日。這個計算量太龐大了，等到AI計算趨勢結束的時候也還遠遠達不到。所以AI計算趨勢并不能改變Shulman和 Bostrom做出的結論，即距離我們能模擬地球上的大腦進化還遠著呢——哪怕開支可以快速增長也不行，這一計算里程碑需要摩爾定律再發展好幾十年才可能達到。

總的說來，我們可以看到盡管大腦進化里程碑遠遠超出AI計算趨勢之所能及，但其他的里程碑則未必。按照其中一些估計——尤其是代謝組估計的標準，人類兒童和AlphaGo Zero游戲里程碑也沒法達到。但如果未來幾年AI計算趨勢繼續下去的話，人類兒童與AlphaGo Zero游戲里程碑就能實現。

3、討論與限制

根據這一分析，自然就要提出一個合理的問題：為了預測AGI，我們最應該關注哪一個里程碑呢?這個問題的不確定性太大了，不過我想形成AGI要比大腦進化里程碑容易些，但是那種AGI可以在AlphaGo Zero游戲里程碑達到之前或者之后實現。

***點是銀為大腦進化里程碑假設算法發現的過程必須由AI自己執行。但對我來說人類設計師以毫無計算成本(或者相對于模擬進化所需成本不值一提)的方式提供適當算法(或者大部分)似乎更有可能。

第二點，評估AGI相對AlphaGo Zero游戲里程碑的難度要復雜一些。有人認為AlphaGo Zero游戲里程碑使得AGI看起來太簡單了，但我們必須考慮到教會機器一般智能需要比教會機器下圍棋有更多的訓練例子。為了執行范圍很廣的各類任務，有必要考慮更大范圍的依賴性以及了解一個更加復雜的從動作到實用工具的映射。這件事可以進一步探索——通過比較各種已解決的AI問題的樣本效能，然后基于一般智能的復雜程度要高多少來推斷AGI的樣本效能。然而，還有一些原因導致AlphaGo Zero游戲里程碑也許讓事情變得太困難了。首先，AlphaGo Zero并未使用任何已有知識，而AGI系統可能是需要這個的。如果我們看看當初的AlphaGo的話，它所需要的局數相對于AlphaGo Zero來說本來是應該少一個數量級的，而更一般的學習任務可能還能進一步提升效能幅度。其次，通過模擬人腦的做法可能會有1到多個數量級的保守性內置。基于目前的硬件配置來模擬人腦來執行其計算功能可能效率會相當低：也即是說，人腦也許只使用所需的其中一小部分的計算來模擬。所以很難判斷達到AlphaGo Zero里程碑對于AGI來說究竟是太早還是太晚了。

還有一個原因可以更加確保AGI的實現也許也許6年以上的時間。我們只需要看看AI計算趨勢然后問問自己：AGI跟AlphaGo Zero的關系是不是像AlphaGo Zero跟AlexNet(編者注：AlexNet是2012年誕生的)那樣近呢?如果我們認為***對的差異大過第二對的差異的話，那我們就應該認為AGI不是6年的時間可以實現的。

總之，我們可以看到AI計算趨勢是一個極其高速的發展趨勢，快到經濟力量(假設GDP不會出現大幅增長)在3.5到10年之內就無法跟上的地步。但哪怕還能維持幾年，這股趨勢的發展也已經夠快了，快到可以突破某些貌似相當于AGI需求的計算里程碑。其中就包括利用Hodgkin Huxley神經元模擬人腦思考18年所需的計算量。然而，其他的里程碑在經濟因素導致AI計算趨勢終止前都無法實現。比方說這里的分析表明我們(至少)在幾十年內都無法擁有足夠的算力來模擬人腦的進化。