AGI到底是科技公司畫的大餅，還是可預測的未來？

幾天前，Anthropic一名25歲的高管在博客上發文，表示自己已經準備好了3年后退休，讓AI取代自己的工作。

最近，OpenAI前員工的一篇博客文章也有類似的觀點。

圖片

他不僅認為AGI很可能實現，而且「奇點」預計就在2027年。

文章作者名為Leopold Aschenbrenner，于2023年入職OpenAI超級對齊團隊，工作了1年6個月。

Aschenbrenner認為，到2027年，大模型將能夠完成AI研究人員或工程師的工作。

他的論據也很簡潔直觀——你不需要相信科幻小說，只需要看到圖上的這條直線。

畫出過去4年GPT模型有效計算量的增長曲線，再延伸到4年后，就可以得出這個結論。

圖片

距離GPT-4發布已經過去了一年多的時間，包括Gary Marcus和Yann LeCun在內的很多人都不再對模型的Scaling Law深信不疑，甚至持否定態度。

雖然我們看起來正在碰壁，但Aschenbrenner提醒我們：往后退一步，看看AI已經走了多遠。

直覺上，我們可以將模型能力類比為人類的智能水平，從而衡量AI能力的進步：從2019年學齡前兒童水平的GPT-2，到2023年聰明高中生水平的GPT-4，OpenAI只用了4年。

用4年從學齡前讀到高中，是人類智力發展速度的3倍不止。

圖片

GPT-2只能寫出一個半連貫的段落，幾乎不能順利地從1數到5。在文章總結任務中，生成的結果只比隨機選3個句子稍微好一點。

圖片

GPT-3能生成更長、邏輯更一致的段落，具備了少樣本學習能力，還可以完成一些基本的算術或代碼任務。

圖片

GPT-4不僅可以思考和推理數學問題，還能編寫復雜的代碼并迭代調試。語言能力也是飛躍性的提高，不僅能在更長的文本中實現邏輯和內容的一致，也能掌握各種復雜話題。

在所有測試中，GPT-4都能擊敗絕大多數高中生，包括AP和SAT分數。

圖片

從基準測試的角度衡量，可以看到下面這張圖。

根據Contextual AI去年7月發布的研究結果，AI在語言理解、閱讀理解、文字細微差異的解釋、圖像識別等方面的能力都已經超過了人類表現。

圖片

預測性推理、一般性知識測試和解決數學問題等任務上也與人類水平接近。

此外也可以看出，在模型能力增長得越來越快的同時，基準測試愈發捉襟見肘。

過去需要幾十年的時間才能達到飽和的基準測試，現在只需要幾個月。

2020年，MMLU測試發布，相當于高中和大學的所有最難考試的水平，研究人員希望它可以經得起時間考驗。

結果僅僅三年后，LLM就幾乎解決了這個測試，像GPT-4和Gemini這樣的模型可以獲得超過90%的評分。

數學測試也是一樣的趨勢。

2021年MATH基準發布時，SOTA模型只能正確回答約5%的問題。

當時很多研究者都認為，算法方面的根本性突破才能提升模型的數學能力，未來幾年能取得的進展非常微小。

圖片

2021年，研究人員對模型未來在MATH數據集上的表現給出了非常悲觀的預測

然而，又一次超乎所有人的想象。2022年一年的時間內，模型準確率從5%上升到50%，最近的SOTA可以達到90%。3年前公認難度很高的基準測試，很快飽和。

基準測試似乎也無法跟上模型的速度了。

為了更嚴謹地評估深度學習的發展速度和趨勢，作者使用了OOM指數，即「計算數量級」（order of magnitude）。

不僅要考量模型的算力和算法效率，作者還引入了一種新的概念，「解開收益」（unhobbling gains）。

算力規模

剛剛結束的ComputeX大會上，英偉達、AMD紛紛宣布了芯片年更計劃。

這說明了什么？大模型性能呈指數級增長，對算力需求也在不斷放大。

而在微軟Build大會上，CTO Kevin Scott更是用海洋動物形象地闡述了，OpenAI模型進階對算力的吞噬之極。

圖片

提到算力增長，很多人的第一反應會認為，這是摩爾定律的延伸。

然而作者指出，事實并非如此。AI硬件的改進速度遠遠快于摩爾定律。

大模型時代來臨前，即使摩爾定律處于鼎盛時期，每10年也僅有1-1.5個OOM的增長。

但現在，每年都有0.6個OOM的增長，比曾經摩爾定律的5倍還多。

圖片

Epoch AI對著名深度學習模型的訓練算力進行估算

以GPT系列為例，GPT-2到GPT-3實現了設備的過渡，從較小的實驗設備變成了數據中心，一年內增長了2個OOM。

GPT-4延續了這種戲劇性增長，而且從OpenAI囤積芯片的動作來看，這個增長速度會逐漸演變為長期趨勢。

這種龐大的增長，并不能主要歸因于摩爾定律，而是投資算力的熱潮。

曾經，在一個模型上花100萬美元是令人發指的想法，沒有人會接受；但現在，這只是科技巨頭囤芯片、訓模型的零頭。

過去一年里，科技巨頭們談論的話題已經從100億美元計算集群轉向1000億美元集群，再變成萬億美元集群上的競爭。

每隔六個月，董事會的計劃里，就會增加一個「0」。

作者預估，「在這個十年結束之前，將有數萬億美元投入到GPU、數據中心和電力建設中。為支持AI的發展，美國至少將電力生產提高數十個百分點」。

圖片

隨著AI產品收入的快速增長，谷歌、微軟等公司在2026年左右的年收入可能達到1000億美元。

這將進一步刺激資本，到2027年，每年的AI投資總額可能超過1T美元。

圖片

時間線再拉遠，到2028年，單個訓練集群就需要耗資千億美元，比一個國際空間站還貴。

而到本世紀末，一個集群就能吞掉1T美元，每年產出上億個GPU，AI所需電力占美國發電總量的百分比，將從現在的不到5%上升到20%。

算法效率

對算力的瘋狂投資帶來的驚人收益是非常明顯的，但算法進步的驅動力很可能被嚴重低估了。

比如，很少有人關注到模型推理成本的大幅下降。

以MATH基準測試為例，過去兩年內，從Minerva到最新發布的Gemini 1.5 Flash，在MATH上取得50%準確率（一個不喜歡數學的計算機博士生可以得到40%）的推理效率提高了將近3個OOM，也就是1000倍的效率提升。

圖片

雖然推理效率不等同于訓練效率，但這個趨勢可以表明，大量的算法進步是可行的，而且正在發生。

從長期趨勢來看，算法進展的速度也相當一致，因此很容易根據趨勢線做出預測。

回顧2012年-2021年期間ImageNet上的公開算法研究，可以發現，訓練相同性能模型的計算成本以近乎一致的速度下降，每年減少約0.5個OOM，而且每種模型架構都是如此。

圖片

雖然LLM的團隊一般不會公開算法效率相關的數據，但根據Epoch AI的估算，2012年-2023年期間，每年算法效率的收益也約為0.5個OOM，也就是在8年時間里提升了1萬倍。

圖片

「解開」收益

相比算力和算法效率，「解開」收益帶來的提升更加難以量化。

所謂「解開收益」，是指某些情況下模型的原始能力被阻礙了，而通過簡單的算法改進可以解鎖和釋放這些潛在能力。

雖然它也是一種算法改進，但不僅僅是在已有范式內提升訓練效果，而是跳出訓練范式，帶來模型能力和實用價值的躍升。

比如基礎的語言模型經過了RLHF，才變成真正可用的產品。InstructGPT論文的量化結果顯示，根據人類評分者的偏好，有RLHF的小模型相當于非RLHF的大100倍的模型。

再比如，近年來被廣泛使用的CoT可以為數學或推理問題提供10倍多的有效計算能力提升。

上下文長度的增加也是如此。從GPT-3的2k tokens、GPT-4的32k，到Gemini 1.5 Pro的1M+，更長的上下文可以解鎖更多的用例和應用場景。

訓練后改進（post-training improvment）帶來的收益也不容忽視。OpenAI聯創John Schulman表示，與GPT-4首次發布時相比，當前的GPT-4有了實質性的改進，這主要歸功于釋放潛在模型能力的后期訓練。

Epoch AI進行的一項調查發現，在許多基準測試中，這類技術通常可以帶來5-30倍的有效計算收益。

METR（一個評估模型的非營利組織）同樣發現，基于相同的GPT-4基礎模型，「解開收益」非常可觀。

在各種代理任務中，僅使用基本模型時性能只有5%，經過后期訓練可以達到20%，加上工具、代理腳手架和更好的后期訓練，可以達到今天的近40%。

圖片

與算力和算法效率帶來的單一維度的擴展不同，「解開收益」能夠解鎖模型能力的巨大可能性，帶來「階梯式」、不拘一格的進步。

想象一下，如果AI可以使用電腦，有長期記憶，能針對一個問題進行長期思考和推理，而且具備了入職新公司所需的上下文長度，它會有多么強悍的能力？

圖片

算力、算法效率、「解開收益」疊加

2027年，取代所有認知工作

綜合考慮算力、算法效率與解開收益這三個方面的疊加，GPT模型從第2代到第4代，大致經歷了4.5-6個OOM的有效計算擴展。

此外，從基本模型到聊天機器人，相當于約2個OOM的「解開收益」。

圖片

基于這個發展速度，數一數OOM，未來4年我們可以期待什么？

圖片

首先，隨著計算效率提高，迭代速度會越來越快。假設GPT-4訓練花了3個月的時間，到2027年，領先的AI實驗室將能夠在一分鐘內訓練一個GPT-4級別的模型。

而且，由于「解開收益」的存在，我們不能僅僅是想象一個非常聰明的ChatGPT，還需要把它看成一個非常智能的、能獨立工作的Agent。

到2027年，這些AI系統基本上能夠自動化所有認知工作，或者說是所有可以遠程進行的工作。

但是作者同時也提醒道，這其中有很大的誤差范圍。如果「解開收益」逐漸停滯，或者算法的進展沒能解決數據耗盡的問題，就會推遲AGI的來臨時間。

但也有可能，「解開收益」釋放了模型更大的潛能，讓AGI的實現時間比2027年更早。

圖片

雖然這篇文章有比較全面的論據，但「2027年實現AGI」的結論還是引發了不少網友的質疑。

將GPT-4的智力水平類比成聰明的高中生，很難讓人相信。

圖片

也沒有談到一些關鍵問題，比如當前LLM最大的挑戰之一——幻覺，這也是AI實現自動化工作的巨大障礙。

圖片

有人指責作者，將曲線外插和巨大的誤差范圍包裝成一份技術分析。

圖片

圖片

也有人指出，文中經常提及的「有效計算」是一個非常模糊的概念，沒有進行嚴謹準確的定義。

圖片

拋開2027年這個頗有噱頭的結論，作者的論證過程至少可以給我們一個啟示——很多情況下，AI的發展速度會超出所有人的想象。

圖片

GAN網絡從2014年到2018年的進展

作者簡介

Leopold Aschenbrenner本科畢業于哥倫比亞大學，大三時入選Phi Beta Kappa學會，并被授予John Jay學者稱號。

19歲時，以最優等成績（Summa cum laude）畢業，作為畢業生代表在典禮上致辭。

本科期間，他不僅獲得了對學術成就授以最高認可的Albert Asher Green獎，并且憑借著「Aversion to Change and the End of (Exponential) Growth」一文榮獲了經濟學最佳畢業論文Romine獎。

圖片

Leopold Aschenbrenner來自德國，現居風景優美的加利福尼亞州舊金山，志向是為后代保障自由的福祉。

他的興趣相當廣泛，從第一修正案法律到德國歷史，再到拓撲學，以及人工智能。目前的研究專注于實現從弱到強的AI泛化。

圖片

他最近離開OpenAI后計劃創辦一家AGI領域的投資公司，已經獲得了Stripe創始人Collison兄弟以及GitHub前CEO Nat Friedman的投資。

參考資料：https://situational-awareness.ai/from-gpt-4-to-agi/