AGI前夜的思考

Exa公司CEO Will Bryk，在目睹o3模型的進展后，分享了他對AGI未來的一些想法，以下是他社媒上的帖子整理：

AGI真的來了

這周我和幾個朋友聊了聊o3模型，他們的反應基本都是“我的天，這真的發生了嗎？”

是的，它真的發生了。接下來的幾年將會非常瘋狂，這將是歷史性的，甚至是星際級的事件。

荒謬的是，目前還沒有關于AGI的深度討論。AI實驗室不能談論它，新聞幾乎沒有報道，政府也不理解它。我們竟然在一個社交媒體meme應用的新聞推送里討論人類的未來，這感覺就像一部荒誕的情景喜劇，但現實就是如此。

以下是我對正在發生的事情的一些想法——我對X平臺思想深淵的貢獻。

注意，這些想法都很不成熟，只是一些有趣的推測。我沒有足夠的時間去深入思考/研究所有這些問題，而且我肯定會在很多方面出錯。但我確實希望這些想法對一些正在努力理解現狀的人來說是有趣的。

o3的出現不應令人震驚 

OpenAI兩個月前就展示了測試時擴展圖，計算機的歷史告訴我們，無論趨勢線多么令人難以置信，我們都應該相信它。真正令人震驚的是，它在兩個月內就實現了。我們只用了這么短的時間就從大學水平的AI發展到博士水平的AI。對人類來說，變化是令人興奮的，但快速的變化是令人震驚的。

接下來會發生什么顯而易見。 

o3級別的模型非常擅長優化任何你可以定義獎勵函數的東西。數學和編程很容易設計獎勵函數，小說創作則比較困難。這意味著在短期內（1年），我們將得到“尖峰模型”。

它們在數學、編程和一般推理方面基本達到AGI水平，但寫出來的小說很普通。雖然更好的推理能力會讓這些模型在各方面都感覺更聰明，但它們仍然會在沒有經過強化學習的方面以愚蠢的方式失敗——也就是說，在它們的訓練數據中沒有涵蓋的方面。從長遠來看（1-3年），我們將繼續添加新的領域來對它們進行強化學習（情感數據、感官數據等），直到彌補這些盲點，然后對除了Gary Marcus之外的所有人來說，這些模型都將是AGI。

Agent（智能體）真的會在2025年到來 

o3之類的模型不可能無法瀏覽/使用應用程序并采取行動。這些東西很容易設計獎勵模型。這也是一個巨大的市場——自動化計算機工作——因此對于需要證明其巨額支出的實驗室來說，這是一個巨大的激勵。我猜到2025年12月，你將能夠告訴你的計算機執行任何涉及瀏覽網頁/應用程序和移動數據的工作流程。

在所有知識工作者中，最受“沖擊”的肯定是數學家 

數學家在符號空間中工作，他們的工作很少與物理世界接觸，因此不受其限制。大型語言模型是符號空間的王者。數學其實并不難，只是靈長類動物不擅長而已。正則表達式也是如此。

一個很大的問題是，制作研究級別的合成數據有多難。我猜不會太難。博士水平的數學和研究員水平的數學對我們來說看起來有質的不同，但在AI看來可能只是程度上的差異，只需要再增加幾個數量級的強化學習。我給數學家700天的時間。（這聽起來很瘋狂，但o6不擊敗數學家聽起來也同樣瘋狂，所以我對這個預測的信心超過50/50，就像我對這篇文章中的所有其他預測一樣）。那是700天后，人類將不再是已知宇宙中數學領域的佼佼者。

那我們軟件工程師呢？ 

短期內，這將是天堂。每個軟件工程師都升職成了技術主管，干得好。對于那些完全采用LLM的人來說，到2025年底，編碼將更像是協調一堆由小Agent執行的小任務。任何具有非常清晰規范的PR都應該可以由o4系統完成，而且錯誤率足夠小，可以接受。這里的一個問題可能是上下文窗口太小，無法包含代碼庫，但像Sam這樣的領導者很清楚這一點。

AI會很快取代所有軟件工程師嗎？不會。軟件工程不僅僅是根據超級清晰的提示制作PR。與數學家不同，軟件工程師不斷地與物理世界，也就是其他人互動。工程師必須與客戶合作以了解他們的需求，并與團隊成員合作以了解他們的需求。當工程師設計架構或編寫代碼時，他們是在大量的組織環境下進行的。o4無法做到這一點。但o4將幫助那些擁有上下文信息的工程師將速度提高10倍。

如果軟件工程師的速度提高了10倍，那么我們是否需要更少的軟件工程師？嗯，如果你考慮一家特定的公司，那么是的，他們可能需要更少的軟件工程師，因為他們可以用更精簡的團隊實現相同的產出。然而，全世界對軟件工程師的需求可能會增加，因為世界肯定需要更多10倍的優質軟件。所以我認為我們將看到來自更精簡公司的應用程序的黃金時代。為每個人和每個企業提供個性化的微型應用程序。

從長遠來看（超過2年被認為是長期，哈哈），軟件工程將完全不同，很難說會變成什么樣。當o6系統存在并完全集成到我們的應用程序中時，它怎么可能不變呢？像前端工程師這樣的角色可能在3年內就不存在了。這很奇怪嗎？不盡然——30年前也沒有前端工程師這個角色。

我們應該退一步，認識到軟件每一代都會發生翻天覆地的變化。軟件一直以來都是將需求轉換成純邏輯。這種轉換過程的抽象級別從二進制代碼上升到了Python。現在的區別在于它正在上升到英語。

轉向英語讓非技術人員也能進行編程。但最好的構建者將永遠是那些能夠在不同抽象級別之間切換的人。

簡而言之，因為軟件工程實際上就是通過代碼理解和解決組織的需求，所以軟件工程完全自動化的日子就是所有組織都自動化的日子。

我們討論了一些知識工作者，但體力勞動者呢？ 

AI也會影響到你，但速度會比較慢，因為它必須處理重力和摩擦。但是o類模型對機器人的幫助不會太大，因為一個需要一個小時才能完成的模型對工廠生產線上的機器人沒有幫助。基礎模型變得更智能確實有幫助，o類模型將有助于訓練這些模型，但我認為這并不能解決機器人技術進步的最大瓶頸。我猜最大的瓶頸是硬件改進和用于感知+行動的快速/可靠模型。這兩方面都需要更長的時間來改進（即幾年）。只有當機器人開始制造機器人，AI開始進行AI研究時，機器人技術才會出現瘋狂的快速進步。這可能來自o類模型，但我認為還需要幾年時間。

我一直以年為單位來討論，但也許我們真的應該以計算量為單位來討論 

時間決定了人類的產出，但計算量決定了AI的產出，而AI的產出在研究機構中將越來越重要。這就是為什么各家都在競相建造超級集群——Meta的2GW集群，xAI新增的10萬塊H100等等。

所有實驗室都將很快效仿OpenAI的測試時計算模型，有些實驗室最初可以通過更多的計算來彌補算法上的不足。他們會像GPT-4那樣迎頭趕上。要制造這些模型，需要結合一些常識和每個實驗室的秘方。目前尚不清楚OpenAI在o類模型中使用了多少秘方，但他們的改進速度表明這是一種算法上的進步（更容易復制），而不是某種獨特的數據組合（更難復制）。

在測試時計算的時代，我不清楚擁有更多的計算量還是更好的模型更重要。一方面，你可以通過投入更多的測試時計算來彌補一個較差的模型。另一方面，一個稍微好一點的模型可能會節省指數級的計算量。

如果xAI僅僅因為他們更擅長構建大型集群而趕上了OpenAI，那會很有趣。

無論如何，模型的護城河不會持續超過一年，因為實驗室像交換棒球卡一樣交換研究人員，而且，也許更重要的是，實驗室之間的研究人員會在周末聚會，甚至睡在一起。另外，我認為研究人員太理想化了，如果事情失控，他們不會不分享信息。

我們現在的處境真是瘋狂。AI競賽就像核競賽，但美國人和蘇聯人會在周末在洛斯阿拉莫斯一起聚會，并在推特上互相嘲諷“我賭你到2025年不會擁有最大的核武器，哈哈:)”

在政府介入和/或發生非常糟糕的事情之前，AI競賽將繼續保持嬉皮士和輕松愉快的氛圍。

o類模型以幾種有趣的方式改變了計算規模擴大的動態

o類模型激勵了大規模的建設，因為它們在每個數量級的計算量增加后都有明顯的收益。計算提供商不可能要求更好的縮放定律。我猜想，當Sam想要一個數萬億美元的計算集群時，他看到的正是這個定律。

但這對Nvidia來說可能不是什么好事。o類模型使推理比訓練更重要。我認為超級優化的推理芯片比訓練芯片更容易制造，所以Nvidia在那里沒有那么多的護城河。

非常大膽的推測：如果o類模型能夠利用全世界的聚合計算來訓練最好的模型，那會怎么樣？如果開源能夠戰勝閉源，是因為我們將我們的Macbook Pro組合成一個推理超級集群，那該多酷啊！

除了計算之外，現在另一個新的指數級增長因素是代碼本身 

如果一個實驗室對最智能的模型擁有獨特/特權的訪問權，因此他們的軟件工程師的生產力比其他實驗室高2倍，那么他們就能更快地接近下一個生產力翻倍的目標。除非代碼速度達到極限，并且有大量的實驗需要運行，那么實驗室的瓶頸又回到了計算上。（我不知道，動態很難。看看實驗室如何模擬他們在計算和人員上的支出比例會非常酷。）

盡管所有這些計算建設和知識工作自動化聽起來很瘋狂，但只有當科學家開始感受到AGI時，事情才會真正變得瘋狂。 我指的是你們這些物理學家、化學家、生物學家。

它將從任何以理論命名的東西開始。理論物理學首當其沖。如果數學真的被解決了（即使寫下這句話聽起來也很荒謬，但這并不意味著它不可能發生），那么理論物理學也不會太遠。它也存在于LLM將超越人類的符號領域。

當我們有一百萬個AI馮·諾依曼在路易斯安那州的田野里（Meta即將到來的數據中心）日夜工作時，會發生什么？他們會以多快的速度閱讀過去一個世紀以來數千人撰寫的所有物理學論文，并立即吐出更多正確的標記？

顯然，故事的這一部分很難預測。理論物理學、化學、生物學——如果這些對經過強化學習訓練的LLM來說只是小兒科，那會怎樣？在這一點上，我們還有什么合理的論據認為它不會是小兒科呢？是的，我們還沒有看到這些模型真正的創新，但它們大多處于高中/大學水平，而這些年齡段的人不會發明新的物理學。我們現在處于博士水平，所以我們可能會開始看到一些創造性。

一旦AI開始產出新的科學理論，進步的瓶頸將是物理世界的測試和實驗 

那里的瓶頸是勞動力和材料。到那時，如果還沒有能夠制造更多機器人的機器人，那將會令人驚訝。所以勞動力問題解決了。然后材料可以由機器人開采。這里的時間線會很慢，因為建造/運輸實物需要很長時間，但需要幾年而不是幾十年。

我上面所說的一切都假設AI+機器人研究/開發沒有引入新的瓶頸，并且允許模型隨意學習 

這幾乎肯定不會發生。AI進步的最大瓶頸將是人類。我的意思是監管、恐怖主義和社會崩潰。

政府不會袖手旁觀，讓地球被幾家舊金山公司運營的自動化機器人開采（監管）。如果政府太無能而無法阻止它們，那么憤怒的失業者可能會訴諸暴力（恐怖主義）。除非人們被AI增強的媒體弄得腦殘，以至于我們無法作為一個社會正常運轉（社會崩潰）

如果發生戰爭，我認為這不會是一個瓶頸，而是一個加速器。

事情會變得很嚴肅。2025年可能是AI成為舊金山科技推特meme的最后一年，在那之后，穿西裝的普通人會介入，所以讓我們在還能享受roon和sama的時候好好享受吧！

這會殺死所有人嗎？ 

我更害怕人類濫用AI，而不是AI失控。

我們有5000年的證據表明人類使用最新技術互相殘殺。二戰后的和平是一個反常現象，一旦美國失策或對手認為必須先發制人以阻止AI加速發展，這種和平就可能瓦解。當武器變得更致命、更自主時，風險就更高了。

另一個重大風險是AI造成社會混亂。AI生成的媒體可能會造成大規模的混亂、大規模的歇斯底里、大規模的腦殘。

另一個風險是AI失控。這意味著它會導致我們沒有預料到的滅絕級別的事情。特別是隨著強化學習的回歸，AI現在正在發現自己的優化方法，而不是試圖匹配人類數據（匹配人類更安全）。但到目前為止，這些模型的底層大腦仍然是LLM，而LLM已經顯示出只是理解人類。就像你在提示中加入“確保不要做任何可能殺死我們的事情”一樣，現在你必須承擔舉證責任，證明它仍然可能殺死我們。

我絕對是興奮多于恐懼

我一直想要的那種科幻世界正在到來。它比預期的來得快一點——因此也帶來了恐懼——但在所有可能的路徑中，我不確定最佳路徑會有多大改善。這是一個相當不錯的時間線。

我希望在十年內出現的事情：

? 一些非常酷的物理學發現

? 最初由機器人建造的火星和月球基地

? 關于一切的完美導師/建議（即將到來，需要良好的檢索、記憶和更多個性）

? 零副作用的生物增強藥物

? 乘坐超級優化的無人機飛行

? 通過聚變、地熱和大量太陽能實現全面的超級清潔能源

? 意想不到的事情：AI天文學家在望遠鏡數據中發現了外星信號？AI化學家輕松設計出室溫超導體？AI物理學家統一了一些理論？AI數學家解決了黎曼猜想？

這些聽起來不再像科幻小說，它們感覺像是近在咫尺的科學現實。

那么這一切將走向何方？ 

最終，我們將獲得超級智能，這意味著我們將獲得物理定律允許的任何東西。我想要永生，并看到其他的恒星系統。我還希望將我們的肉體升級到更好的東西。但到目前為止，我最興奮的是了解宇宙的起源。10年前，我開始在日記中寫下我多么想知道這個答案，以及AI將如何幫助我們找到答案，而現在它真的可能發生了，這太瘋狂了。

我們現在生活在一個這一切聽起來都似是而非的世界里 

每一次新的AI發展都會讓更多的人意識到這一點，o3就是最新的例子。

現在，未來唯一不壯觀的原因是我們人類搞砸了。比如我們的公眾輿論、我們的下游政策、我們的社會穩定、我們的國際合作——這些是可能阻止這個壯觀未來出現的障礙。

人們認為AI實驗室的人正在控制我們的未來 

我不同意。他們的工作已經確定了。他們只是在執行模型架構，這些架構遲早會在某個實驗室中出現。

但我們的公眾輿論、我們的下游政策、我們的社會穩定、我們的國際合作——這些都是完全不確定的。這意味著我們集體是未來的守護者。

我們每個人都有責任幫助我們的世界度過未來的狂野時代，這樣我們才能擁有美好的未來，而不是可怕的未來。

有很多方法可以提供幫助 

幫助構建以某種方式使社會更穩定或使人們更聰明的產品（例如：幫助人們規范社交媒體的應用程序）。幫助人們了解正在發生的事情（更多高質量的社交媒體評論、一個真正好的搜索引擎等）。幫助清理我們的街道，這樣邀請我們所有人進入烏托邦的城市看起來就不像反烏托邦（參與地方政治）。

幾乎所有與我交談過的人都害怕在AI世界中失去意義，你可能也一樣 

我想對你說，這不是完全相反嗎？你生活在歷史上最重要的時刻，你有能力影響它。幫助拯救世界難道還不夠有意義嗎？你想回到一個只有你的事業在進步，而世界卻沒有進步的時代嗎？

也許人們需要做出的轉變是從通過個人成功獲得意義到通過集體成功獲得意義。我們目前的許多工作很快就會被自動化。我們將不得不適應。如果你從一項特定技能中獲得意義，那么是的，這項技能在5年內可能不再需要，你就走運了。但如果你能從盡你所能幫助世界中獲得意義，那么這永遠不會消失。

對于所有因為o3而得到建議的新畢業生，我的建議是：學習如何成為1）一個高能動性的問題解決者和2）一個優秀的團隊合作者。你在學習過程中學到的具體技能并不重要，因為世界變化太快了。但積極解決問題和與團隊良好合作將在很長一段時間內都很重要。

你還可能需要在一個不穩定的世界里接受不穩定的生活。事情會變得很奇怪。你可能不會在郊區有兩個孩子和一條狗。你可能在星際方舟上有兩個半機械人孩子和一條AI狗。

我們生活在AGI的前夜，在這個圣誕前夜，我請求你幫助AGI過渡順利進行，這樣我就可以在公元3024年的圣誕前夜，在一個距離四光年的行星上，圍繞著奧特曼·森陶利星向你問好。