27億美元天價回歸！谷歌最貴「叛徒」、Transformer作者揭秘AGI下一步
大模型需要什么？
在硅谷舉行的科技盛會Hot Chips 2025首日的主題演講上，谷歌DeepMind的Noam Shazeer回答了這一問題，發表了題為《下一階段AI的預測》的主題演講。
圖片
除了是Transformer論文《Attention Is All You Need》的作者之一，他還推動了許多技術創新，例如顯著提升谷歌搜索中的拼寫校正功能。
早在2017年，他就發明了Transformer模型，至今已深耕LLM領域十年。
后來，他開發了一款聊天機器人，但谷歌拒絕發布這項成果，這也促使他選擇離職，創辦了Character.AI。
不久之后，谷歌意識到自身短板，最終以27億美元的高價與Character.AI達成合作。
如今，Noam已回歸谷歌，擔任Gemini項目的聯合負責人。
正如他所展示的，大語言模型可以借助硬件等各方面資源的提升，不斷改善性能與準確性。
圖片
AI下一階段算力，算力，還是算力
Noam Shazeer主要分享了LLM的需求、個人的LLM研究之路以及硬件與LLM的關系。
圖片
他強調幾點關鍵內容。
首先，Noam認為語言建模是當前最重要的研究領域。
他在演講中用一張幻燈片專門闡釋了這一點，可見他對該話題熱情之高。
圖片
然后他談到了「LLM到底需要什么」(What LLMs want)。
他更關注的是：更多的FLOPS意味著更好的性能。
圖片
這非常重要，因為隨著參數的增加、深度的增加、非線性以及信息流的增加，LLM的規模也隨之增加。
這可能需要更多的計算資源。更多的優質訓練數據也有助于創建更好的LLM。
他還談到了2015年時，在32個GPU上訓練是一件大事；但十年后，可能需要數十萬個GPU。
另一個有趣的小細節是，他說在2018年，谷歌為AI構建了計算節點。
這是一件大事，因為在此之前，谷歌工程師通常在一千個CPU上運行工作負載。但隨后它們會變慢，另作他用，比如爬取網絡。
擁有專門用于深度學習/ AI工作負載的大型機器，使得性能有了巨大的提升。
接著是芯片會議上的一大亮點，即LLM對硬件的需求。
圖片
從這張幻燈片中，可以看到一個有趣的觀點
更多的計算能力、內存容量、內存帶寬和更多的網絡帶寬，對于推動未來AI模型的進步都至關重要。
在「所有層級」上，這不僅僅是DDR5的容量和帶寬，還包括HBM和芯片上的SRAM。
降低精度以幫助更好地利用這四個方面，在很多情況下也被視為好事。
確定性有助于更好地編程。
演講的信息歸結為：在集群中擁有更大、更快的設備將導致LLM的增益。
這對谷歌和其他一些公司來說可能是個好消息。
圖片
大模型要什么硬件？
Noam是典型的「反向跨界者」：作為AI研究者，他對硬件充滿好奇，總想知道這些機器如何運作。
在Mesh-TensorFlow項目中，他對TPU的底層網絡結構產生了極大興趣。
圖片
論文鏈接：https://arxiv.org/abs/1811.02084
他提出了很多讓人耳目一新的問題：
你們的芯片居然是環形網絡結構？
那數據包在里面怎么跑？
怎么映射到神經網絡的張量計算里？
這種好奇心最終促成了谷歌在軟硬件協同設計上的諸多突破。
在這次演講中，Noam Shazeer深入剖析了LLM到底需要什么硬件。
AI需要的硬件支持：不止GPU
毫無疑問，算力是LLM最需要的因素。
當大家說「LLM想要什么」時，實際上也是在問：
為了讓AI更聰明，我們的硬件系統需要如何變化？
Noam的答案清晰直接：越多越好，越大越好。
圖片
1. 更多算力（More FLOPs）
算力越多越好，最好是數以千萬億次的浮點運算能力（petaflops）。它直接決定你能訓練多大的模型，用多大的batch，覆蓋多少訓練數據。
2. 更大內存容量&更高內存帶寬
Noam指出，內存帶寬如果不足，會限制模型結構的靈活性，比如不能輕易加非線性層。而更高的帶寬=更細粒度的控制。
圖片
內存包括：片上存儲（on-chip SRAM）、高帶寬內存（HBM）、顯存或DRAM等其他中高速緩存
內存容量方面，直接決定了：
能塞下多大的模型；
在推理時，能保留多少中間狀態（比如長上下文、緩存、注意力頭等）。
3. 網絡帶寬（Network Bandwidth）
這個是很多人忽視但至關重要的一項。
因為無論是訓練還是推理，LLM幾乎一定會：模型被分到多個芯片，數據在它們之間來回傳遞。
舉個例子，大家現在都在追求「長思維鏈」（long chain of thought），也就是說模型要花更長的時間「思考」才能得出更強的答案。
可這也意味著每一步推理要更快完成，否則響應就變慢了。
這時候，瓶頸往往就在于你是否能迅速訪問完所有模型參數——
不只是芯片上的那一份，而是分布在一整塊計算網格中的所有部分。
因此，Noam總結說：
想推理得快，核心問題就是——你這一群芯片， 總共能提供多少內存帶寬？
AI加速發展，人類路在何方？
他補充了一些其他對硬件設計的「愿望清單」。
1. 低精度（Low Precision）
在傳統科學計算中，精度至關重要。
但在LLM中，模型本身就具有一定「模糊性」，低位數往往影響不大。
因此，低精度換算力完全合理，能用8-bit、甚至4-bit來換更多FLOPs，值得如此做。
行業確實在嘗試越來越低的精度格式（FP8、INT4、二進制等）——只要能保持收斂，越低越好。
當然，不能犧牲可重復性。
核心挑戰是「訓練時精度夠用」「推理時誤差夠小」。
2. 可復現性（Determinism）
Noam認為這是關鍵，因為機器學習實驗的失敗率本就很高。
很多時候你都不知道，某個結果失敗，是因為模型結構不對，數據有問題，還是你代碼里有bug。
如果每次訓練都跑出不同結果，那連「調試」都無從下手。
他回憶早期在Google Brain做異步訓練的時候，經常出現「這次跑通了，下次又崩了」的情況，工程體驗極差。
所以，他給硬件設計者的建議是：
除非你能給我10倍性能，否則請不要犧牲可重復性。
3. 運算溢出與精度損失問題
有現場觀眾提問：低精度運算經常會溢出或出現不穩定，怎么處理？
Noam回答：
確保accumulator（累加器）使用更高精度；
或者進行裁剪（clipping），不要讓數值爆掉；
最差的方案是「數值回繞」（wrap around）。
主持人Cliff補充了一句俏皮話：
我們要的是，加載checkpoint后，機器要按原樣崩掉 ——
這才算真正的可重復性。
Waymo工程師提出的一個刁鉆問題：如果今天起硬件就不再進步，我們還能搞出通用人工智能（AGI）嗎？
Noam給出意外但堅定的回答：可以。
他指出，AI會加速自身發展，推動軟件、系統設計持續進化，即使硬件原地不動，我們也能靠軟件層面的革新繼續進步。
當然——他話鋒一轉：不過如果你能繼續搞出更好的硬件，自然更好。
如果AGI真的到來，人類又該何去何從？
AI是拯救還是終結人類？
在算力和數據的驅動下，AI不斷向更復雜的領域進發。
「只要投喂足夠的數據和算力，就有可能學習并揭示宇宙的內在結構。」
在最近的訪談中，微軟AI的CEO Mustafa Suleyman如此說。
他指出，當前的LLM（大語言模型）還只是「單步預測引擎」，尚處于AI發展的早期階段。
但隨著持久記憶和長期預測能力的加入，LLM將有望發展為具備完整規劃能力的「行動型AI」：
不僅能像人類一樣制定復雜計劃，還能持續執行任務。
這一飛躍可能在2026年底前實現。
Suleyman用「breathtaking」（驚艷）來形容這一未來，并強調，我們還只是剛剛起步，一切都將很快發生深刻變化。
圖片
25歲豪賭未來AI，如今預測AI失業潮
時間回到2010年，智能手機才剛剛普及、應用商店尚在萌芽，AI更像是科幻小說的陳詞濫調，而非嚴肅的科學課題，即使是頂尖學者也對此不屑一顧。
當時年僅25歲的Mustafa Suleyman與兩位「勇敢而有遠見的」聯合創始人Demis Hassabis和Shane Legg，卻篤信一個革命性的理念：
如果能創造出真正理解人類的智能，那將是改善人類狀況的最佳機會。
Suleyman尖銳地指出，歷史上充滿了帶來「凈傷害」的發明。
因此，在AI這項「有史以來最強大的通用技術」面前，從價值觀出發，將人類福祉置于首位，不是一句空洞的口號，而是一個必須時刻堅守的起點。
但Suleyman直言，在未來20年內，將面臨大規模的失業潮。
今天許多白領從事的「認知上的體力勞動」，如數據錄入、郵件處理等，將被AI高效替代。
他直言，這些恐懼「非常真實」，并強調政府必須強力介入，通過稅收等再分配機制來緩沖這一社會巨變。
在此基礎上，他提出了自己著作《即將到來的浪潮》中的核心概念——「遏制困境」（The Containment Problem）。
圖片
他指出，技術的趨勢是讓權力被小型化、集中化，并以極低的成本普及給每個人。
當AI成為一個可以代表你打電話、寫代碼、執行計劃的智能體時，每個人執行自己想法的成本和時間都將趨近于零。
這將帶來巨大的創造力爆發，但同時也埋下了沖突的種子。
「如果我能點擊一個按鈕執行我瘋狂的想法，你也能，那將引起大量的沖突。」
「摩擦對于維持和平與穩定很重要，」Suleyman一針見血地指出。當執行一件事情的阻力（摩擦）消失時，混亂就可能接踵而至。
如何「遏制」這種以零邊際成本擴散的力量，是我們時代最嚴峻的考驗。
何時應該「拔掉電源」
在所有對AI的擔憂中，最令人恐懼的莫過于「失控」。
對此，Suleyman明確劃出了四條不可逾越的紅線。
一旦一個AI同時具備以下能力，它將成為一個需要「軍事級別干預」才能阻止的系統：
- 遞歸式自我改進（能修改自己的核心代碼）
- 自主設定目標
- 獲取自身資源
- 在世界上自主行動
這引出了一個關鍵問題：我們能「拔掉電源」嗎？
答案是肯定的，因為AI存在于物理的數據中心里。
但真正的挑戰在于，我們如何識別那個時刻的到來，以及如何集體做出關停的決定。
圖片
重新定義「你的飯碗」
對于AI引發的失業恐慌，Suleyman提供了一個更為烏托邦的視角。
他引用瑞典的理念——「我們不關心工作崗位，我們關心工人」，并將其推向極致。
他認為，社會的任務不應是為人們創造「飯碗」，而是創造一個和平、支持性的環境，讓人們找到自己的激情，過上充實的生活。
「我夢想一個人們可以自己選擇做什么并擁有真正自由的世界。」
他相信，如果技術應用得當，產生的巨大價值足以讓社會資助人們去追求這些真正有意義的事情。
這將釋放巨大的創造力，但也會帶來深刻的存在主義問題：「我是誰？我為什么在這里？」
參考資料：
https://youtu.be/v0beJQZQIGAhttps://youtu.be/tQ5wO1lznCQ
