Meta華人新秀畢樹超，重磅爆料下一代LLM路線！RL+預(yù)訓(xùn)練直通AGI

2025-08-04 14:08:31

OpenAI前研究員、Meta「AI夢(mèng)之隊(duì)員」畢書超在哥大指出：AGI就在眼前，突破需高質(zhì)數(shù)據(jù)、好奇驅(qū)動(dòng)探索與高效算法；Scaling Law依舊有效，規(guī)模決定智能，終身學(xué)習(xí)才是重點(diǎn)。

AI如何演進(jìn)至今日？當(dāng)前最大挑戰(zhàn)何在？未來又將何去何從？

6月12日，哥倫比亞大學(xué)工程學(xué)院座無虛席的演講廳內(nèi)，谷歌前工程總監(jiān)&YouTube Shorts聯(lián)合創(chuàng)始人、OpenAI前研究員、Meta超級(jí)智能團(tuán)隊(duì)成員畢樹超（Shuchao Bi），對(duì)這些問題進(jìn)行了深度剖析。

俞舟（左）與畢樹超（右）同為浙江大學(xué)校友

這次演講的引薦人是哥倫比亞大學(xué)工程學(xué)院計(jì)算機(jī)科學(xué)系副教授俞舟。事后，俞舟表示：「演講非常具有啟發(fā)性。展望的未來，激動(dòng)人心。」

人腦不過是碳基計(jì)算機(jī)

自1948年，圖靈開啟AI研究以來，AI從沒想最近15年發(fā)展迅猛，AI進(jìn)步令人驚嘆。

盡管如此，畢樹超認(rèn)為仍遠(yuǎn)未達(dá)到通用人工智能（AGI）：

AGI不僅僅是解決數(shù)學(xué)問題。它需要跨領(lǐng)域泛化、適應(yīng)新任務(wù)，并與環(huán)境互動(dòng)。這正是強(qiáng)化學(xué)習(xí)和好奇心驅(qū)動(dòng)的探索發(fā)揮作用的地方。

要實(shí)現(xiàn)AGI，僅僅擴(kuò)大規(guī)模是不夠的。Scaling Law沒有失效，數(shù)據(jù)才是問題所在。本質(zhì)上，我們需要更好的數(shù)據(jù)，特別是與實(shí)用性對(duì)齊的數(shù)據(jù)，以及更高效的學(xué)習(xí)算法。

他強(qiáng)調(diào)了探索在發(fā)現(xiàn)中的作用:人類的科學(xué)建立在靈感和迭代之上，能夠搜索、探索并生成新假設(shè)的模型將是關(guān)鍵。

同時(shí)，他也發(fā)現(xiàn)人類大腦和計(jì)算機(jī)的學(xué)習(xí)方式，其實(shí)本質(zhì)上沒那么不同。

也許，腦細(xì)胞并不特殊—— 它們只是自然進(jìn)化的產(chǎn)物，本質(zhì)上就是一臺(tái)生物計(jì)算機(jī)。和人工硅基計(jì)算機(jī)相比，沒有任何本質(zhì)區(qū)別。

另一個(gè)關(guān)鍵點(diǎn)是：真正決定智能的，可能是「規(guī)模」，而不是結(jié)構(gòu)的復(fù)雜性。

智能并不源于大腦中那些復(fù)雜的神經(jīng)結(jié)構(gòu)，而是源于我們與環(huán)境的互動(dòng)，以及從數(shù)據(jù)中學(xué)習(xí)的規(guī)模效應(yīng)。

過去，常有人說：「簡(jiǎn)單的張量或矩陣運(yùn)算怎么可能產(chǎn)生智能？」現(xiàn)在，ChatGPT本質(zhì)上就是如此。所以，畢樹超不認(rèn)為大腦在做比矩陣運(yùn)算更復(fù)雜或更神秘的事。畢竟，人類的大腦并沒有在進(jìn)行量子計(jì)算。

他以一貫深思熟慮的語氣總結(jié)道：「每隔幾個(gè)月，我們就看到一些前所未有的進(jìn)步。這應(yīng)該讓我們重新審視全部我們?nèi)匀徽J(rèn)為不可能的事情。」

也許，很多我們以為的不可能，其實(shí)只是知識(shí)的局限。

當(dāng)然，如今仍有許多尚未解決的難題，但同樣也有很多理由值得我們樂觀。

那AGI到底都有哪些「未解問題」？未來AI又能帶來什么？

直面AGI質(zhì)疑

Scaling Law是不是失效了？

Scaling Law沒有失效，真正的問題在于「數(shù)據(jù)」。

因?yàn)镾caling Law只是對(duì)「數(shù)據(jù)結(jié)構(gòu)」的映射，是規(guī)律性的存在。

真正需要改進(jìn)的，是數(shù)據(jù)的數(shù)量、質(zhì)量和「智能密度」。

換句話說：學(xué)習(xí)的本質(zhì)是「數(shù)據(jù)受限」的問題。

如果我們?cè)诿總€(gè)領(lǐng)域都擁有無限數(shù)據(jù)，加上足夠算力，其實(shí)我們已經(jīng)具備解決AGI的條件。

有人問：人類數(shù)據(jù)是從大腦算力轉(zhuǎn)換來的，為什么不把硅基算力轉(zhuǎn)成數(shù)據(jù)？

他回答道：因?yàn)檫€有幾個(gè)沒解決的難題:

(1)目前只限于可驗(yàn)證結(jié)果的領(lǐng)域。

(2)當(dāng)前模型沒法有效生成超出之前策略支持的輸出，也就是探索問題。

(3)與蒙特卡洛樹搜索（Monte Carlo Tree Search）不同，語言模型無法有效地隨機(jī)探索。即便無限算力，也要耗時(shí)良久，就像猴子敲打鍵盤敲出莎士比亞，得靠運(yùn)氣。

要實(shí)現(xiàn)AGI一個(gè)方向是提升學(xué)習(xí)的數(shù)據(jù)效率——既然數(shù)據(jù)是瓶頸，要么多搞數(shù)據(jù)，要么算法更高效。

其實(shí)，人類歷史上的知識(shí)積累也很緩慢。印刷術(shù)問世千年，但早期文字記錄有限。直到最近一兩年，數(shù)據(jù)才真正開始爆炸式增長(zhǎng)。

人類的知識(shí)生成過程可以理解為一個(gè)循環(huán)：

人類受到環(huán)境啟發(fā)，提出任務(wù)；
后代學(xué)習(xí)已有知識(shí)；
少數(shù)天才思考多年，提出新理論；
通過實(shí)踐和同行反饋驗(yàn)證這些理論；
最終寫成教材或論文，進(jìn)入下一輪知識(shí)傳承。

未來，我們可以用AI去加速這個(gè)鏈條中的很多環(huán)節(jié)，比如數(shù)據(jù)生成、理論驗(yàn)證、知識(shí)傳播。這正是「硅基智能」將帶來的巨大潛力。

接下來我們會(huì)談到如何讓模型的學(xué)習(xí)過程更快速、更高效。

但除了速度，更關(guān)鍵的問題是：模型能不能提出全新的想法？畢竟，即使思考速度再快，如果缺乏真正的探索，也無濟(jì)于事。

那么，首先要問：人類是如何發(fā)現(xiàn)新知識(shí)的？

最根本的動(dòng)力是「好奇心」。正是因?yàn)槲覀儗?duì)未知充滿好奇，才會(huì)不斷主動(dòng)去探索。而我們同樣希望，未來也能賦予AI這樣的「好奇機(jī)制」。

當(dāng)然，關(guān)于「探索」還有不同的觀點(diǎn)。

他認(rèn)為僅憑插值（interpolation）與外推（extrapolation）可能就足以推動(dòng)模型智能的發(fā)展。因?yàn)槟Ｐ驼莆盏闹R(shí)量已經(jīng)非常龐大，它可以在已有知識(shí)之間進(jìn)行組合與延伸，從而生成新的內(nèi)容。

但人類獲取知識(shí)的另一個(gè)重要方式，是與現(xiàn)實(shí)環(huán)境交互。這一點(diǎn)對(duì)AI同樣重要。

如果有一個(gè)完美的模擬器，比如用于棋類游戲（如圍棋）的環(huán)境，AI 就可以無限模擬，獲取無限數(shù)據(jù)。這種方式極其高效，是通向超級(jí)智能的重要途徑。

但問題在于：目前還無法模擬現(xiàn)實(shí)世界的大多數(shù)現(xiàn)象。「仿真到現(xiàn)實(shí)」（sim-to-real）之間存在巨大的鴻溝。

世界模型（world models）還很難，因?yàn)闆]有物理世界的完美模擬器。這也是為什么「具身AI」更難。

但如果AI模型能縮小搜索空間，像AlphaFold那樣，就能高效搜索、生成更多數(shù)據(jù)，然后更高效搜索，形成正向飛輪（positive flywheel），直奔超級(jí)智能。相關(guān)模型已經(jīng)能高效處理新知識(shí)了。

有人說：「人類發(fā)現(xiàn)新數(shù)學(xué)時(shí)，很多是意外驚喜（serendipity），沒特定目標(biāo)」。

但很多純數(shù)學(xué)家還是有目標(biāo)，發(fā)明數(shù)學(xué)往往是為解答猜想。但確實(shí)有不少意外。

另一個(gè)開放問題是：實(shí)體化（embodiment）對(duì)通用AI（AGI）必要嗎？

這取決于我們?nèi)绾味xAGI。

如果我們定義AGI為「可以勝任所有具有經(jīng)濟(jì)價(jià)值的任務(wù)」，那也許并不需要具身能力。

事實(shí)上，現(xiàn)在我們完全可以讓人類來充當(dāng)AI的「身體」。

比如AI想設(shè)計(jì)一個(gè)物理實(shí)驗(yàn)，它自己沒有執(zhí)行能力，但我們?nèi)祟惪梢蕴嫠瓿蓪?shí)驗(yàn)并將結(jié)果反饋。這就構(gòu)成了一個(gè)「人類+AI」的協(xié)作反饋環(huán)路。

當(dāng)然，我們也不希望未來演化成「人類只是AI的操作手」，那值得警惕！

強(qiáng)化學(xué)習(xí)（RL）是否能真正催生「新想法」？

這是一個(gè)懸而未決的問題。

最近有研究嘗試回答這個(gè)問題。他們?cè)u(píng)估了在「超出原始模型能力」的范圍內(nèi)，強(qiáng)化學(xué)習(xí)是否能讓模型實(shí)現(xiàn)推理能力的提升。

研究發(fā)現(xiàn)：經(jīng)過強(qiáng)化學(xué)習(xí)之后，Pass@1的命中率提高了，但Pass@100萬幾乎沒變。這意味著，強(qiáng)化學(xué)習(xí)可能并沒有讓模型生成出全新的想法。

Pass@1意味著：只需要生成一次答案，就能得到正確結(jié)果；

Pass@100萬表示：要生成100萬個(gè)版本，才可能碰巧得到正確答案。

（左）當(dāng)前RLVR對(duì)大型語言模型（LLM）推理能力的影響。通過從基礎(chǔ)模型和經(jīng)過RLVR訓(xùn)練的模型中重復(fù)采樣生成搜索樹以解決給定問題。（右）隨著RLVR訓(xùn)練的進(jìn)行，平均性能（即pass@1）有所提高，但可解決問題的覆蓋范圍（即pass@256）減少，表明LLM的推理邊界縮小。

但這項(xiàng)研究只針對(duì)部分開源模型，范圍很有限。

隨著方法的進(jìn)化，強(qiáng)化學(xué)習(xí)完全有潛力讓模型提出新的觀點(diǎn)。

關(guān)鍵在于：我們是否能提升模型的「探索能力」。

人類之所以能不斷發(fā)現(xiàn)新知，源于我們的「好奇心」驅(qū)動(dòng)的探索。我們也希望，未來AI模型能夠具備類似的機(jī)制。

要怎么實(shí)現(xiàn)呢？這仍是一個(gè)懸而未決的問題。

靈感與探索，是通向未來的鑰匙。但這也不是實(shí)現(xiàn)AGI的阻礙。

如果回顧人類科技史，就會(huì)發(fā)現(xiàn)大多數(shù)成果并非「靈光乍現(xiàn)」，而是在前人基礎(chǔ)上不斷探索、演繹的結(jié)果。

這一點(diǎn)正是模型非常擅長(zhǎng)的。它們可以高效地「理解已有知識(shí)」，并進(jìn)行組合、擴(kuò)展和外推，遠(yuǎn)超人類。

我們已經(jīng)看到了令人振奮的證據(jù)。

舉個(gè)例子：AlphaEvolve實(shí)現(xiàn)真正的創(chuàng)新。

在分析（自相關(guān)和不確定性不等式）、幾何（填充和最小/最大距離問題）以及組合數(shù)學(xué)（埃爾德什最小重疊問題及有限集的和與差）等問題上，它發(fā)現(xiàn)了突破性數(shù)學(xué)構(gòu)造示例。