天啦擼！！AI想出來的idea，還真有人寫成論文了。

甚至預(yù)印本arXiv、博客、代碼全都有了。

今年8月，Sakana AI（由Transformer論文8位作者的最后一位Llion Jones創(chuàng)業(yè)成立）這家公司推出了史上首位“AI科學(xué)家”，且一登場就一口氣生成了十篇完整學(xué)術(shù)論文。

而現(xiàn)在，受其中一篇論文想法的啟發(fā)，人類研究員真的寫出相關(guān)論文并在arXiv上公開了。

OpenAI前研究團(tuán)隊(duì)負(fù)責(zé)人Jeff Clune激動(dòng)直言：

簡直不敢相信！這是它產(chǎn)生的我最喜歡的想法之一。看到與人類達(dá)成一致真是太酷了，人類確實(shí)執(zhí)行得更好。

話不多說，讓我們來康康論文具體內(nèi)容。

Claude提的idea，被人類寫成論文了

翻開“AI科學(xué)家”之前撰寫的論文，我們找到了Jeff Clune提到的這一篇。

《Grokking Through Compression: Unveiling Sudden Generalization via Minimal Description Length》
通過壓縮實(shí)現(xiàn)Grokking：借助最小描述長度（MDL）揭示突然泛化現(xiàn)象

根據(jù)描述，這篇論文的想法由Claude 3.5 Sonnet在第22次迭代時(shí)提出。

它主要探討了神經(jīng)網(wǎng)絡(luò)中最小描述長度（MDL）與 “grokking” 現(xiàn)象（模型經(jīng)長時(shí)間訓(xùn)練后突然泛化）的關(guān)系，從信息論視角研究突然泛化的機(jī)制。

其中，MDL可以被看成一種衡量模型復(fù)雜度和可壓縮性的方法，即模型既要能夠很好地?cái)M合數(shù)據(jù)，又不能過于復(fù)雜（避免過擬合）。

具體而言，研究引入了一種基于權(quán)重剪枝的新型MDL估計(jì)技術(shù)，并將其應(yīng)用于多種數(shù)據(jù)集，包括模塊化算術(shù)和排列任務(wù)。相關(guān)實(shí)驗(yàn)揭示了MDL減少與泛化能力提高之間存在強(qiáng)烈的相關(guān)性（下圖），MDL的轉(zhuǎn)變點(diǎn)通常在“grokking”事件發(fā)生之前或與之同時(shí)出現(xiàn)。

此外，研究觀察到在“grokking”與非“grokking”情境下MDL演變模式的差異，前者以快速的MDL減少后持續(xù)泛化為特征。這些發(fā)現(xiàn)為理解“grokking”的信息論基礎(chǔ)提供了見解，并表明在訓(xùn)練期間監(jiān)控MDL可以預(yù)測即將發(fā)生的泛化。

Okk，了解了原論文，我們再來看人類選手最新發(fā)表的內(nèi)容。

概括而言，他們研究了神經(jīng)網(wǎng)絡(luò)在 “grokking” 現(xiàn)象中的復(fù)雜性動(dòng)態(tài)，即網(wǎng)絡(luò)從記憶訓(xùn)練數(shù)據(jù)到實(shí)現(xiàn)完美泛化的過渡過程，并提出了一種基于失真壓縮理論的新方法來衡量神經(jīng)網(wǎng)絡(luò)的復(fù)雜性。

首先，作者之一Branton DeMoss自述，他們受到了Sean Carroll和Scott Aaronson之前研究的啟發(fā)。

通過觀察咖啡與奶油混合的現(xiàn)象，Scott等人發(fā)現(xiàn)復(fù)雜性隨著時(shí)間的推移首先上升，然后下降，這一過程與熵單調(diào)增加的趨勢相似。

而DeMoss團(tuán)隊(duì)形式化了這一直覺，并將其應(yīng)用于神經(jīng)網(wǎng)絡(luò)，以跟蹤這些網(wǎng)絡(luò)學(xué)習(xí)的抽象復(fù)雜度。

展開來說，作者們同樣先介紹了grokking現(xiàn)象，即神經(jīng)網(wǎng)絡(luò)在長時(shí)間過度擬合訓(xùn)練數(shù)據(jù)后突然能夠泛化的能力。

其中x軸表示優(yōu)化步數(shù)，y軸表示準(zhǔn)確率；紅線代表訓(xùn)練集的準(zhǔn)確率，綠線代表驗(yàn)證集的準(zhǔn)確率。

可以看到，如果訓(xùn)練一個(gè)小型Transformer來進(jìn)行模擬，在幾百個(gè)訓(xùn)練步驟之后，模型已經(jīng)完美地?cái)M合了訓(xùn)練數(shù)據(jù)；然而，它直到大約10^5個(gè)訓(xùn)練步驟才能實(shí)現(xiàn)泛化。

為了解釋這一現(xiàn)象，團(tuán)隊(duì)引入了一種基于失真壓縮和Kolmogorov復(fù)雜性的新方法來衡量神經(jīng)網(wǎng)絡(luò)的復(fù)雜性，并通過這一框架追蹤了grokking過程中網(wǎng)絡(luò)復(fù)雜性的動(dòng)態(tài)變化。

按照作者的比喻，這就像“神經(jīng)網(wǎng)絡(luò)的JPEG”。

研究結(jié)果表明，網(wǎng)絡(luò)在從記憶到泛化的過渡中，其復(fù)雜性首先上升，隨后在泛化發(fā)生時(shí)下降。

進(jìn)一步地，研究發(fā)現(xiàn)如果神經(jīng)網(wǎng)絡(luò)沒有任何形式的正則化（一種防止過擬合的技術(shù)），它將無法從記憶階段過渡到泛化階段，而是會(huì)無限期地保持記憶模式。

沒有正則化的反應(yīng)：

有正則化的反應(yīng)：

此外，作者指出傳統(tǒng)的復(fù)雜性評判標(biāo)準(zhǔn)（如參數(shù)數(shù)量和權(quán)重范數(shù)）并不能準(zhǔn)確描述模型的復(fù)雜性，因?yàn)樗鼈兒雎粤擞?xùn)練過程中的變化。

對此，他們采用了最小描述長度（MDL）原則和Kolmogorov復(fù)雜度來定義和近似復(fù)雜性，并通過實(shí)驗(yàn)驗(yàn)證了這種方法，并強(qiáng)調(diào)了簡單模型在數(shù)據(jù)壓縮中的優(yōu)勢。

最終，研究表明理解復(fù)雜性對預(yù)測模型泛化能力至關(guān)重要。

更多細(xì)節(jié)感興趣可以查閱原論文（地址文末）。

可以看出，一個(gè)由AI最初提出的想法，最終由人類來完成了更細(xì)致的論證。

有網(wǎng)友就分析指出AI寫的那篇實(shí)驗(yàn)結(jié)果不及人類研究員：

而之前撰寫過“AI科學(xué)家”總論文的共同一作Cong Lu也表示：

誰知道未來AI還會(huì)激發(fā)出哪些其他想法……

BTW，就在Sakana AI公布“AI科學(xué)家獨(dú)立生成10篇學(xué)術(shù)論文”的消息后，公司在9月份還拿到了一筆2億美元的A輪融資，里面還有英偉達(dá)的參與。

總之，AI以后不僅能自己寫論文，還能和人類搭配干活了。

論文：https://arxiv.org/abs/2412.09810
GitHub：https://github.com/brantondemoss/GrokkingComplexity
博客：https://brantondemoss.com/research/grokking/