LeCun最新演講，公開(kāi)表示：

今年諾貝爾獎(jiǎng)?lì)C給AI，是諾獎(jiǎng)委員會(huì)感到壓力的結(jié)果，需要承認(rèn)深度學(xué)習(xí)的影響。

但物理獎(jiǎng)?lì)C給Hinton和Hopefield，獲獎(jiǎng)成果玻爾茲曼機(jī)和Hopefield網(wǎng)絡(luò)現(xiàn)在完全無(wú)用。

言語(yǔ)間不乏調(diào)侃“化學(xué)獎(jiǎng)塞不下更多人，所以只能選了物理”，“Hopefield是生物物理學(xué)家，Hinton的模型以物理學(xué)家命名，勉強(qiáng)合理”。

臺(tái)下觀眾也蚌埠住了，爆發(fā)陣陣笑聲。

眾所周知，今年的諾貝爾物理學(xué)獎(jiǎng)?lì)C給了機(jī)器學(xué)習(xí)先驅(qū)Hopfield、Hinton，前者因其“提出了Hopfield神經(jīng)網(wǎng)絡(luò)，以相當(dāng)于物理學(xué)中自旋系統(tǒng)能量的方式進(jìn)行描述”，后者因其“提出的玻爾茲曼機(jī)，使用了統(tǒng)計(jì)物理學(xué)中的工具”。

有人把視頻發(fā)在了X上，網(wǎng)友看到LeCun此番發(fā)言一時(shí)間炸開(kāi)了鍋。

有人覺(jué)得LeCun這是酸了。

也有人認(rèn)為L(zhǎng)eCun說(shuō)的不無(wú)道理。

具體怎么回事？

最近，LeCun參加了題為“機(jī)器如何達(dá)到人類水平智能”的主題講座。

就在活動(dòng)將要結(jié)束的時(shí)候，回答了大家提出的一些感興趣的問(wèn)題。

一開(kāi)始的問(wèn)題是：這些人工智能模型，實(shí)體化的角色是什么，以實(shí)現(xiàn)真正的智能。

LeCun是這樣回答的：

我認(rèn)為這非常關(guān)鍵。

過(guò)去五六年中，對(duì)世界模型及類似概念做出有趣貢獻(xiàn)的人是機(jī)器人科學(xué)家，他們嘗試將機(jī)器學(xué)習(xí)應(yīng)用于機(jī)器人技術(shù)，因?yàn)槟銦o(wú)法在機(jī)器人技術(shù)上作弊。你真的需要一個(gè)了解物理世界運(yùn)作方式的系統(tǒng)。

所以幾年前，當(dāng)我們?cè)谟懻撻_(kāi)設(shè)AI研究實(shí)驗(yàn)室時(shí)，我詢問(wèn)是否有我們不應(yīng)該研究的AI領(lǐng)域，當(dāng)時(shí)得到的回答是Facebook沒(méi)有理由從事機(jī)器人技術(shù)。

因此，兩年來(lái)我們并未涉及機(jī)器人技術(shù)。

但兩三年后，我意識(shí)到在機(jī)器人技術(shù)中有很多有趣的事情可以做，可以推動(dòng)AI的發(fā)展。因此，我們成立了一個(gè)小規(guī)模的機(jī)器人技術(shù)團(tuán)隊(duì)，后來(lái)逐漸發(fā)展，現(xiàn)在我們有一個(gè)大團(tuán)隊(duì)。

機(jī)器人技術(shù)現(xiàn)在已成為行業(yè)的熱門(mén)話題。因此，研究實(shí)驗(yàn)室的角色是提前五年預(yù)見(jiàn)此類趨勢(shì)，這樣當(dāng)你的上司來(lái)找你，問(wèn)我們?cè)赬方面做了什么時(shí)，你可以說(shuō)，我們過(guò)去五年一直在研究X。

之后LeCun又回答了這樣的一個(gè)問(wèn)題：

Surya Ganguli預(yù)測(cè)，這個(gè)世紀(jì)將是我們真正理解人工智能并構(gòu)建像上個(gè)世紀(jì)我們構(gòu)建通信理論那樣的人工智能理論的時(shí)代。你對(duì)此有何看法？

LeCun：

我沒(méi)有一個(gè)確切的答案，我認(rèn)為有許多不同的方式可以從不同的角度理解深度學(xué)習(xí)，特別是自監(jiān)督學(xué)習(xí)等。比如我的一個(gè)博士后是一位信息理論家，也是一位統(tǒng)計(jì)物理學(xué)家。

實(shí)際上，統(tǒng)計(jì)物理學(xué)家在1980年代對(duì)神經(jīng)網(wǎng)絡(luò)很感興趣，但在90年代這種興趣有所減弱，現(xiàn)在由于深度學(xué)習(xí)及其數(shù)學(xué)基礎(chǔ)，如我多次討論的基于能量的模型框架，他們又重新回到了這一領(lǐng)域。

我的這個(gè)博士后試圖通過(guò)分析和建模自我監(jiān)督的運(yùn)行，使用諸如信息內(nèi)容和互信息之類的量度進(jìn)行理論研究。我們一起寫(xiě)了很多論文，主要是他在這個(gè)話題上的工作。

也許下一個(gè)突破會(huì)來(lái)自統(tǒng)計(jì)物理學(xué)，我對(duì)傳統(tǒng)理論計(jì)算機(jī)科學(xué)并不抱有太大希望。

借此話茬，LeCun突然被問(wèn)到“你怎么看最近的物理諾貝爾獎(jiǎng)呢”。

于是就有了開(kāi)頭的那一幕，LeCun的完整回答是這樣?jì)饍旱模?/p>

我對(duì)此的印象是，諾貝爾委員會(huì)受到了一些壓力，需要獎(jiǎng)勵(lì)深度學(xué)習(xí)領(lǐng)域的貢獻(xiàn)。

這一點(diǎn)可以從瑞典電視臺(tái)的紀(jì)錄片和電視新聞節(jié)目中看出，有人認(rèn)為諾貝爾獎(jiǎng)應(yīng)該頒給對(duì)AI領(lǐng)域有重大影響的人士，而非只是物理學(xué)領(lǐng)域的不為人知的貢獻(xiàn)者。

因此，委員會(huì)明顯傾向于表彰從事蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)的科學(xué)家，如AlphaFold團(tuán)隊(duì)和David Baker的實(shí)驗(yàn)室。

所以他們可能決定這么做，但隨后他們也決定應(yīng)該同樣獎(jiǎng)勵(lì)那些為基礎(chǔ)科學(xué)理念做出貢獻(xiàn)的人。

因化學(xué)獎(jiǎng)項(xiàng)的人數(shù)限制，他們選擇了物理學(xué)獎(jiǎng)項(xiàng)，并且選擇了物理生物學(xué)家John Hopfield。

即便Geoffery Hinton不是物理學(xué)家，但他的模型被稱為“Boltzmann機(jī)器”，而B(niǎo)oltzmann在科學(xué)物理中是傳奇，這整件事在這種情境下說(shuō)得通。

但你必須意識(shí)到，盡管我對(duì)諾貝爾獎(jiǎng)?lì)C給從事神經(jīng)網(wǎng)絡(luò)研究的人感到非常興奮和振奮，認(rèn)為這很棒，但Hopfield網(wǎng)絡(luò)和Boltzmann機(jī)已經(jīng)不再被使用，它們?cè)诟拍钌虾苡腥ぃ珜?shí)際上完全無(wú)用，沒(méi)人使用它們了。

我們現(xiàn)在使用的是反向傳播。這是一個(gè)有趣的概念，但我對(duì)此無(wú)可厚非。

LSTM之父也有異議

和LeCun的觀點(diǎn)不太一樣，LSTM之父Jürgen Schmidhuber在X上連發(fā)推文，觀點(diǎn)和用詞更加犀利，直接表示這“涉及計(jì)算機(jī)科學(xué)領(lǐng)域的抄襲和錯(cuò)誤歸屬問(wèn)題”。

Jürgen Schmidhuber咋說(shuō)的，給大家放在這兒了：

2024年諾貝爾物理學(xué)獎(jiǎng)因科學(xué)中的剽竊行為及錯(cuò)誤歸因而頒給Hopfield和Hinton。這主要涉及Amari的“Hopfield網(wǎng)絡(luò)”和“Boltzmann機(jī)”。

1、1925年發(fā)布的Lenz-Ising循環(huán)架構(gòu)采用類神經(jīng)元元素[L20][I24][I25]。1972年，申一Amari使其具備自適應(yīng)性，能夠通過(guò)改變連接權(quán)重學(xué)習(xí)輸入模式與輸出模式的關(guān)聯(lián)[AMH1]。然而，在“2024年諾貝爾物理學(xué)獎(jiǎng)科學(xué)背景”中，Amari僅被簡(jiǎn)略提及。不幸的是，Amari的網(wǎng)絡(luò)后來(lái)被稱為“Hopfield網(wǎng)絡(luò)”。Hopfield在十年后重新發(fā)表此網(wǎng)絡(luò)[AMH2]，卻未引用Amari，后續(xù)論文亦然。

2、Ackley、Hinton和Sejnowski在1985年關(guān)于Boltzmann機(jī)的論文[BM]討論了神經(jīng)網(wǎng)絡(luò)隱藏單元中內(nèi)部表示的學(xué)習(xí)[S20]。它未引用Ivakhnenko和Lapa在1965年對(duì)內(nèi)部表示深度學(xué)習(xí)的首個(gè)工作算法[DEEP1-2][HIN]，也未引用Amari在1967-68年通過(guò)隨機(jī)梯度下降（SGD）端到端學(xué)習(xí)深度神經(jīng)網(wǎng)絡(luò)內(nèi)部表示的獨(dú)立工作[GD1-2]。作者的后續(xù)調(diào)查[S20][DL3][DLP]及“2024年諾貝爾物理學(xué)獎(jiǎng)科學(xué)背景”均未提及這些深度學(xué)習(xí)的起源。([BM]也未引用Sherrington和Kirkpatrick[SK75]以及Glauber[G63]的相關(guān)先驅(qū)工作。)

3、諾貝爾委員會(huì)還稱贊了Hinton等人在2006年的深度神經(jīng)網(wǎng)絡(luò)分層預(yù)訓(xùn)練方法[UN4]。然而，這項(xiàng)工作既未引用Ivakhnenko和Lapa在1965年的原始深度神經(jīng)網(wǎng)絡(luò)分層訓(xùn)練[DEEP1-2]，也未引用1991年深度神經(jīng)網(wǎng)絡(luò)無(wú)監(jiān)督預(yù)訓(xùn)練的原始工作[UN0-1][DLP]。

4、Popular information稱：“1960年代末，一些令人沮喪的理論結(jié)果使許多研究者懷疑這些神經(jīng)網(wǎng)絡(luò)永遠(yuǎn)不會(huì)有任何實(shí)際用途。”然而，深度學(xué)習(xí)研究在1960-70年代顯然是活躍的，尤其是在英語(yǔ)世界之外。[DEEP1-2][GD1-3][CNN1][DL1-2][DLP][DLH]。

5、在以下參考文獻(xiàn)[DLP]中，可以找到更多剽竊和錯(cuò)誤歸因的案例，該文獻(xiàn)也包含了上述其他參考。可以從第3節(jié)開(kāi)始閱讀：
[DLP] J. Schmidhuber (2023). 三位圖靈獎(jiǎng)得主如何重新發(fā)表他們未曾歸功于原創(chuàng)者的關(guān)鍵方法和想法。技術(shù)報(bào)告IDSIA-23-23，瑞士AI實(shí)驗(yàn)室IDSIA，2023年12月14日。
參見(jiàn)以下參考文獻(xiàn)[DLH]了解該領(lǐng)域的歷史：
[DLH] J. Schmidhuber (2022). 現(xiàn)代AI與深度學(xué)習(xí)的注釋歷史。技術(shù)報(bào)告IDSIA-22-22，IDSIA，瑞士盧加諾，2022年。預(yù)印本 arXiv:2212.11279。

參考鏈接：
[1]https://x.com/tsarnick/status/1849291803444621390。
[2]https://x.com/SchmidhuberAI/status/1849095954428784986。