?圖靈獎(jiǎng)得主Yann Lecun，作為AI界的三巨頭之一，他發(fā)表的論文自然是被人當(dāng)成「圣經(jīng)」來(lái)學(xué)習(xí)的。

然而，最近突然有一個(gè)人跳出來(lái)炮轟LeCun「炒冷飯」：「無(wú)非就是把我的核心觀點(diǎn)換種說(shuō)法罷了」。

莫非……

沒(méi)錯(cuò)，此人正是「LSTM之父」Jürgen Schmidhuber。

Schmidhuber表示，LeCun的這篇論文并未提及1990-2015年期間的重要成果，文中所提及的「主要原創(chuàng)成果」，包括「學(xué)習(xí)子目標(biāo)、可預(yù)測(cè)的抽象表征、多個(gè)時(shí)間尺度」等概念，他們也已經(jīng)發(fā)表過(guò)了。

原推中用的rehash這個(gè)詞，也就是把原先的idea用另一種方式表達(dá)而不做創(chuàng)新，妥妥的「洗稿」了。

同時(shí)，他還發(fā)長(zhǎng)文詳細(xì)地列出了證據(jù)。當(dāng)然，這只能算是Schmidhuber的一面之詞罷了。

不過(guò)，網(wǎng)友們顯然并不買(mǎi)賬。

「你過(guò)去是AI界的一位重量級(jí)人物，但現(xiàn)在你出名的地方在聲稱(chēng)每個(gè)人的學(xué)術(shù)成果都是剽竊了你的觀點(diǎn)」。

「神經(jīng)網(wǎng)絡(luò)、transformers、LSTMS是你發(fā)明的，那廁紙和面包片是不是也是你們家發(fā)明的」。

所以，到底是個(gè)啥事？

讓我們先捋一捋事情的來(lái)龍去脈。

2022年6月14日，被Schmidhuber稱(chēng)作Science Tabloid的一家「科學(xué)小報(bào)」（說(shuō)的就是你MIT科技評(píng)論）發(fā)表了一篇LeCun的報(bào)告，其中闡述了他對(duì)AGI的新構(gòu)想。

6月27日，Yann LeCun發(fā)表了自己積蓄幾年的論文「A Path Towards Autonomous Machine Intelligence」，并稱(chēng)其為「指明AI未來(lái)發(fā)展方向之作」。

這篇論文系統(tǒng)講述了關(guān)于「機(jī)器如何能像動(dòng)物和人類(lèi)一樣學(xué)習(xí)」的問(wèn)題，長(zhǎng)達(dá)60多頁(yè)，感興趣的朋友可以去看看。

LeCun表示，此文不僅是自己關(guān)于未來(lái)5-10年內(nèi)關(guān)于AI發(fā)展大方向的思考，也是自己未來(lái)幾年打算研究的內(nèi)容，并希望能夠啟發(fā)AI界的更多人來(lái)一起研究。

大概是看LeCun這篇論文的影響越來(lái)越大，Schmidhuber終于決定在7月7日，放出自己寫(xiě)的長(zhǎng)文，怒斥Lecun抄襲他的idea。

Schmidhuber稱(chēng)，在文章還沒(méi)公開(kāi)發(fā)表之前，那家「科學(xué)小報(bào)」發(fā)來(lái)一份報(bào)告的草稿（還在保密期），并希望他能對(duì)此發(fā)表一些評(píng)論。

于是，Schmidhuber便洋洋灑灑地寫(xiě)了一篇「控告」，表示LeCun的文章基本上就是自己以前工作的翻版，而且還沒(méi)有引用。

不出意料，他的評(píng)論石沉大海了。

LeCun只是重提我的工作，而且還沒(méi)標(biāo)引用！

Schmidhuber在這篇長(zhǎng)文中表示，希望讀者能研究原始論文，自己判斷這些評(píng)論的科學(xué)內(nèi)容，并且還希望自己的工作得到承認(rèn)和認(rèn)可。

LeCun論文開(kāi)頭部分說(shuō)，本文描述的許多觀點(diǎn)（幾乎都是）由許多作者在不同的背景下以不同的形式提出，Schmidhuber則反駁稱(chēng)不幸的是，這篇論文的大部分內(nèi)容就和我們1990年以來(lái)的論文「似曾相識(shí)」，且沒(méi)有任何引用的標(biāo)識(shí)。

先來(lái)看看他這次炮轟LeCun的證據(jù)（部分）。

證據(jù)1：

LeCun：今天的人工智能研究必須解決三個(gè)主要挑戰(zhàn)：（1）機(jī)器如何能學(xué)會(huì)代表世界，學(xué)會(huì)預(yù)測(cè)，并學(xué)會(huì)主要通過(guò)觀察來(lái)采取行動(dòng)（2）機(jī)器如何以與基于梯度的學(xué)習(xí)兼容的方式進(jìn)行推理和計(jì)劃（3）機(jī)器如何以分層的方式，在多個(gè)抽象層次和多個(gè)時(shí)間尺度上學(xué)習(xí)表征感知（3a）和行動(dòng)計(jì)劃（3b）

Schmidhuber：這些問(wèn)題在1990年、1991年、1997年和2015年發(fā)表的一系列論文中得到了詳細(xì)解決。

1990年，第一篇關(guān)于基于梯度的人工神經(jīng)網(wǎng)絡(luò)（NN）用于長(zhǎng)期規(guī)劃和強(qiáng)化學(xué)習(xí)（RL）以及通過(guò)人工好奇心進(jìn)行探索的工作發(fā)表。

它描述了兩個(gè)遞歸神經(jīng)網(wǎng)絡(luò)（RNN，最強(qiáng)大的NNN）的組合，稱(chēng)為控制器和世界模型。

其中，世界模型學(xué)習(xí)預(yù)測(cè)控制器行動(dòng)的后果，控制器可以利用世界模型提前規(guī)劃幾個(gè)時(shí)間步驟，選擇使預(yù)測(cè)獎(jiǎng)勵(lì)最大化的行動(dòng)序列。

關(guān)于基于神經(jīng)網(wǎng)絡(luò)的分層感知（3a）的答案，這個(gè)問(wèn)題至少部分由我 1991年發(fā)表的「第一臺(tái)深度學(xué)習(xí)機(jī)器—神經(jīng)序列分塊器」解決。

它在遞歸神經(jīng)網(wǎng)絡(luò) (RNN) 的深層層次結(jié)構(gòu)中使用無(wú)監(jiān)督學(xué)習(xí)和預(yù)測(cè)編碼，以在多個(gè)抽象級(jí)別和多個(gè)時(shí)間尺度（正是 LeCun 所寫(xiě)的內(nèi)容）上找到「長(zhǎng)數(shù)據(jù)序列的內(nèi)部表征」。

關(guān)于基于神經(jīng)網(wǎng)絡(luò)的分層行動(dòng)計(jì)劃（3b）的答案，已在 1990 年通過(guò)我的分層強(qiáng)化學(xué)習(xí) (HRL)這篇論文至少部分解決了這個(gè)問(wèn)題。

證據(jù)2：

LeCun ：由于成本模塊的兩個(gè)子模塊都是可微的，所以能量梯度可以通過(guò)其他模塊反向傳播，特別是世界模塊、表演模塊和感知模塊。

Schmidhuber：這正是我在 1990 年發(fā)表的內(nèi)容，引用了 1980 年發(fā)表的「具有前饋神經(jīng)網(wǎng)絡(luò)的系統(tǒng)識(shí)別」論文。

2000年，我的前博士后 Marcus Hutter 甚至發(fā)表了用于學(xué)習(xí)世界模型和控制器的理論上最優(yōu)、通用、不可微的方法。（另請(qǐng)參考稱(chēng)為哥德?tīng)枡C(jī)的數(shù)學(xué)上最優(yōu)的自我參照 AGI）

證據(jù)3：

LeCun ：短期記憶模塊架構(gòu)可能類(lèi)似于鍵值記憶網(wǎng)絡(luò)。

Schmidhuber：然而，他沒(méi)有提到我在 1991 年發(fā)表了第一個(gè)這樣的「鍵值記憶網(wǎng)絡(luò)」，當(dāng)時(shí)我描述了序列處理「Fast Weight Controllers」或 Fast Weight Programmers (FWPs)。FWP 擁有一個(gè)慢速的神經(jīng)網(wǎng)絡(luò)，它通過(guò)反向傳播學(xué)習(xí)以快速修改另一個(gè)神經(jīng)網(wǎng)絡(luò)的快速權(quán)重。

證據(jù)4：

LeCun：這篇論文的主要原創(chuàng)貢獻(xiàn)在于：（I）一個(gè)整體認(rèn)知架構(gòu)，其中所有模塊都是可區(qū)分的，其中許多模塊是可訓(xùn)練的。（II）H-JEPA：預(yù)測(cè)世界的非生成層次架構(gòu)在多個(gè)抽象級(jí)別和多個(gè)時(shí)間尺度上學(xué)習(xí)表示的模型。（III）一系列非對(duì)比自我監(jiān)督學(xué)習(xí)范式，產(chǎn)生同時(shí)提供信息和可預(yù)測(cè)的表示。（IV）使用 H-JEPA 作為不確定性下分層規(guī)劃的預(yù)測(cè)世界模型的基礎(chǔ)。

對(duì)此，Schmidhuber也按照LeCun列出的這四個(gè)模塊一一校對(duì)，并給出了與他論文中有重合的點(diǎn)。

文章最后，他表示這篇文章的重點(diǎn)不是攻擊發(fā)表的論文或是其作者所反映的想法，關(guān)鍵是這些想法并不像LeCun 的論文中寫(xiě)的那樣「原創(chuàng)」。 

他說(shuō)，這些觀點(diǎn)的提出中許多都有著我和我的同事的努力，LeCun現(xiàn)在所提出的他的「Main original contribution」其實(shí)與我?guī)资陙?lái)研究的貢獻(xiàn)密不可分，我希望讀者自己判斷我的評(píng)論的有效性。

從LSTM之父到……

其實(shí)，這位大爺聲稱(chēng)別人抄襲他的成果也不是第一回了。

早在去年9月，他就在博客上發(fā)文表示，現(xiàn)在引用最多的神經(jīng)網(wǎng)絡(luò)論文成果，都是建立在我實(shí)驗(yàn)室完成的工作之上的：

「LSTM不用說(shuō)了，其他還有今天鼎鼎大名的開(kāi)創(chuàng)性工作比如ResNet，比如AlexNet、GAN、Transformer，都和我的工作有關(guān)系。有些工作的第一版就是我做出來(lái)的，但是現(xiàn)在這些人不講武德，引用不規(guī)范，搞得這些成果現(xiàn)在的歸屬認(rèn)知有問(wèn)題?！闺m然大爺氣性很大，但不得不說(shuō)Jürgen Schmidhuber這么多年來(lái)確實(shí)有些意難平。同為AI領(lǐng)域的前輩級(jí)人物，開(kāi)創(chuàng)性成果沒(méi)少做，但獲得的聲譽(yù)和認(rèn)可度似乎總與期望值有很大差距。

尤其是在2018年，深度學(xué)習(xí)三巨頭：Yoshua Bengio、Geoffrey Hinton、Yann LeCun榮獲圖靈獎(jiǎng)時(shí)，就有不少的網(wǎng)友發(fā)出了質(zhì)疑：圖靈獎(jiǎng)為什么沒(méi)頒給LSTM之父Jürgen Schmidhuber？他也是深度學(xué)習(xí)領(lǐng)域的大家啊。

時(shí)間回到2015年，當(dāng)時(shí)Bengio、Hinton和LeCun三位大神聯(lián)手在Nature上發(fā)了一篇review，題目直接就叫《Deep Learning》。

文章從傳統(tǒng)的機(jī)器學(xué)習(xí)技術(shù)講起，總結(jié)了現(xiàn)代機(jī)器學(xué)習(xí)的主要架構(gòu)和方法，描述了訓(xùn)練多層網(wǎng)絡(luò)架構(gòu)的反向傳播算法，以及卷積神經(jīng)網(wǎng)絡(luò)的誕生，分布式表示和語(yǔ)言處理，以及遞歸神經(jīng)網(wǎng)絡(luò)及其應(yīng)用等等。

不到一個(gè)月后，Schmidhuber就在自己的博客上發(fā)文進(jìn)行了批評(píng)。

Schmidhuber表示，這篇文章讓他非常不爽，因?yàn)槿亩啻我萌蛔髡咦约旱难芯砍晒?，而?duì)于其他先驅(qū)人物對(duì)深度學(xué)習(xí)更早的貢獻(xiàn)則只字不提。

他認(rèn)為，獲得圖靈獎(jiǎng)的「深度學(xué)習(xí)三巨頭」儼然成了貪他人之功，以為己利的雞賊、借助江湖地位互相吹捧，壓制老前輩的學(xué)閥。

2016年，Jürgen Schmidhuber又在NIPS大會(huì)的Tutorial上和「GAN之父」Ian Goodfellow正面交鋒。

當(dāng)時(shí)，Goodfellow正講到GAN與其他模型相比較時(shí)，Schmidhuber便站出來(lái)提問(wèn)打斷。

Schmidhuber的問(wèn)題很長(zhǎng)，大概說(shuō)了兩分鐘，主要內(nèi)容是強(qiáng)調(diào)說(shuō)自己在1992年就已經(jīng)提出來(lái)PM，接著說(shuō)了一大堆它的原理、實(shí)現(xiàn)過(guò)程等等，最后圖窮匕見(jiàn)：你說(shuō)說(shuō)你的GAN和我的PM有沒(méi)有相似之處？

Goodfellow也不示弱：你說(shuō)的問(wèn)題我們之前在郵件里已經(jīng)交流過(guò)很多次了，我也早就公開(kāi)回應(yīng)過(guò)你了，不想在現(xiàn)在的場(chǎng)合浪費(fèi)聽(tīng)眾的耐心。

等等，等等……

或許Schmidhuber的這些「蜜汁操作」，可以用LeCun曾經(jīng)的一封郵件來(lái)解釋?zhuān)?/p>

「Jürgen 對(duì)眾人的認(rèn)可過(guò)于癡迷，總是說(shuō)自己沒(méi)有得到應(yīng)得的很多東西。幾乎是慣性地，他總是在別人每次講話(huà)結(jié)束時(shí)都要站起來(lái)，說(shuō)剛剛提出的成果有他的功勞，大體上看，這種行為并不合理。」?