今天的主角，是一對AI界相愛相殺的老冤家：

Yann LeCun和Gary Marcus

在正式講述這一次的「新仇」之前，我們先來回顧一下，兩位大神的「舊恨」。

LeCun與Marcus之爭

Facebook首席人工智能科學家和紐約大學教授，2018年圖靈獎（Turing Award）得主楊立昆（Yann LeCun）在NOEMA雜志發(fā)表文章，回應此前Gary Marcus對AI與深度學習的評論。

此前，Marcus在雜志Nautilus中發(fā)文，稱深度學習已經(jīng)「無法前進」

Marcus此人，屬于是看熱鬧的不嫌事大的主。

一有點風吹草動，就發(fā)言「AI已死」，掀起圈內(nèi)軒然大波！

此前多次發(fā)文，稱GPT-3為「Nonsense」「bullshit」。

鐵證在此：

好家伙，竟說「深度學習撞墻了」，看到如此猖獗的評論，AI界的大牛LeCun可坐不住了，立馬發(fā)文回應！

并表示，你想對線我奉陪！

LeCun在文中把Marcus的觀點一一懟了個遍。

我們一起看一下大神是如何撰文回懟的吧~~

以下是LeCun的長文：

當代人工智能的主導技術是深度學習（DL）神經(jīng)網(wǎng)絡（NN），這是一種大規(guī)模的自學習算法，擅長識別和利用數(shù)據(jù)中的模式。從一開始，批判者們就過早地認為，神經(jīng)網(wǎng)絡已經(jīng)撞上了「一堵不可逾越的墻」，然而每一次，它都被證明是一個暫時的障礙。

在20世紀60年代，NN還不能解出非線性函數(shù)。但這種情況并沒有持續(xù)很長時間，在20世紀80年代隨著反向傳播（Backpropagation）的出現(xiàn)得以改變，但是新的「不可逾越的墻」又出現(xiàn)了，即訓練系統(tǒng)十分困難。

在20世紀90年代，人類有研究出了簡化程序和標準化架構，這使得訓練更加可靠，但無論取得什么樣的成績，好像永遠都會存在一堵「不可逾越的墻」，這一次是缺乏訓練數(shù)據(jù)和計算的能力。

2012年，當最新的GPU可以在龐大的ImageNet數(shù)據(jù)集上進行訓練時，深度學習開始成為主流，輕松地擊敗了所有競爭對手。但隨后，就出現(xiàn)了質(zhì)疑的聲音：人們發(fā)現(xiàn)了「一堵新墻」——深度學習訓練需要大量的手工標注的數(shù)據(jù)。

不過在過去的幾年里，這種質(zhì)疑變得不再有意義，因為自監(jiān)督學習已經(jīng)取得了相當不錯的效果，比如不需要標記數(shù)據(jù)的GPT-3。

現(xiàn)如今似乎不可逾越的障礙是「符號推理」，即以代數(shù)或邏輯的方式操作符號的能力。正如我們小時候學到的，解決數(shù)學問題需要根據(jù)嚴格的規(guī)則一步一步地處理符號(例如，解方程)。

《The Algebraic Mind》的作者、《Rebooting AI》的合著者Gary Marcus最近認為，DL無法取得進一步進展，是因為神經(jīng)網(wǎng)絡難以處理這種符號操作。與之相對的是，許多DL研究人員相信DL已經(jīng)在進行符號推理，并將繼續(xù)改進。

這場爭論的核心是符號在人工智能中的作用，存在著兩種不同看法：一種認為符號推理必須從一開始就被硬編碼，而另一種則認為機器可以通過經(jīng)驗學習到符號推理的能力。因此，問題的關鍵在于我們應該如何理解人類智能，從而，又應該如何追求能夠具有人類水平的人工智能。

不同類型的人工智能

符號推理最重要的是精確:根據(jù)排列組合，符號可以有很多種不同的順序，比如「(3-2)-1和3-(2-1)」之間的差異很重要，所以如何以正確的順序執(zhí)行正確的符號推理是至關重要的。

Marcus認為，這種推理是認知的核心，對于為語言提供潛在的語法邏輯和為數(shù)學提供基本操作至關重要。他認為這可以延伸到我們更基本的能力，在這些能力的背后，存在著一個潛在的符號邏輯。

而我們所熟知的人工智能，它就是從研究這種推理開始的，通常被稱為「符號人工智能」。但是將人類的專業(yè)知識提煉成一組規(guī)則是非常具有挑戰(zhàn)性的，會消耗巨大的時間成本和人力成本。這就是所謂的「知識獲取瓶頸」。

雖然為數(shù)學或邏輯編寫規(guī)則很簡單，但世界本身是非黑即白的、是非常模糊的，事實證明，人類不可能編寫出控制每個模式的規(guī)則或者為每一個模糊的概念定義符號。

但是，科技發(fā)展到現(xiàn)在，造就出了神經(jīng)網(wǎng)絡，而神經(jīng)網(wǎng)絡最擅長的地方就是發(fā)現(xiàn)模式并接受模糊性。

神經(jīng)網(wǎng)絡是一個相對簡單的方程，它學習一個函數(shù)，為輸入到系統(tǒng)的任何東西提供適當?shù)妮敵觥?/p>

例如，訓練一個二分類網(wǎng)絡，通過將大量的樣本數(shù)據(jù)（此處拿椅子作為例子）放入神經(jīng)網(wǎng)絡，對其進行若干個epoch的訓練，最后實現(xiàn)讓該網(wǎng)絡成功推斷出新圖片是否是椅子。

說白了，這不僅是單純的關乎人工智能的問題，更本質(zhì)的是，到底什么是智能以及人類的大腦又是如何工作的問題。”

這些神經(jīng)網(wǎng)絡可以精確訓練，因為實現(xiàn)它的函數(shù)是可微的。換句話說，如果符號AI類似于符號邏輯中使用的離散token，那么神經(jīng)網(wǎng)絡就是微積分的連續(xù)函數(shù)。

這允許通過微調(diào)參數(shù)來學習更好的表示，這意味著它可以更恰到好處的去擬合數(shù)據(jù)，而不出現(xiàn)欠擬合或者過擬合的問題。然而，當涉及到嚴格的規(guī)則和離散token時，這種流動性帶來了新的「一堵墻」:當我們求解一個方程時，我們通常想要確切的答案，而不是近似的答案。

這正是Symbolic AI的亮點所在，所以Marcus建議將二者簡單地結合起來:在DL模塊之上插入一個硬編碼的符號操作模塊。

這是很有吸引力的，因為這兩種方法可以很好地互補，所以看起來，具有不同工作方式的模塊“混合”，將最大化兩種方法的優(yōu)勢。

但爭論的焦點轉向了是否需要將符號操作內(nèi)置到系統(tǒng)中，在系統(tǒng)中，符號和操作能力是由人類設計的，而該模塊不可微的——因此與DL不兼容。

傳奇的「符號推理」

這個假設是非常有具爭議性的。

傳統(tǒng)的神經(jīng)網(wǎng)絡認為，我們不需要手工進行符號推理，而是可以學習符號推理，即用符號的例子訓練機器進行正確類型的推理，可以讓它學習抽象模式的完成。簡而言之，機器可以學習操作世界上的符號，盡管沒有內(nèi)置的手工制作的符號和符號操作規(guī)則。

當代大型語言模型(如GPT-3和LaMDA)顯示了這種方法的潛力。他們操縱符號的能力令人印嘆為觀止，這些模型表現(xiàn)出了驚人的常識推理、組合能力、多語言能力、邏輯和數(shù)學能力，甚至有模仿死者的可怕能力。

但其實這樣做并不可靠。如果你讓DALL-E制作一個羅馬雕塑，一個留著胡子、戴著眼鏡、穿著熱帶襯衫的哲學家，那它會很出色。但是如果你讓它畫一只戴著粉色玩具的小獵犬，去追逐一只松鼠，有時你會得到一只戴著粉色小獵犬或松鼠。

當它可以將所有屬性分配給一個對象時，它做得很好，但當有多個對象和多個屬性時，它就會處于懵逼狀態(tài)。許多研究人員的態(tài)度是，這是DL在通往更像人類的智能道路上的「一堵墻」。

那么符號化操作到底是需要硬編碼?還是可學習的呢?

這并不是Marcus的理解。

他假設符號推理是全有或全無的——因為DALL-E沒有符號和邏輯規(guī)則作為其操作的基礎，它實際上不是用符號進行推理。因此，大型語言模型的無數(shù)次失敗表明它們不是真正的推理，而只是沒有感情的機械模仿。

對Marcus來說，爬上一棵足夠大的樹是不可能到達月球的。因此，他認為目前的DL語言模型并不比Nim Chimpsky（一只會使用美國手語的雄性黑猩猩）基更接近真正的語言。DALL-E的問題不是缺乏訓練。它們只是系統(tǒng)沒有掌握句子潛在的邏輯結構，因此不能正確地掌握不同部分應該如何連接成一個整體。

相比之下，Geoffrey Hinton等人認為神經(jīng)網(wǎng)絡不需要硬編碼符號和代數(shù)推理既可以成功地操縱符號。DL的目標不是機器內(nèi)部的符號操作，而是學會從世界上的系統(tǒng)中產(chǎn)生正確的符號。

拒絕將兩種模式混合并非草率的，而是基于一個人是否認為符號推理可以學習的哲學性差異。

人類思想的底層邏輯

Marcus對DL的批評源于認知科學中的一場相關爭論，即智能是如何運作的，以及是什么讓人類獨一無二。他的觀點與心理學中一個著名的「本土主義」學派一致，該學派認為認知的許多關鍵特征是天生的——實際上，我們在很大程度上生來就知道世界是如何運轉的。

這種與生俱來的感知的核心是符號操作的能力（但是這究竟是在整個自然中發(fā)現(xiàn)的，還是人類特有的，尚且沒有結論)。對Marcus來說，這種符號操作能力奠定了常識的許多基本特征：遵循規(guī)則、抽象、因果推理、重新識別細節(jié)、泛化和許多其他能力。

簡而言之，我們對世界的很多理解都是自然賦予的，學習就是充實細節(jié)。

還有另一種經(jīng)驗主義觀點打破了上述想法：符號操縱在自然界中是罕見的，主要是我們的古人類祖先在過去200萬年中逐漸獲得的一種學習交流能力。

從這個觀點來看，主要的認知能力是非符號學習能力，與提高生存能力有關，比如快速識別獵物，預測它們可能的行動，以及發(fā)展熟練的反應。

這一觀點認為，絕大多數(shù)復雜的認知能力都是通過一般的、自監(jiān)督的學習能力獲得的。它還假設，我們的大部分復雜認知能力不會依賴于符號操作。相反，他們通過模擬各種場景并預測最佳結果。

這種經(jīng)驗主義的觀點認為符號和符號操縱只是另一種習得的能力，是隨著人類越來越依賴合作行為來獲得成功而獲得的能力。這將符號視為我們用來協(xié)調(diào)團隊間合作的發(fā)明——比如文字，但也包括地圖、標志性描述、儀式甚至社會角色。

這兩種觀點之間的差異非常明顯。對于本土主義傳統(tǒng)來說，符號和符號操縱原本就在頭腦中，對單詞和數(shù)字的使用也源自這種原始能力。這一觀點很有吸引力地解釋了那些源自進化適應的能力(盡管對符號操縱如何進化或為什么進化的解釋一直存在爭議)。

從經(jīng)驗主義傳統(tǒng)角度看，符號和符號推理是一項有用的交流發(fā)明，它源于一般的學習能力和我們復雜的社會世界。這將內(nèi)部計算和內(nèi)心獨白等發(fā)生在我們頭腦中的象征性事物，視為源自于數(shù)學和語言使用的外部實踐。

人工智能和認知科學領域是緊密交織的，所以這些爭斗在這里重現(xiàn)也就不足為奇了。既然人工智能中任一觀點的成功都將部分(但僅部分)證明認知科學中的一種或另一種方法是正確的，那么這些辯論的激烈程度也就不足為奇了。

問題的關鍵不僅在于如何正確地解決當代人工智能領域的問題，還在于解決智能是什么以及大腦如何工作。

對AI，是押注，還是做空？

為什么「深度學習撞墻」的說法這樣具有挑釁性？

如果Marcus是對的，那深度學習將永遠無法實現(xiàn)與人類相似的AI，無論它提出了多少新的架構，也不管它投入了多少計算能力。

為神經(jīng)網(wǎng)絡繼續(xù)添加更多的層只會讓人更加困惑，因為真正的符號操縱需要一個天生的符號操縱者。由于這種符號化操作是幾種常識能力的基礎，所以DL只會對任何東西都「不求甚解」。

相比之下，如果DL的提倡者和經(jīng)驗主義者是正確的，那么令人困惑的是插入一個用于符號操縱的模塊的想法。

在這種情況下，深度學習系統(tǒng)已經(jīng)在進行符號推理，并將繼續(xù)改進，因為它們通過更多的多模態(tài)自監(jiān)督學習、越來越有用的預測世界模型以及用于模擬和評估結果的工作內(nèi)存的擴展來更好的滿足約束。

引入符號操作模塊不會創(chuàng)造出更像人類的AI，相反會迫使所有的「推理」操作通過一個不必要的瓶頸，這將使我們更加遠離「類人智能」。這可能會切斷深度學習最激動人心的一個方面:它能夠提出超過人類的完美解決方案。

話說回來，這些都不能證明那些愚蠢的炒作是正確的：由于當前的系統(tǒng)沒有意識，所以它們不能理解我們，強化學習是不夠的，你不能僅僅通過擴大規(guī)模來構建類人智能。但所有這些問題都是主要爭論的「擦邊問題」：符號操作到底是需要硬編碼?還是可學習?

這是在呼吁停止研究混合模型(即具有不可微符號操縱器的模型)嗎?當然不是。人們應該選擇有效的方法。

但是，研究人員自20世紀80年代以來一直在研究混合模型，不過它們還沒有被證明是一種有效的方式，在許多情況下，有可能甚至遠不如神經(jīng)網(wǎng)絡。

更通俗地說，人們應該懷疑深度學習是否達到了上限。