今年3月，Gary Marcus（加里·馬庫(kù)斯）提出「深度學(xué)習(xí)撞墻」這個(gè)觀點(diǎn)后，在人工智能學(xué)界激起千層浪。

當(dāng)時(shí)，就連深度學(xué)習(xí)三巨頭都坐不住了，先是Geoffrey Hinton在一期播客中駁斥了這個(gè)觀點(diǎn)。

緊接著6月，Yann LeCun撰寫了一篇文章對(duì)此作出了回應(yīng)，并指出別把一時(shí)困難當(dāng)撞墻。

現(xiàn)在，馬庫(kù)斯在美國(guó)NOEMA雜志發(fā)表了一篇題為「Deep Learning Alone Isn’t Getting Us To Human-Like AI」的文章。

同樣，他依舊沒(méi)有改變自己的觀點(diǎn)——僅靠深度學(xué)習(xí)并不能實(shí)現(xiàn)類人智能。

并提出，當(dāng)前人工智能主要集中在深度學(xué)習(xí)上的研究，是時(shí)候該重新考慮一下了。

近70年來(lái)，人工智能領(lǐng)域中最根本的爭(zhēng)論就是：人工智能系統(tǒng)是否應(yīng)該建立在「符號(hào)操作」上 ，還是應(yīng)該建立在類腦的「神經(jīng)網(wǎng)絡(luò)」系統(tǒng)之上。

其實(shí)，這里還有第三種可能性：混合模型 ——將神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)與符號(hào)操作的強(qiáng)大抽象能力相結(jié)合。

LeCun近期在NOEMA雜志發(fā)表的文章「What AI Can Tell Us About Intelligence」同樣探討了這個(gè)問(wèn)題，但是馬庫(kù)斯指出他的文章看似清晰，但又有明顯缺陷，即前后邏輯矛盾。

這篇文章開(kāi)頭，他們拒絕混合模型，但文章最后又承認(rèn)混合模型的存在，并提到它是一種可能的前進(jìn)方式。

神經(jīng)網(wǎng)絡(luò)和符號(hào)操作的混合模型

馬庫(kù)斯指出，LeCun和Browning的觀點(diǎn)主要是「如果一個(gè)模型學(xué)會(huì)了符號(hào)操作，它就不是混合的」。

但機(jī)器學(xué)習(xí)的問(wèn)題是一個(gè)發(fā)展的問(wèn)題（系統(tǒng)是如何產(chǎn)生的？）

而系統(tǒng)一旦發(fā)展起來(lái)如何運(yùn)作是一個(gè)計(jì)算問(wèn)題（例如，它使用一種機(jī)制還是兩種機(jī)制？），即「任何利用了符號(hào)和神經(jīng)網(wǎng)絡(luò)兩者的系統(tǒng)都是混合模型」。

也許他們真正想說(shuō)的是，人工智能很可能是一種學(xué)習(xí)的混合體，而不是天生的混合體。但學(xué)習(xí)的混合體仍然是混合體。

而馬庫(kù)斯的觀點(diǎn)是，「符號(hào)操作本身就是與生俱來(lái)的，或者有另外一種東西是與生俱來(lái)的，這種東西間接促成了符號(hào)操作的產(chǎn)生」。

所以我們的研究重心應(yīng)當(dāng)放在如何發(fā)現(xiàn)這個(gè)間接促成符號(hào)操作的介質(zhì)上。

即提出了假設(shè)，只要我們能弄清楚是什么介質(zhì)讓系統(tǒng)達(dá)到可以學(xué)習(xí)符號(hào)抽象的程度，我們就能構(gòu)建利用世界上所有知識(shí)的系統(tǒng)。

接下來(lái)，馬庫(kù)斯引經(jīng)據(jù)典，梳理了人工智能領(lǐng)域關(guān)于符號(hào)操作和神經(jīng)網(wǎng)絡(luò)辯論的歷史。

早期的人工智能先驅(qū)如Marvin Minsky、John McCarthy認(rèn)為符號(hào)操作是唯一合理的前進(jìn)方式。

而神經(jīng)網(wǎng)絡(luò)先驅(qū)Frank Rosenblatt則認(rèn)為，AI建立在神經(jīng)節(jié)點(diǎn)疊加并處理數(shù)字輸入的結(jié)構(gòu)上表現(xiàn)可能會(huì)更好。

事實(shí)上，這兩種可能性并不相互排斥。

AI所使用的神經(jīng)網(wǎng)絡(luò)并不是字面上的生物神經(jīng)元網(wǎng)絡(luò)，相反，它是一個(gè)簡(jiǎn)化的數(shù)字模型，它具備一些人類大腦的特性，但復(fù)雜性很小。

原則上，這些抽象符號(hào)可以以許多不同的方式連接起來(lái)，其中一些可以直接實(shí)現(xiàn)邏輯和符號(hào)操作。

Warren S. McCulloch 和 Walter Pitts在1943年發(fā)表的A Logical Calculus of the Ideas Inmanent in Nervous Activity，明確承認(rèn)了這種可能性。

其他人包括1950 年代的 Frank Rosenblatt 和 1980 年代的 David Rumelhart 和 Jay McClelland，提出了神經(jīng)網(wǎng)絡(luò)作為符號(hào)操作的替代方案。Geoffrey Hinton 也普遍支持這一立場(chǎng)。

然后馬庫(kù)斯又接連把LeCun、Hinton和Yoshua Bengio等圖靈獎(jiǎng)獲得者cue了個(gè)遍。

意思是光我說(shuō)了不算，其他大佬都這么說(shuō)的！

時(shí)間來(lái)到2015年，LeCun、Bengio和Hinton在Nature上寫了一篇關(guān)于深度學(xué)習(xí)的宣言式論文。

這篇文章以對(duì)符號(hào)的攻擊結(jié)束，認(rèn)為「需要新的范式來(lái)通過(guò)對(duì)大向量的操作來(lái)取代基于規(guī)則的符號(hào)表達(dá)式操作」。

事實(shí)上，Hinton 非常確信符號(hào)是一條死胡同，同年他在斯坦福大學(xué)發(fā)表了一個(gè)名為「以太符號(hào)」的演講——將符號(hào)比作科學(xué)史上最大的錯(cuò)誤之一。

上世紀(jì)80年代，他的兩位前合作者 Rumelhart 和 McClelland 也提出了類似的論點(diǎn)，他們?cè)?1986 年的一本著名著作中辯稱，符號(hào)不是「人類計(jì)算的本質(zhì)」，引發(fā)了大辯論。

馬庫(kù)斯稱，2018年他寫了一篇文章為符號(hào)操作辯護(hù)時(shí)，LeCun不加解釋地否定了他關(guān)于混合AI的論點(diǎn)，在 Twitter上將其斥為「大部分錯(cuò)誤的觀點(diǎn)」。

然后又說(shuō)，兩位著名的深度學(xué)習(xí)領(lǐng)域的大牛也表示支持混合 AI。

Andrew Ng在3月表示支持此類系統(tǒng)。Sepp Hochreiter——LSTMs 的共同創(chuàng)造者，領(lǐng)先的學(xué)習(xí)序列深度學(xué)習(xí)架構(gòu)之一，也做了同樣的事情，他在四月公開(kāi)表示，最有希望的廣泛人工智能方法是神經(jīng)符號(hào)人工智能。

而在LeCun和Browning的新觀點(diǎn)里，符號(hào)操作實(shí)際上是至關(guān)重要的，正如馬庫(kù)斯和Steven Pinker從1988年開(kāi)始提出的觀點(diǎn)。

馬庫(kù)斯也就由此指責(zé)Lecun，「你的觀點(diǎn)我?guī)资昵熬吞岢隽耍愕难芯康雇肆藥资辍埂?/span>

而且不只是我一個(gè)人說(shuō)的，其他大佬也這么認(rèn)為。

LeCun 和 Browning 的其余文章大致可以分為三個(gè)部分：

1、對(duì)我的立場(chǎng)的錯(cuò)誤描述2、努力縮小混合模型的范圍3、符號(hào)操作可能是通過(guò)學(xué)習(xí)而不是與生俱來(lái)的原因。

接下來(lái)馬庫(kù)斯又針對(duì)LeCun論文中的觀點(diǎn)進(jìn)行反駁：

LeCun和Browning說(shuō)，「Marcus說(shuō)，如果你一開(kāi)始沒(méi)有符號(hào)操作，你就永遠(yuǎn)不會(huì)擁有它」。

而事實(shí)上我在2001年的《代數(shù)思維》一書中明確承認(rèn)，我們不確定符號(hào)操作是否是與生俱來(lái)的。

他們批評(píng)我「深度學(xué)習(xí)無(wú)法取得進(jìn)一步進(jìn)展」的言論，而我的實(shí)際觀點(diǎn)并不是DL在任何問(wèn)題上都不會(huì)再有進(jìn)展，而是深度學(xué)習(xí)本身對(duì)于組合性、推理等某些工作來(lái)說(shuō)是錯(cuò)誤的工具。

同樣，他們污蔑我說(shuō)系統(tǒng)中符號(hào)推理要么有要么沒(méi)有（1或者0）。

這根本就是瞎說(shuō)。

的確DALL-E不使用符號(hào)進(jìn)行推理，但這并不意味著任何包含符號(hào)推理的系統(tǒng)都必須是有或者沒(méi)有。

至少早在上世紀(jì)70年代的系統(tǒng)MYCIN中，就有純粹的符號(hào)系統(tǒng)可以進(jìn)行各種定量推理。

符號(hào)操作先天性

符號(hào)操作能力是否可以通過(guò)學(xué)習(xí)而不是從一開(kāi)始就建立？

答案是肯定的。

馬庫(kù)斯稱，之前的實(shí)驗(yàn)雖然不能保證符號(hào)操作的能力是與生俱來(lái)的，但幾乎與這一觀點(diǎn)別無(wú)二致。它們確實(shí)對(duì)任何依賴大量經(jīng)驗(yàn)的學(xué)習(xí)理論構(gòu)成了挑戰(zhàn)。

并提出了以下2個(gè)主要的論點(diǎn)：

1、可學(xué)習(xí)性

在2001年出版的The Algebraic Mind一書中，馬庫(kù)斯展示了某些系統(tǒng)都能夠?qū)W習(xí)符號(hào)操作。

一個(gè)系統(tǒng)，如果有一些內(nèi)置的起點(diǎn)，將比一塊純粹的白板更能有效地了解這個(gè)世界。

事實(shí)上，就連LeCun自己最著名的工作——On Convolutional Neural Networks ——就是一個(gè)很好的例證：對(duì)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方式的內(nèi)置約束，從而大大提高了效率。很好地集成符號(hào)操作后，可能會(huì)帶來(lái)更大的收益。

2、人類嬰兒表現(xiàn)出一些符號(hào)操作的能力

在一系列經(jīng)常被引用的規(guī)則學(xué)習(xí)實(shí)驗(yàn)中，嬰兒們將抽象模式推廣到了他們所接受過(guò)訓(xùn)練的具體例子之外。隨后對(duì)人類嬰兒內(nèi)隱邏輯推理能力的研究更加證明了這一點(diǎn)。

另外，研究表明，比如蜜蜂可以以將太陽(yáng)方位角函數(shù)推廣到它們從未見(jiàn)過(guò)的光照條件下。

在LeCun看來(lái)，學(xué)習(xí)符號(hào)等同于晚年獲得的東西，是因?yàn)槟贻p時(shí)候需要更精確、更專業(yè)的技能。

而令人費(fèi)解的是，在反對(duì)符號(hào)操作的先天性后，LeCun并沒(méi)有給出強(qiáng)有力的證據(jù)，證明符號(hào)操作是后天習(xí)得的。

如果一只小山羊在出生后不久就可以爬下山坡，為什么新生的神經(jīng)網(wǎng)絡(luò)不能開(kāi)箱即用地結(jié)合一點(diǎn)符號(hào)操作呢？

同時(shí)，LeCun和Browning沒(méi)有具體說(shuō)明，缺乏符號(hào)操作的內(nèi)在機(jī)制，如何解決語(yǔ)言理解和推理中眾所周知的特定問(wèn)題？

他們只是給出一個(gè)微弱的歸納：由于深度學(xué)習(xí)已經(jīng)克服了從1到N的問(wèn)題，我們應(yīng)該對(duì)它能克服N+1問(wèn)題有信心。

人們應(yīng)該懷疑深度學(xué)習(xí)是否已經(jīng)達(dá)到了極限。鑒于最近在DALL-E 2、Gato和PaLM中看到的任務(wù)持續(xù)增量改進(jìn)，不要將一時(shí)困難誤認(rèn)為是「墻」似乎是明智的。深度學(xué)習(xí)不可避免的失敗之前已經(jīng)被預(yù)言過(guò)，但押注它是不值得的。

樂(lè)觀是一方面，但要看清現(xiàn)實(shí)。

深度學(xué)習(xí)原則上面臨著一些特定的挑戰(zhàn)，主要在組合性、系統(tǒng)性和語(yǔ)言理解方面，所有這些圍繞著一般化和「分布遷移」。

現(xiàn)在，每個(gè)人都認(rèn)識(shí)到分布遷移是當(dāng)前神經(jīng)網(wǎng)絡(luò)的致命弱點(diǎn)。當(dāng)然，深度學(xué)習(xí)已經(jīng)取得了進(jìn)展，但是在這些基礎(chǔ)問(wèn)題上，進(jìn)展并不大。

在馬庫(kù)斯看來(lái)，符號(hào)操作可能具有先天性的情況與以往的情況大致相同:

1、當(dāng)前的系統(tǒng)，在「代數(shù)思維」出現(xiàn)的20年后，即使面對(duì)海量的數(shù)據(jù)集和訓(xùn)練，仍然無(wú)法可靠地提取符號(hào)運(yùn)算（例如乘法）。

2、人類嬰兒的例子表明，在接受正規(guī)教育之前，他們有能力概括自然語(yǔ)言和推理的復(fù)雜方面。3、一點(diǎn)內(nèi)在的象征意義可以大大提高學(xué)習(xí)效率。AlphaFold 2的強(qiáng)大功能部分來(lái)自于精心構(gòu)建的分子生物學(xué)與生俱來(lái)的表征。

簡(jiǎn)言之，世界可能大致分為三個(gè)垃圾箱:

一是在工廠完全安裝了符號(hào)操作設(shè)備的系統(tǒng)。

二是具有先天的學(xué)習(xí)裝置系統(tǒng)缺乏符號(hào)操作，但是在正確的數(shù)據(jù)和訓(xùn)練環(huán)境下，有足夠的能力獲得它。

三是即使有足夠的訓(xùn)練，也無(wú)法獲得完整的符號(hào)操作機(jī)制的系統(tǒng)。

當(dāng)前的深度學(xué)習(xí)系統(tǒng)似乎屬于第三類：一開(kāi)始沒(méi)有符號(hào)操作機(jī)制，并且在此過(guò)程中沒(méi)有可靠的符號(hào)操作機(jī)制。

當(dāng)前，了解符號(hào)操作的來(lái)源是我們的首要任務(wù)。即便是神經(jīng)網(wǎng)絡(luò)最狂熱的支持者現(xiàn)在也認(rèn)識(shí)到符號(hào)操作對(duì)于實(shí)現(xiàn)AI的重要性。

而這正是神經(jīng)符號(hào)學(xué)界一直關(guān)注的問(wèn)題: ：如何讓數(shù)據(jù)驅(qū)動(dòng)的學(xué)習(xí)和符號(hào)表示在一個(gè)單一的、更強(qiáng)大的智能中協(xié)調(diào)一致地工作？