本文經(jīng)AI新媒體量子位（公眾號ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。 

“深度學習不是真正的學習。”

英特爾神經(jīng)形態(tài)計算實驗室主任Mike Davies在國際固態(tài)電路會議（ISSCC）上將深度學習批判了一番。

Davies說，深度學習跟大多數(shù)人印象中的并不一樣，它只是一種優(yōu)化程序，實際上并不是真正在“學習”。

受到攻擊的重災(zāi)區(qū)，還是深度學習中的反向傳播算法。

他說，反向傳播與大腦無關(guān)，而只是在深度學習計算機程序中用來優(yōu)化人工神經(jīng)元響應(yīng)的一種數(shù)學技術(shù)。

自然的反向傳播例子，并不存在。

雖然他承認深度學習現(xiàn)在非常有效，但他也堅定地強調(diào)里，大腦才是真正智能計算的范例。

Davies死死抓住不放的“不像大腦”這個問題，也正是深度學習教父Hinton一直重視的。

不過對于這次批判本身，美國媒體ZDNet認為，他主要的攻擊目標其實是Yann LeCun。

深度學習vs.神經(jīng)形態(tài)計算之爭

為何攻擊LeCun？

就在周一，這位AI大牛在同一個學術(shù)會議上發(fā)言時，順便批判了Davies在搞的神經(jīng)形態(tài)計算。

神經(jīng)形態(tài)計算是英特爾布局的一個重要新興方向，在這個領(lǐng)域，他們推出了芯片樣品Loihi。英特爾說，這種芯片可以實現(xiàn)自主學習，而且能耗只有傳統(tǒng)芯片的千分之一。

而Davies就是神經(jīng)形態(tài)計算實驗室的負責人，主管著英特爾在這一領(lǐng)域的探索。他參加ISSCC會議，也是來講Loihi的。

Loihi用了一種名叫尖峰神經(jīng)元（spiking neurons）的技術(shù)，這類神經(jīng)元只有在輸入樣本后才能被激活。

神經(jīng)形態(tài)計算倡導者們認為，這種方法更好地模擬了大腦的運行機制，比如說信號傳遞的過程就像大腦一樣經(jīng)濟。

在LeCun看來，神經(jīng)形態(tài)計算領(lǐng)域沒有產(chǎn)生有實際效果的算法，為何要為一種沒用的算法構(gòu)建芯片？

不過Davies直接表達了反對，他說，神經(jīng)形態(tài)計算產(chǎn)生的算法是有效的，LeCun忽視了神經(jīng)形態(tài)計算的優(yōu)勢。

Davies說：“LeCun反對尖峰神經(jīng)元，但他卻說我們需要解決硬件中的稀疏性，尖峰神經(jīng)元就是干這個的啊。”

他說，這太諷刺了。

為了駁斥對尖峰神經(jīng)元的批評，Davies引用了安大略滑鐵盧一個名叫應(yīng)用腦科學（Applied Brain Science）的機構(gòu)的數(shù)據(jù)，比較了一種語音檢測算法在不同芯片上的表現(xiàn)。

這個算法被要求識別“aloha”這個詞，并且拒絕無意義詞語，這家機構(gòu)在CPU、GPU和Loihi芯片上運行了這一算法。

這份數(shù)據(jù)顯示，Loihi在常規(guī)處理器上運行常規(guī)神經(jīng)網(wǎng)絡(luò)性能佳，特別是在計算速度方面，并且能源效率更高，不過精確度會低一些。

在另一個例子中，Davies說Loihi執(zhí)行的基本分類器任務(wù)的速度是傳統(tǒng)的基于GPU的深度學習網(wǎng)絡(luò)的40倍，準確度提高了8％。

因此，Davies認為Loihi效率高得多，可以運行規(guī)模越來越大的網(wǎng)絡(luò)，他認為，機器人控制將會是Loihi這類神經(jīng)形態(tài)芯片的殺手級應(yīng)用。

Davies還從LeCun的批評挑出了他認同的一點：尖峰神經(jīng)元的硬件非常充足，提供了很多工具來映射有趣的算法。

針對這句話后邊隱含的“但是軟件算法層面不行”，Davies說，他的團隊當前目標就是在算法上取得進展，算法確實拖了這個領(lǐng)域的后腿。

在Twitter上，也有人隔空參與了這場辯論。

有人認為，神經(jīng)形態(tài)計算就像量子計算一樣處在起步階段，所以沒什么可批判的。

也有人覺得深度學習已經(jīng)在許多領(lǐng)域內(nèi)取得了成果，量子計算和神經(jīng)形態(tài)計算還差得遠，雖然技術(shù)很尤其，但兩者都沒有被證實，而且都沒有編程模型。

其實，這場LeCun和Davies的爭斗，除了學術(shù)方面之外，另外不得不考慮的一點就是Facebook和英特爾的商業(yè)競爭。

周一，LeCun表示Facebook內(nèi)部正在開發(fā)AI芯片，一旦Facebook自己的芯片研發(fā)成功，那就不需要使用英特爾的芯片了，甚至還會搶走英特爾的客戶。

看完這場隔空口水戰(zhàn)的來龍去脈，我們把目光收回到Davies指責的核心：反向傳播。

訓練深度學習模型離不開它，但對它的質(zhì)疑也接連不斷。

反向傳播到底行不行？

反向傳播，生于1986，出自David Plaut、Steven Nowlan、Geoffrey Hinton在卡耐基梅隆大學（CMU）時發(fā)表的Nature論文：Experiments on Learning by Back Propagation。

△ www.cs.toronto.edu/~fritz/absps/bptr.pdf

31年后，這一概念已經(jīng)隨著深度學習廣泛應(yīng)用到了各種領(lǐng)域，也遇到了很大的一次危機。

它的的提出者之一、“深度學習之父”Hinton在多倫多舉辦的一場會議上公開提出了質(zhì)疑。

他說，他對反向傳播“深感懷疑”，甚至想“全部拋掉，重頭再來”。因為，大腦的運作機制并不是這樣的。

“不像大腦”這個問題，Hinton一直非常重視，他曾在MIT的一次講座上說，他相信正是這些不像大腦的東西，導致人工神經(jīng)網(wǎng)絡(luò)的效果不夠好。

在Hinton發(fā)出自我質(zhì)疑之后，反向傳播更成了討論的熱點，甚至被稱為“今日AI的阿喀琉斯之踵”。

不過現(xiàn)在，可能Hinton應(yīng)該自己的作品稍微滿意一點了。

哈佛大學臨床神經(jīng)科學學院的兩位科學家在新一期Cell旗下期刊《認知科學趨勢》（Trends in Cognitive Sciences）上發(fā)表綜述，總結(jié)了人工神經(jīng)網(wǎng)絡(luò)的反向傳播算法，在大腦中是怎樣體現(xiàn)的。

這篇綜述題為“大腦中誤差反向傳播的理論”（Theories of Error Back-Propagation in the Brain），綜合了近來的一批理論研究，分析幾類生物反向傳播模型。

作者說，這些理論研究“否定了過去30年來普遍接受的教條，即：誤差反向傳播算法太復雜，大腦無法實現(xiàn)”。

根據(jù)這些研究，腦神經(jīng)回路中類似反向傳播的機制，是基于突觸前和突觸后神經(jīng)元活動的簡單突觸可塑性規(guī)則。

論文：https://www.cell.com/trends/cognitive-sciences/fulltext/S1364-6613(19)30012-9

One more thing…

雖然Davies和LeCun在一場學術(shù)會議上隔空吵得很熱鬧，但深度學習和神經(jīng)形態(tài)計算并非勢不兩立。

有不少學者在研究如何把神經(jīng)形態(tài)芯片和深度學習結(jié)合起來。

比如：

美國橡樹嶺國家實驗室、加州理工大學和田納西大學的學者們，就曾經(jīng)研究過如何在高性能計算設(shè)備、神經(jīng)形態(tài)芯片和量子計算機上運行復雜的深度神經(jīng)網(wǎng)絡(luò)。這是他們的研究：

A Study of Complex Deep Learning Networks on High Performance, Neuromorphic, and Quantum Computers

地址：https://arxiv.org/abs/1703.05364

而奧地利格拉茨技術(shù)大學的Guillaume Bellec、Franz Scherr等人，最近在arXiv上公開了一項研究，提出了反向傳播的一種替代方案。他們的研究題為：

Biologically inspired alternatives to backpropagation through time for learning in recurrent neural nets

地址：https://arxiv.org/abs/1901.09049

供感興趣的朋友們深入探索~