[[407838]]

 Hinton剛剛在Twitter上開了一個小討論: 人們反對在設(shè)計神經(jīng)網(wǎng)絡(luò)時從大腦獲取靈感，就像在設(shè)計飛行器時從羽毛中獲取靈感一樣。

△ 「通常，在設(shè)計神經(jīng)網(wǎng)絡(luò)時，很多人反對從大腦汲取靈感，這就像從羽毛構(gòu)造中汲取靈感設(shè)計飛行器一樣。無人機(jī)需要的槳葉是不會對撞到的東西造成損壞，還可以通過快速的預(yù)處理輕松修復(fù)。」

所以，神經(jīng)網(wǎng)絡(luò)的設(shè)計到底能不能借鑒人類大腦構(gòu)造？

「能」或「不能」，這是一個問題

前排網(wǎng)友激動討論：太對了。飛機(jī)的設(shè)計靈感就來自鳥。大自然向我們展示了如何飛行。AI也是一樣。神經(jīng)網(wǎng)絡(luò)仍處于不斷發(fā)展當(dāng)中，無論何時，只要出現(xiàn)了任何難倒人類但已經(jīng)被大自然解決的問題，我們都沒有理由不去研究大自然的解法，除非我們瘋了。

也有網(wǎng)友表示：的確，人類不能像鳥類和昆蟲那樣以驚人的靈活性（滑行、加速、停止、高效率）「飛行」。對大腦來說，什么是 「飛行」？預(yù)測嗎？也許吧。神經(jīng)網(wǎng)絡(luò)不能像大腦那樣執(zhí)行許多任務(wù)。我認(rèn)為這很有啟發(fā)性。

也有網(wǎng)友認(rèn)為：對于分類問題，BP（反向傳播）可以被看作是帶有特征工程（Feature engineering）的LR（邏輯回歸）。

△ 為什么關(guān)心這個問題？事情是這樣的，在數(shù)學(xué)中也是如此，你使用一些工具來得到一個或一些想要的結(jié)果，如果你運(yùn)氣好的話，過一段時間，你就會明白為什么這些工具真的幫助了你。對于分類問題，BP可以被看作是帶有特征工程（Feature engineering）的LR.

還有網(wǎng)友表示：自我保護(hù)和自我維持的設(shè)計還沒有納入機(jī)器的考慮范圍。

△ 大腦和鳥類出于生存的需要，進(jìn)化出了自我修復(fù)的能力。無人機(jī)和它們撞到的東西被看作是人造的和可替換的。自我保護(hù)和自我維持的設(shè)計還沒有納入機(jī)器的考慮范圍。

甚至有網(wǎng)友質(zhì)疑是否可以將大腦-神經(jīng)網(wǎng)絡(luò)與鳥類-羽毛進(jìn)行對比：

△ 我們必須確定神經(jīng)網(wǎng)絡(luò)和大腦之間的關(guān)系是否可與羽毛和鳥類（或槳葉和無人機(jī)）之間的關(guān)系相提并論......不確定是否如此。

也有網(wǎng)友搬出了《大英百科全書》的解釋：

羽毛的進(jìn)化早于鳥類，甚至早于鳥類飛行。因此，早期的羽毛具有保溫功能，（......），但不具有空氣動力學(xué)和飛行功能。(......)羽毛不再被認(rèn)為是鳥類的獨特和診斷性特征。

對大腦來說反向傳播是不可能的

在反向傳播算法出現(xiàn)的好幾十年，關(guān)于大腦如何學(xué)習(xí)的理論主要受「赫布理論」（1949）影響，通常被解釋為「共同激發(fā)的神經(jīng)元之間存在連接」，即相鄰神經(jīng)元的活動越相關(guān)，它們之間的突觸聯(lián)系就越強(qiáng)。

這一理論經(jīng)過一些修改后，成功解釋了某些類型的學(xué)習(xí)和分類任務(wù)。

雖然赫布理論在使用錯誤信息時，是一種的非常狹窄、特殊且不敏感的方法，但對神經(jīng)學(xué)家來說，它仍然是最好的學(xué)習(xí)規(guī)則，20世紀(jì)50年代后期，它甚至激發(fā)了第一個人工神經(jīng)網(wǎng)絡(luò)的發(fā)展。

這些網(wǎng)絡(luò)中的每個人工神經(jīng)元接收多個輸入并產(chǎn)生一個輸出，和真實的神經(jīng)元一樣。人工神經(jīng)元用一個所謂的「突觸」權(quán)重(一個表示該輸入重要性的數(shù)字)，對輸入進(jìn)行加權(quán)求和。

到了20世紀(jì)60年代，這些神經(jīng)元可以被組織成一個有輸入層和輸出層的網(wǎng)絡(luò)，「人工神經(jīng)網(wǎng)絡(luò)」可以被訓(xùn)練來解決某些簡單的問題。

在訓(xùn)練過程中，神經(jīng)網(wǎng)絡(luò)為其神經(jīng)元確定最佳權(quán)值，以降低誤差。

然而直到1986年以前，沒有人知道如何有效地訓(xùn)練帶有「隱藏層」的人工神經(jīng)網(wǎng)絡(luò)，直到Hinton發(fā)表了「反向傳播算法」相關(guān)論文。

反向傳播的發(fā)明立即引起了一些神經(jīng)科學(xué)家的強(qiáng)烈抗議，他們認(rèn)為這種方法不可能在真正的大腦中起作用。

首先，雖然計算機(jī)可以很容易地在兩個階段實現(xiàn)該算法，但是對于生物神經(jīng)網(wǎng)絡(luò)來說，這樣做并不簡單。

其次，是計算神經(jīng)科學(xué)家所說的權(quán)重傳遞問題: 反向傳播算法復(fù)制或「傳輸」關(guān)于推理所涉及的所有突觸權(quán)重的信息，并更新這些權(quán)重以獲得更高的準(zhǔn)確性。

但是在生物網(wǎng)絡(luò)中，神經(jīng)元只能看到其他神經(jīng)元的輸出，而不能看到影響輸出的突觸權(quán)重或內(nèi)部過程。

從神經(jīng)元的角度來看，「知道自己的突觸權(quán)重是可以的，你不能知道其他神經(jīng)元的突觸權(quán)重。」

任何生物學(xué)上似乎可行的學(xué)習(xí)規(guī)則也需要遵守神經(jīng)元只能從相鄰神經(jīng)元獲取信息的限制; 反向傳播可能需要從更遠(yuǎn)的神經(jīng)元獲取信息。

因此，「如果你反向傳播信號，大腦似乎不可能計算。」

膠囊網(wǎng)絡(luò)

2017年，深度學(xué)習(xí)三巨頭之一的Geoffrey Hinton，發(fā)表了兩篇論文解釋「膠囊網(wǎng)絡(luò)（Capsule Networks）」。

在當(dāng)時，這是一種全新的神經(jīng)網(wǎng)絡(luò)，它基于一種新的結(jié)構(gòu)——膠囊，在圖像分類上取得了更優(yōu)越的性能，解決了CNN的某些缺陷，例如無法理解圖片和語義關(guān)系、沒有空間分層和空間推理的能力等。

在CNN中，左右兩幅圖都可被網(wǎng)絡(luò)識別為人臉

甚至，Hinton自己也公開表示過，他要證明為何卷積神經(jīng)網(wǎng)絡(luò)完全是「垃圾」，應(yīng)該以自己的膠囊網(wǎng)絡(luò)代替。過去三年中，他每年都會推出一個新版本的膠囊網(wǎng)絡(luò)。

今年2月，Hinton發(fā)表了一篇新論文：如何在神經(jīng)網(wǎng)絡(luò)中表示部分-整體層次結(jié)構(gòu)？（How to represent part-whole hierarchies in a neural network）

本論文中，他提出了一個叫做GLOM的架構(gòu)，可以在神經(jīng)網(wǎng)絡(luò)中使用膠囊來表示視覺的層次結(jié)構(gòu)，即部分-整體的關(guān)系。

GLOM通過提出island的概念來表示解析樹的節(jié)點。GLOM可以顯著提升transformer類的模型的可解釋性。可以顯著提升transformer類的模型的可解釋性。

作為深度學(xué)習(xí)的大大牛，Hinton提出了反向傳播（BP），隨后又一直在否定自己的工作，提出了「膠囊網(wǎng)絡(luò)」還有其他工作來增加生物學(xué)上的解釋，對于揭開大腦構(gòu)造和神經(jīng)網(wǎng)絡(luò)之謎，他的思考從未停止。