[[432064]]

長期以來，深度學(xué)習(xí)和人工神經(jīng)網(wǎng)絡(luò)的靈感被很多學(xué)者認(rèn)為是來自人類的大腦。

比如，神經(jīng)元之間的連接在人工神經(jīng)網(wǎng)絡(luò)中，是用節(jié)點之間的權(quán)重表示的。正值表示興奮性連接，負(fù)值表示抑制性連接。

所有輸入都通過權(quán)重進行加權(quán)并求和（線性組合），然后，通過激活函數(shù)控制值域輸出。例如，可接受的輸出范圍通常在0和1之間，也可以在-1和1之間。

在某種意義上，人工神經(jīng)網(wǎng)絡(luò)確實粗淺地模仿了大腦底層神經(jīng)元的活動。

算力「陷阱」

2016年，AlphaGo橫空出世，以4:1擊敗了李世石，技驚四座。但不能忽視的是，DeepMind訓(xùn)練AlphaGo時，大概花費了3500萬美元！

后來，DeepMind想訓(xùn)練一個玩《星際爭霸II》游戲的模型（后來的AlphaStar），就嘗試了非常多的方式構(gòu)建模型，但最后的訓(xùn)練成本還是太高了。

近年來，在自然語言處理領(lǐng)域又開啟了一股「大模型」的熱潮。

2018年，谷歌提出3億參數(shù)BERT模型驚艷四座，將自然語言處理推向了一個前所未有的新高度。

緊接著，OpenAI在2019年初推出15億參數(shù)的GPT-2，英偉達推出威震天（Megatron-LM）83億參數(shù)，谷歌T5模型110億參數(shù)，微軟圖靈Turing-NLG模型170億參數(shù)。

這些模型一次次不斷地刷新參數(shù)規(guī)模的數(shù)量級，而2020年GPT-3的出現(xiàn)成為這一數(shù)量級的分界線。

GPT-3，1750億參數(shù)，參數(shù)規(guī)模達到千億級別，直逼人類神經(jīng)元的數(shù)量，能作詩、聊天、生成代碼等等。

就在近日，微軟和英偉達聯(lián)手發(fā)布了Megatron-Turing自然語言生成模型(MT-NLG)，5300億參數(shù)，同時奪得單體Transformer語言模型界「最大」和「最強」兩個稱號。

這種對于模型參數(shù)和訓(xùn)練算力的極致追求，究竟是通往AGI的「必經(jīng)之路」，還是大公司強調(diào)技術(shù)實力的「趨之若鶩」呢？

MIT一項最新的研究可能給出了答案。

計算=認(rèn)知？No!

人類的認(rèn)知可能與計算沒有任何關(guān)系。

心智的計算理論（The Computational Theory of Mind）是一個根深蒂固的理論，從上世紀(jì)40年代早期芝加哥的 Warren McCulloch 和 Walter Pitts 的工作開始，后來在MIT，Jerome Lettvin 和 Humberto 也加入對這個問題的研究。

大腦的判斷是基于計算，很多人都會這么認(rèn)為。

但在人類歷史的進程中，許多錯誤理論有時會流行長達數(shù)十年之久。

你以為的就是你以為的嗎？

比如燃燒的「燃素」理論。從 1667 年起的一個多世紀(jì)里，大多數(shù)科學(xué)家都認(rèn)為，不同物質(zhì)之所以能夠燃燒，是因為一種常見的物質(zhì)，這種物質(zhì)后來被稱為「燃素」。

燃素可以通過火消散到空氣中。空氣吸收燃素的能力是有限的，所以如果只有少量空氣可用，火就會熄滅。

直到 19 世紀(jì)末，在解釋和描述宇宙中可以直接觀察的對象的運動規(guī)律上，牛頓的經(jīng)典物理學(xué)還占據(jù)著統(tǒng)治地位。但到了 20 世紀(jì)初，愛因斯坦的理論引發(fā)了兩次革命，相對論和能量都被量子化了，并產(chǎn)生了新的學(xué)科：量子力學(xué)。

100 多年后，基于量子力學(xué)的成果仍在不斷出現(xiàn)，比如量子計算機和量子通信，可能讓今天的最先進的數(shù)據(jù)加密技術(shù)變得一文不值。

在過去的 30 年里，人們一直認(rèn)為阿爾茨海默病的機制是淀粉樣蛋白斑塊在大腦中的積累，因為觀察發(fā)現(xiàn)，患阿爾茨海默病的人的大腦中總是有這種斑塊。

直到最近，人們才發(fā)現(xiàn)，使用降低淀粉樣蛋白斑塊的藥物進行的試驗并未緩解阿爾茨海默病的病情。

現(xiàn)在認(rèn)為，淀粉樣斑塊是阿爾茨海默病的副作用，而不是病因。過去對阿爾茨海默病病因研究的替代方法投入不夠，此類研究經(jīng)常在同行評議中被視為「非主流」。

長期存在的科學(xué)理論可能經(jīng)常被取代，隨著時間的推移，任何特定科學(xué)領(lǐng)域的理論，有時都會因為存在根本錯誤而被淘汰。

意識來源新假說：「自我組織」

我們現(xiàn)在都假設(shè)智能、思想、認(rèn)知，這些都是計算的產(chǎn)物。

神經(jīng)科學(xué)計算目前是人類理解這些現(xiàn)象的最普遍方式。神經(jīng)科學(xué)的對應(yīng)研究對象就是人工智能，而要構(gòu)建一個智能系統(tǒng)，就要編寫計算機程序。

1956年，約翰·麥卡錫 (John McCarthy) 在達特茅斯人工智能研討會上首次提出了「人工智能」一次，他在會議報告的第一頁就明確提出了這一立場。

也許有意識的體驗來自某種「自我組織」。而計算主義，可能根本不是我們應(yīng)該專注的技術(shù)核心。

新的衛(wèi)星發(fā)射企業(yè)并不能主要通過編程將人們送入太空。雖然在發(fā)射過程中會涉及到很多計算機程序，但核心機制是在助推器中用氧氣燃燒不含燃素的火箭燃料，并化為對火箭的推力。

Python 腳本本身無法完成工作。同樣，只憑計算機計算出原子應(yīng)該所處的位置和狀態(tài)，并不會產(chǎn)生結(jié)晶，結(jié)晶是作為「自我組織」的原子在相互作用力下的產(chǎn)物。

人的大腦內(nèi)部大量存在二維神經(jīng)元。研究人員很久以前就確定，這些地方的神經(jīng)活動可以非常準(zhǔn)確地與感官刺激相對應(yīng)。許多研究人員將這些神經(jīng)行為描述為「計算的結(jié)果」。

他們認(rèn)為，這些計算是我們能夠有意識地體驗世界的原因。

但也許這都是錯誤的。也許這些有意識的體驗來自某種「自我組織」（self-organization）。我們與這些感覺相關(guān)的計算可能只是我們自己的發(fā)明，用來解釋感覺機制，但實際上并不是產(chǎn)生感覺的主要原因。

當(dāng)然，以目前的思維方式來說，這個說法聽起來確實挺讓人毛骨悚然的。