今年5月，DeepMind發布了一個多模態人工智能系統Gato，僅靠一套模型參數即可同時執行600多種不同的任務，一時引起行業內對通用人工智能（AGI）的熱議。

DeepMind的研究部主管Nando de Freitas當時還發了一個推特表示，只要不斷提升規模（scale）就能把AI給通關了！

我們要做的只是讓模型更大、更安全、計算更有效率、采樣更快、更智能的存儲、更多模態、在數據上創新、在線/離線等。

只要解決規模上的問題就能抵達AGI，業界需要多關注這些問題！

最近，著名AI學者、Robust.AI的創始人兼 CEO 、紐約大學的名譽教授Gary Marcus又發表了一篇博客，認為這種說法「為時太早了」，并且已經開始出現危機了！

Marcus對AI行業發展持續關注，但對AI的炒作持批判態度，曾表達過「深度學習撞墻」、「GPT-3完全沒意義」等反對意見。

大模型玩不下去怎么辦？

Nando認為，人工智能不需要進行范式轉變，只需要更多的數據、更高的效率和更大的服務器。

Marcus把這個假設轉述為: 如果沒有根本性的新創新，AGI可能會從更大規模的模型中產生。這個假設也可以稱之為「規模超越一切」(scaling- über-alles)。

他的假設，現在通常被稱為規模最大化（scaling maximalism），仍然非常流行，很大程度上是因為越來越大的模型確實性能很強，比如圖像生成等任務都需要借助大模型。

但也僅僅是到目前為止。

問題在于，數月乃至數年來不斷提高的一些技術，實際上遠遠不能達到我們所需要的那種規模。

龐氏騙局越來越多，規模帶來的性能優勢只是經驗觀察得出的結果，無法確保正確。

Marcus分享了三個最近看到的前兆，可能預示著規模最大化假說可能將要終結。

1.世界上可能沒有足夠的數據量來支持規模最大化。

這點很多人已經開始擔心了。

來自紐約大學和蘇黎世聯邦理工大學的研究人員William Merrill、Alex Warstadt和Tal Linzen最近提出了一個證明，稱「目前的神經語言模型不太適合在沒有大量數據的情況下提取自然語言的語義」。

論文鏈接：https://arxiv.org/pdf/2209.12407.pdf

盡管這個證明中包含了太多的前置假設，以至于無法被當作一個反駁證據，但是如果這個假設接近正確的話，那么在規模上可能很快就會出現真正的麻煩。

2.世界上可能沒有足夠的可用計算資源支撐規模最大化。

Miguel Solano最近給Marcus寄來了一份合作撰寫的手稿 ，作者認為，要想達到當前的超級基準，例如BIG-bench，將會需要消耗2022年全美國電力消耗的四分之一還多。

倉庫鏈接：??https://github.com/google/BIG-bench??

BIG-bench是一個眾包的基準數據集，旨在探索大型語言模型并推斷其未來的能力，其中包含200多個任務。

3.一些重要的任務可能根本無法在規模上擴展。

最明顯的例子是最近由Ruis, Khan, Biderman, Hooker, Rockt?schl和Grefenstette共同完成的一項語言學任務，他們研究了語言的語用含義。

比如對于問題「你留下指紋了嗎?」，收到回答可能是「我戴了手套」，其語義是「不」。

正如Marcus長期以來所主張的那樣，在沒有認知模型和常識的情況下讓模型意識到這一點真的很困難。

規模在這類任務中基本沒什么作用，即使是最好的模型也只有80.6%的準確率，對于大多數模型來說，規模的效果最多只能忽略不計。

并且，你可以很容易地想象出該任務的更復雜版本，模型的性能還會進一步降低。

更讓Marcus深受打擊的是，即使是像這樣單一的重要任務，約80%的性能也可能意味著規模的游戲無法繼續玩下去。

如果模型只是學會了語法和語義，但是在語用或常識推理方面失敗了，那么你可能根本就無法獲得可信任的AGI

「摩爾定律」并沒有像最初期望的那樣帶領我們走得那么遠，那么快，因為它并不是宇宙的因果定律，永遠成立。

規模最大化只是一個有趣的假設，它不會讓我們抵達通用人工智能，比如上述三個問題的解決將會迫使我們進行范式轉換。

網友Frank van der Velde表示，規模最大化的追隨者往往傾向于使用「大」和「更多」這樣模糊的術語。

與人類在學習語言中使用的訓練數據相比，深度學習模型用到的訓練數據太大了。

但與人類語言真正語義集合相比，這些所謂的海量數據仍然微不足道，大約需要100億人每秒生成一句話，持續300年才有可能得到這么大規模的訓練集。

網友Rebel Science更是直言，規模最大化不是一個有趣的假設，而是一個愚蠢的假設，不僅會輸在AI這條賽道上，而且還會死的很難看。

規模最大化過于極端

哥倫比亞大學哲學系講師、牛津大學博士Rapha?l Millière在「規模最大化」問題爭斗最激烈時也發表了一些自己的看法。

規模最大化曾經被看作是深度學習批評家的抓手（比如Gary Marcus），隨著行業內人士如Nando de Freitas和Alex Dimakis加入爭論，兩方吵得不可開交。

從業者的反應大多喜憂參半，但并非過于消極，同時預測平臺Metaculus上對AGI實現的預測日期已經提前到了歷史最低點(2028年5月) ，這也可能增大了規模最大化的可信度。

人們對「規?！怪饾u信任可能是由于新模型的發布，諸如PaLM, DALL-E 2, Flamingo和Gato的成功為規模最大化添了一把火。

Sutton 的「Bitter Lesson」在關于規模最大化的討論中拋出了很多觀點，不過并非完全等價，他認為將人類知識構建到人工智能模型(例如，特征工程)中的效率低于利用數據和計算來學習的效率。

文章鏈接：http://www.incompleteideas.net/IncIdeas/BitterLesson.html

雖然并非沒有爭議，但Sutton的觀點似乎明顯沒有規模最大化那么激進。

它確實強調了規模的重要性，但是并沒有把人工智能研究中的每一個問題簡化為僅僅是規模的挑戰。

事實上，很難確定規模最大化的具體含義，從字面上理解，「Scaling is all you need」表明我們不需要任何算法創新或者架構變化就能實現 AGI，可以擴展現有的模型，并強制輸入更多的數據。

這種字面上的解釋看起來很荒謬: 即使是像 PalM、 DALL-E 2、 Flamingo或者Gato這樣的模型也仍然需要對以前的方法進行架構上的改變。

如果有人真的認為我們可以將現成的自回歸Transformer擴展到 AGI，那真的會讓人感到驚訝。

目前還不清楚認同規模最大化的人覺得AGI需要多大程度的算法創新，這也使得從這一觀點很難產生可證偽的預測。

擴大規?？赡苁菢嫿ㄈ魏螒摫毁N上「通用人工智能」標簽系統的必要條件，但是我們不應該把必要誤認為是充分條件。