AI究竟距離人類級水平的智能還有多遠？

Nature最新一篇長文，從人類一直在思考的AGI問題入手，探究了o1掀起的新范式。

不過，這條新路終究無法到達AGI那天。

Bengio預言：o1無法抵達AGI

3個月前，OpenAI重磅推出推理模型o1，代表著AGI路線二級能力的實現。

相較于之前的大模型，憑借著強化學習+CoT，o1得以以人類的思維方式去解決問題。

也正是o1的誕生，為持續數十年來的一場辯論注入了新的燃料：究竟要到什么時候，機器才能勝任人類大腦所能處理的所有認知任務？

這其中包括從一項任務到另一項任務的泛化、抽象推理、規劃以及選擇對世界的哪些方面進行研究和學習？

AGI真正來臨那天，可以解決很多棘手的問題，包括氣候變化、流行病、癌癥、阿爾茨海默氏癥等等。

但這種巨大力量，也會為人類的未來帶來諸多風險。

圖靈獎得主Yoshua Bengio曾表示，濫用AI，或我們對其只去控制，都將發生令人糟糕的事情。

過去幾年，大模型革命讓許多人認為AGI又近了！但另有一些研究人員表示——最典型代表LeCun，「考慮到LLM如何構建和訓練的，它們本身不足以達到AGI」。

甚至，Bengio也認為，「我們還缺少些東西」。

顯然，現在關于辯論AGI的問題，比以往任何時候都要重要。

為什么AGI辯論會改變

AGI一詞，大約在2007年開始進入人們的視野。

最先由AI研究者Ben Goertzel和Cassio Pennachin同時提出這一概念。

雖然它的確切定義仍模糊不清，但廣泛上指的是具有類人推理、泛化能力的AI系統。

撇開模糊的定義不談，在AI大部分歷史中，顯然我們還沒有抵達AGI。

以AlphaGo為例，雖然它在圍棋比賽中擊敗了人類選手李世石，但這種「超人」能力也僅僅局限在下圍棋上。

而現在，LLM隨之涌現的能力，從根本上改變了這個景觀。

像人類的大腦一樣，這些模型能泛化到各種任務中，以至于一些研究者開始認真思考，某種形式的AGI可能即將到來，甚至已經存在。

而且，這種能力的廣度尤其令人震驚。

因為大多數研究人員，只是部分理解了LLM如何實現這些能力，但其運作機制終究是一個「黑盒」。

我們都知道，大模型是一種神經網絡，其靈感就來源于大腦，由多層人工神經元組成，而這些神經元之間的連接強度可以調整。

在訓練的過程中，最強大的模型如o1、Claude、Gemini，都依賴于「下一個token預測」的方法，模型的輸入是文本token。

這些token可以是整個單詞，也可以是一組字符。通過隱藏序列中的最后一個token，再讓模型對其進行預測。

訓練算法然后比較預測結果，并調整模型參數。這個過程會反復進行，直到模型可靠地預測被隱藏的token。

再之后，模型參數已經學到了訓練數據的統計結構，以及其中的知識，并凍結參數。

當給定提示時，模型使用其來預測新的token，這一過程就被稱為「推理」。

這些基于Transformer架構搭建的LLM，使之能力大幅超越以前的模型。

在此過程中，模型還涌現出其他的能力，尤其是隨著參數規模的增加，如果LLM變得足夠大，AGI也可能會出現。

LLM仍有局限

一個典型的案例CoT，讓大模型將問題分解成更多步來解決，引導其正確回答問題。

CoT成為了o1表現如此卓越的基礎。

在訓練過程中，o1不僅學習預測下一個token，還學習為給定查詢選擇最佳的CoT提示。

這種思維鏈推理能力解釋了，為什么o1-preview能夠在IOI競賽中解決了83%的問題，要知道公司此前最強大GPT-4o也只能解決13%的問題。

然而，盡管如此強大，但o1仍有局限性，并不能成為真正的AGI。

比如，在需要規劃的任務中，Kambhampati的團隊已經證明，盡管o1在需要多達16個規劃步驟的任務中表現出色，但當步驟數增加到20到40之間時，其性能會迅速下降。

前谷歌研究員Francois Chollet也看到了，o1-preview在挑戰類似問題的局限性，比如在ARC Prize挑戰中的表現。

Chollet表示，大模型不論參數規模大小，在解決需要重新組合其所學知識的問題時，他們的能力是有限的。

因為大模型無法適應新奇的任務，沒有能力將復雜知識重組，以適應新的環境。

LLM會是AGI終局嗎？

那么，LLM會是通往AGI終點的唯一解嗎？

許多研究人員認為，底層的Transformer架構具備了AGI行為的關鍵特性。

不過，它仍舊存在一些局限性。首先，用于訓練模型的數據即將耗盡，Epoch AI估計，全網公開可用的文本數據可能會在2026年-2032年之間耗盡。

也有跡象表明，LLM參數擴大，所獲得的收益并不像以往顯著。

谷歌DeepMind倫敦研究副總Raia Hadsell提出了另一個問題，LLM預測下一個token單一的焦點太局限，無法提供AGI。

她還表示，構建一次或大量生成解決方案的模型，可以讓我們更接近AGI。

世界模型，其實還沒有建起來

神經科學家對AGI進展突破了直覺，他們認為，我們智力是大腦能夠建立一個「世界模型」的結果。

這是我們對周圍環境的一種表現。

它可以預想出不同的行動方案，預測其后果，從而進行規劃和推理。

它甚至還可以通過模擬不同場景，將一個領域學到的技能泛化到新的任務中。

其實，此前也有MIT的研究也表明了，大模型內部出現了基本的世界模型。

論文地址：https://arxiv.org/pdf/2310.02207

AI大牛Max Tegmark聲稱，在包含美國、紐約市信息數據集訓練后的開源LLM，竟展現出了世界、美國、紐約市內部的表征。

不過，這項研究也遭致一些批評，有人認為沒有證據可以表明大模型正在使用世界模型模擬或學習因果關系。

另有其他研究表明，如今AI系統學習世界模型并不可靠。

哈佛大學計算機科學家Keyon Vafa和團隊使用紐約市出租車行駛中轉彎的巨大數據集訓練了一個模型，目的是為了讓其預測下一個轉彎，幾乎100%正確。

通過檢查模型預測的轉彎，研究人員能夠證明它已經構建了一個內部地圖，才得以給出答案。

不過這張地圖，卻與曼哈頓幾乎沒有相似之處。其中，包含了根本不存在的街道，以及其他街道上的立交橋。

直到研究人員調整測試數據，包含了以往數據中不存在的、不可預見的彎路時，模型便無法預測下一個轉彎。

這也就說明了，模型是無法適應新情況的。

反饋非常重要

谷歌DeepMind的AGI研究團隊Dileep George表示，如今LLM缺乏的一個重要特征是「內部反饋」。

人類大腦充滿了無數反饋連接，這些信息能在神經元之間雙向流動。

這使得信息從感覺系統流向大腦的更高層，從而創建反應我們環境的世界模型。

這也意味著來自世界模型的信息可以向下漣漪，并指導進一步的感官信息的獲取。

這種雙向過程導致了多種認知功能，比如：感知（大腦利用世界模型來推斷感官輸入的可能原因；規劃（使用世界模型模擬不同的行動方案。

相較之下，當前的大模型只能以副駕的方式使用「反饋」。

以o1模型為例，內部CoT提示看似是一種反饋連接方式——生成幫助回答查詢的提示，并在模型給出最終答案之前將其反饋給模型。

然而，正如Chollet對o1的測試所示，這并不能確保絕對可靠的抽象推理能力。

包括Kambhampati在內的一些研究人員嘗試在LLM上添加外部模塊，被稱之為「驗證器」。

這些驗證器會檢查LLM在特定上下文中生成的答案，比如創建可行的旅行計劃，如果答案不夠理想，就要求大模型重新運行查詢。

Kambhampati團隊展示了，有外部驗證器輔助大模型能夠創建明顯更好的旅行計劃。

問題在于，研究人員必須為每個任務設計定制的驗證器，暫時還沒有通用的驗證器。

相比之下，使用這種方法的AGI系統可能需要根據實際情況，構建自己的驗證器，就像人類可以使用抽象規則確保自己在推理，即使是面對新任務。

使用這些想法，幫助開發新的AI系統，仍處于起步階段。

比如，Bengio正探索如何創建與當前基于Transformer大模型不同架構的AI系統。

其中一個使用，他所稱的「生成流網絡」的系統，將使單個AI系統能夠同時學習構建世界模型和推理、規劃所需的模塊。

地址：https://yoshuabengio.org/2023/03/21/scaling-in-the-service-of-reasoning-model-based-ml/

大模型面臨的另一個重大障礙是，幾近用竭的數據。

倫敦大學學院的神經科學家Karl Friston建議，未來的系統可以通過賦予它們決定從環境中采樣多少數據以構建世界模型和做出合理預測的能力，而不是簡單地吞噬所有輸入的數據，從而變得更加有效。

他表示，這將代表一種自主的智能體，這可能是AGI所需要的。

而且，具有構建有效世界模型和集成反饋能力的AI系統，可能會減少對外數據的依賴。

因為，它們可以通過運行內部模擬、提出反事實，并利用這些模擬理解、規劃、推理。

那么，實現AGI是否有可能？計算機科學家們都認為沒有理由認為，這是不可能的。

不過目前關于AGI離人類有多近目前還沒有達成共識：估計從現在開始還需要幾年到至少十年不等。

Chollet認為，AGI可能會悄然而至，當它到來時，可能不會如你想象那樣引人注目。

它還需要時間來呈現出其全部的潛力。AGI將首先被創造出來，然后，需要擴大規模并加以應用，直到真正改變世界那天來臨。