LLM真的會推理嗎？

最近，蘋果研究員發(fā)文質(zhì)疑道：LLM根本沒有不會推理，所謂的推理能力只是復(fù)雜的模式匹配罷了。

論文地址：https://arxiv.org/abs/2410.05229

這項研究也在AI社區(qū)引起了廣泛討論。

谷歌DeepMind科學(xué)家Denny Zhou表示，自己ICML 2023的一片論文中，也發(fā)現(xiàn)了類似現(xiàn)象。

Meta AI研究者田淵棟表示，梯度下降可能無法學(xué)習(xí)到這樣的權(quán)重。

巧的是，AI2等機構(gòu)在23年的一篇研究也被翻出，證實模型根本沒有學(xué)會數(shù)學(xué)推理，只是在「照背」答案而已。

網(wǎng)友們搜羅了越來越多的學(xué)術(shù)證據(jù)，一致證明：LLM可能根本不會推理！

圖靈三巨頭之一的LeCun，也在最近的萬字演講表示，Meta現(xiàn)在已經(jīng)完全放棄純語言模型，因為僅靠文本訓(xùn)練，它永遠不可能達到接近人類水平的智能！

目前Transformer架構(gòu)的大語言模型，難道真的是一條彎路？

換個馬甲，大模型的數(shù)學(xué)能力就滑坡了！

這次，蘋果的研究者們仔細研究了GPT-4o和o1系列閉源模型，以及Llama、Phi、Gemma、Mistral等開源模型的數(shù)學(xué)能力。

此前，業(yè)界用來評價大模型數(shù)學(xué)能力的數(shù)據(jù)集是2021年發(fā)布的GSM8K，該數(shù)據(jù)集包含8000可小學(xué)水平的數(shù)學(xué)應(yīng)用題，例如下面的例子：

當索菲照顧她侄子時，她會為他拿出各種各樣的玩具。積木袋里有31塊積木。毛絨動物桶里有8個毛絨動物。堆疊環(huán)塔上有9個五彩繽紛的環(huán)。索菲最近買了一管彈性球，這使她為侄子準備的玩具總數(shù)達到了62個。管子里有多少個彈性球？

此時距OpenAI發(fā)布GSM8K已經(jīng)三年了，模型性能也從GPT-3的35%，提升到了30億參數(shù)模型的85%以上。

不過，這真的能證明LLM的推理能力確實提高了嗎？

要知道，由于是21年發(fā)布的數(shù)據(jù)集，如今的主流大模型可能抓取的訓(xùn)練數(shù)據(jù)無意間涵蓋了GSM8K的題目。

雖然大部分模型沒有公開訓(xùn)練數(shù)據(jù)的信息，但存在數(shù)據(jù)污染的可能，這就會導(dǎo)致大模型能夠靠背題答對GSM8K中題目。

因此，用這個數(shù)據(jù)集去評判LLM的數(shù)學(xué)能力，并不準確。

于是，為了客觀評價LLM的數(shù)學(xué)能力極限，蘋果的研究者們開發(fā)了一個名為GSM-Symbolic的數(shù)據(jù)集。

GSM-Symbolic將GSM8K的題目進行了修改，例如改變了索菲這個名字，侄子這個家人的稱謂，以及各種玩具的多少（數(shù)字）。

這樣一來，就可以產(chǎn)生出很多個看起來全新，但實際上卻是具有相同內(nèi)核的題目。

另外，除了GSM-Symbolic，這項研究還提出了GSM-NoOp數(shù)據(jù)集，GSM-NoOp 向題目中添加看似相關(guān)但實際上無關(guān)的數(shù)據(jù)，來判斷大模型在執(zhí)行邏輯推理任務(wù)時是否會受到無關(guān)數(shù)據(jù)的影響。

不管開源閉源，都會因題目換皮表現(xiàn)更差

實驗結(jié)果很有趣：就跟人類一樣，數(shù)學(xué)題干一換，很多LLM就不會了！

蘋果的研究者們對比了GSM8k和GSM-Symbolic在多種模型上的性能差異，結(jié)果發(fā)現(xiàn)——

無論是主流的開源模型還是閉源的GPT系列模型，甚至專門為數(shù)理推斷專門優(yōu)化的o1模型，當面對GSM-Symbolic的換皮題目時，準確率都會下降。

大多數(shù)模型在GSM-Symbolic上的平均性能，都低于在GSM8K上的平均性能。

GSM8k和GSM-Symbolic和模型性能對比

即使只更改了題目中的名稱，大模型的表現(xiàn)也會有存在差異，當只改變了題目中的專有名詞時，性能下降在1%-2%之間，當實驗者更改數(shù)字或結(jié)合兩類更改時，差異則更為顯著。

對比只修改題目中的專有名詞，題目中數(shù)字和都修改時的準確度

從圖2中可看出，幾乎所有模型都明顯出現(xiàn)了分布均值從右向左的逐漸移動（準確度變低），以及方差增加。

僅僅是更改一下專有名詞，就會存在如此大的差異，這種現(xiàn)象實在是令人擔憂：看來，LLM的確沒有真正理解數(shù)學(xué)概念。

即使理解了數(shù)學(xué)題目的小學(xué)生，都不會因為題目換湯不換藥，就不會做了。

隨后，蘋果的研究者繼續(xù)給這些LLM上難度。

他們引入了GSM-Symbolic的三個新變體：刪除一個分句（GSM-M1），增加一個分句（GSM-P1）或增加兩個分句（GSM-P2）。

果然，當模型面對的題目變難時，例如題目從「打電話每分鐘10分錢，打60分鐘多少錢？」變?yōu)椤复螂娫捛?0分鐘每分鐘10分錢，之后每分鐘8分錢，如此打60分鐘電話費多錢？」，大模型回答的準確性降低，方差變大，這就意味著，LLM的性能極不穩(wěn)定，可靠性越來越差。

最后，當模型面對增加了和題目無關(guān)的論述的題目（GSM-NoOP），性能的下降更是慘不忍睹。

所有模型的性能下降都更加明顯，其中Phi-3-mini 模型下降了超過 65%，甚至像o1-preview這樣的預(yù)期表現(xiàn)更好的模型也顯示出顯著的下降（17.5%）。

這是由于模型會將無關(guān)的論述當成需要操作的步驟，從而畫蛇添足地回答錯誤。

也就是說，當今性能最強大的模型，也依然無法真正理解數(shù)學(xué)問題。

GSM-NoOP數(shù)據(jù)集相比GSM8k數(shù)據(jù)集的性能下降

o1系列模型，依然無法避免這些問題

從這項研究的結(jié)果來看，大模型在執(zhí)行真正的數(shù)學(xué)推理方面的重大局限性。

大模型在不同版本的同一問題上的表現(xiàn)高度差異，隨著難度輕微增加而表現(xiàn)大幅下降，以及對無關(guān)信息的敏感度表明，大模型進行的推理及運算是脆弱的。

最終，蘋果研究者給出這樣的結(jié)論——它們可能更像是復(fù)雜的模式匹配，而不是真正的邏輯推理。

也就是說，即使我們繼續(xù)堆數(shù)據(jù)、參數(shù)和計算量，或者用更好的訓(xùn)練數(shù)據(jù)，也只能得到「更好的模式匹配器」，而非「更好的推理器」。

大模型實際不是解數(shù)學(xué)題，還是在進行模式匹配

無獨有偶，23年的一項研究《信仰與命運：Transformer作為模糊模式匹配器》也證實——

大模型并沒有真正的理解數(shù)學(xué)概念，而只是根據(jù)模糊模式匹配來從訓(xùn)練數(shù)據(jù)的題庫中尋找答案。

論文地址：https://arxiv.org/abs/2305.18654

研究者們很疑惑，為什么Claude或GPT-4這樣的模型輸出時，聽起來非常像一個人在推理，而且問題也都是需要推理才能解決的。

它們仿佛已經(jīng)在超人類智能的邊緣，但在處理一些簡單的事情上卻有很蠢。

比如，人類在學(xué)習(xí)基本計算規(guī)則后，可以解決三位數(shù)乘三位數(shù)的乘法算術(shù)。但在23年底，ChatGPT-3.5和GPT-4在此任務(wù)上的準確率分別只有55%和59%。

到底發(fā)生了什么？

在《信仰與命運》這篇論文中，Allen AI、華盛頓大學(xué)等的學(xué)者對LLM的這種表現(xiàn)提出了一種解釋——「線性化子圖匹配」。

線性子圖匹配

他們猜測，大模型解決問題的方式是這樣的。

1. 任何任務(wù)的解決問題都可以表示為一個有向圖，該圖將任務(wù)描述為一系列步驟，這些步驟會被分別解決，然后將結(jié)果組合在一起。

2. 如果整個任務(wù)的解決方案過程可以用一個圖來描述，那么其中的子任務(wù)就是該圖中的子圖。圖的結(jié)構(gòu)描述了哪些步驟依賴于其他步驟，而這種依賴順序限制了子圖如何被展平成線性序列。

3. GPT類的模型，通常就是通過近似匹配來“解決”上述子圖的。給定一個可以用子圖描述的問題，大模型就會通過大致將其與訓(xùn)練數(shù)據(jù)中相似的子圖相匹配，來進行預(yù)測。

為了證明這項猜測，研究者測試了三個任務(wù)——

乘法、愛因斯坦邏輯謎題和動態(tài)規(guī)劃問題。

拿乘法舉例。

如果LLM真的能通過足夠的數(shù)據(jù)學(xué)會東西，或者能通過系統(tǒng)化的推理解決復(fù)雜的多步驟問題，那它應(yīng)該能通過足夠的例子或?qū)λ惴ǖ某浞纸忉寔韺W(xué)習(xí)乘法。

而乘法問題可以被分解為更小的問題，因此模型應(yīng)該能通過逐步推理來做出來。

LLM可以完成嗎？

為了檢驗多位數(shù)乘法任務(wù)，研究者定義了一組大量的乘法問題。從計算兩位數(shù)和兩位數(shù)的乘積到五位數(shù)和五位數(shù)的乘積。

首先，他們會要求模型解決如下問題：

問題：35 乘以 90 等于多少？答案：3150。

其次，他們向模型提供了思維鏈示例，將其分解為更小的任務(wù)，使用學(xué)校教授的標準乘法算法。

提示模型執(zhí)行任務(wù)的程序

但如何衡量一項任務(wù)比另一項更難呢？如何追蹤模型在哪些地方失敗，如何失敗？

研究者將乘法算法描述為一個包含加法和乘法等基本操作的定向圖。

比如下面是7乘以49所涉及的運算的圖表示：

其中包含7乘以4的子任務(wù)。

子程序是圖中的子圖

研究者在評估中發(fā)現(xiàn)，即使經(jīng)過微調(diào)，模型也無法從訓(xùn)練集中看到的小乘法問題，推廣到更大的乘法問題。

在左側(cè)圖中，藍色的單元格表示模型是在這樣的乘積上訓(xùn)練的，得分相當不錯。

原因在于，模型在預(yù)測與訓(xùn)練數(shù)據(jù)規(guī)模相同的問題時就表現(xiàn)良好。

然而在橙色的單元格，如三位數(shù)與三位數(shù)或更高位數(shù)的乘積，得分就要差得多了。

GPT-3準確率與規(guī)模對比

在操作圖中可以看出，當任務(wù)變得更加復(fù)雜時，準確度會急劇下降。

寬度衡量需要同時維護多少個中間結(jié)果，而深度衡量需要組合多長的步驟序列才能達到結(jié)果

由此，研究者總結(jié)出一些真正有趣的東西。

錯誤告訴我們，LLM中真正發(fā)生的事

首先，研究者觀察到：LLM是否能成功解決問題，取決于模型之前是否見過相關(guān)的子問題。

換句話說——

1. LLM無法解決大型問題，因為它們只能解決大型問題中的部分子問題。

2. 如果它們在解決訓(xùn)練數(shù)據(jù)中頻率更高或更精確的子問題上成功了，這表明它們只是記住了答案，通過回憶解決。

這就是為什么7乘以49會失敗，但7乘以4卻取得一些進展，因為LL沒記住了「7乘以4的呢關(guān)于28」這個子問題。

更大的意義在于：與其將模型視為以一般和系統(tǒng)的方式處理問題的各個部分，不如將其視為搜索引擎，它會先召回與特定問題部分大致匹配的例子，然后將這些近似回憶拼接起來。

也就是說LLM通過僅完成整體問題的一部分而取得部分成功。

它是以自己反直覺、更膚淺、更實際的方式分解問題，更關(guān)注文本的「表面」，而非系統(tǒng)地思考給定的乘法算法。

高信息增益，甚至能預(yù)測意外的部分解決方案

一些問題

作者提出，子圖匹配的想法，更多的是一個起點，而非對現(xiàn)狀的精確完整描繪。

后續(xù)的實證研究，又削弱了這一解釋的普遍性。

比如McLeish 等人（2024 年）表明，通過「算盤嵌入」的架構(gòu)修改，可以顯著提高Transformer在算術(shù)上的性能。

LLM能夠解決比訓(xùn)練數(shù)據(jù)中更大的多位數(shù)加法問題，但未體現(xiàn)乘法性能的同等提升。

如果線性子圖匹配是Transformer的一般性限制，那么加法為何會如此容易受到特定修復(fù)的影響，而非乘法呢？

這又引出了新的問題：什么樣的文本表示將使模型更容易處理多步問題——比如推理鏈問題？

那些從外部看起來像是在推理的系統(tǒng)，即使我們知道其內(nèi)部并未在邏輯蘊涵空間中執(zhí)行搜索，它們的實際限制在哪里？

這些都留待未來解決。

馬庫斯：我早說過了

對于蘋果的研究，馬庫斯也專門寫了一篇博客進行論述。

他表示，LLM的這種「在受到干擾材料的影響下推理失敗」的缺陷，并非新現(xiàn)象。

在2017年，斯坦福大學(xué)的Robin Jia和Percy Liang就進行過類似研究，得出了相似的結(jié)果。

在問答系統(tǒng)中，即使只是改變一兩個無關(guān)緊要的詞或添加一些無關(guān)信息，也可能得到完全不同的答案

另一個體現(xiàn)LLMs缺乏足夠抽象、形式化推理能力的證據(jù)是，當問題變得更大時，其性能往往會崩潰。

這源于Subbarao Kambhapati團隊近期對GPT o1的分析：

性能在小問題上尚可，但很快就會下降

在整數(shù)算術(shù)中，我們也可以看到相同現(xiàn)象。

在越來越大的乘法問題中，這種下降趨勢在舊模型和新模型中都被反復(fù)觀察到。

即使 o1 也受到這個問題的影響：

LLM不遵守棋類規(guī)則，是其形式推理持續(xù)失敗的另一個例子：

馬斯克提出，甚至馬斯克的Robotaxi也會受到類似困擾：它們可能在最常見的情況下安全運行，但在某些情況下可能難以足夠抽象地推理。

馬庫斯指出：LLM愛好者總是為它們的個別錯誤開脫，然而最近的蘋果研究及其他相關(guān)研究和現(xiàn)象，都太過廣泛和系統(tǒng)化，讓我們無法視而不見了。

他表示，自1998和2001年以來，標準神經(jīng)網(wǎng)絡(luò)架構(gòu)無法可靠地外推和進行形式化推理，一直是自己工作的核心主題。

最后，他再次引用了自己在2001年的《代數(shù)心智》一書中的觀點——

符號操作，即某些知識通過變量及其上的操作以真正抽象的方式表示，就像我們在代數(shù)和傳統(tǒng)計算機編程中看到的一樣，必須成為AI發(fā)展的組成部分。

神經(jīng)符號AI——將這種機制與神經(jīng)網(wǎng)絡(luò)結(jié)合起來——很可能是未來前進的必要條件。

總的來看，無論是將乘法拆解為有向圖，還是一旦面對應(yīng)用題中稱謂和數(shù)字變換就答錯，這都反映了大模型在邏輯推理上的本質(zhì)缺陷。

總之，LLM在背題這件事，算是「人贓俱獲」了。

這兩項研究也警示我們：正如Meta的AI科學(xué)家田淵棟所說，只要大模型還是依賴梯度下降，那么就不要期待它變得不那么愚蠢。