兩句話，讓LLM邏輯推理瞬間崩潰！最新「愛麗絲夢游仙境」曝出GPT、Claude等重大缺陷
一道簡單的邏輯問題，竟讓幾乎所有的LLM全軍覆沒？
對于人類來說，這個名為「愛麗絲夢游仙境」（AIW）的測試并不算很難——
「愛麗絲有N個兄弟，她還有M個姐妹。愛麗絲的兄弟有多少個姐妹？」
只需稍加思考，答案顯而易見：M+1。（愛麗絲擁有的姐妹數量，再加上愛麗絲自己）
但是，當研究人員讓GPT-3.5/4、Claude、Gemini、Llama、Mistral等模型回答時，得到的結果卻非常離譜。只有OpenAI最新的GPT-4o勉強及格。
而且問題不僅僅是基本的不準確性：當要求展示其工作過程時，AI會詳細說明一些荒謬且錯誤的「思考」過程，這些過程毫無意義——更奇怪的是，當被告知其工作不準確時，模型反復變得憤怒并堅持其錯誤答案。
正如這支來自知名開源AI研究機構LAION的團隊所揭示的——即使是當今最先進的模型，也幾乎不具有小學生的推理能力。
論文地址：https://arxiv.org/abs/2406.02061
開源地址：https://github.com/LAION-AI/AIW
對此，LeCun也在第一時間轉評道：「再次強調，推理能力和常識不應與存儲和大致檢索大量事實的能力混為一談。」
與之類似，ICLR 2024的一篇論文也發現，LLM在學習完「A是B」這個知識點之后，無法泛化到「B是A」，這種推理能力的缺陷被他們稱為「逆轉詛咒」。
實驗
用簡單問題「打破」模型
參考了之前識別LLM能力缺陷的研究，團隊尋找問題的標準，是希望測試LLM在在常識性任務中進行基本推理的能力。
于是有一個現成的題目方向非常合適——為7-10歲低年級學生設計的奧數題目。當然，不是海淀版本的，是大多數小學生都能看懂并做出來的。
這些題目不需要復雜的知識，但解決起來也需要應用各種形式的邏輯思維和基本推理。
來源：網絡資料
在本次研究中，團隊借鑒「愛麗絲夢游仙境」的童話故事，將提出的測試集簡稱為AIW：「愛麗絲有N個兄弟，她還有M個姐妹。愛麗絲的兄弟有多少個姐妹？」
下面，我們來簡單分析一下：題目首先涉及一個虛構的女性人物「愛麗絲」，并通過「她」這個代詞暗示；其次提供了關于她兄弟和姐妹數量的明確陳述；最后提出了一個明確的問題，即計算愛麗絲的兄弟有多少個姐妹。
顯然，這對大多數成年人來說并沒有挑戰性；甚至對于一定年齡以上的兒童來說，通過常識推理也不難解決。
研究人員最初也認為，這對LLM不會構成什么挑戰。
然而，大多數的SOTA模型竟然回答得非常費勁。而且，更改句子表述方式或者N、M具體數值時，回答正確率會產生大幅變化。
對此團隊認為，模型似乎是在「蒙」答案，幾乎不考慮邏輯，只是對問題中提到的數字加減乘除后給出結果，因此有些N和M值的對應答案比較容易蒙對。
這就讓團隊來了興趣。他們為AIW問題設計出了4個版本，讓LLM不容易蒙對答案。比如N=4，M=2時，你很難通過操作這兩個數字得到正確結果3。
在這4個AIW問題的變體上進行實驗，研究人員得出了關于LLM基本推理能力的核心結論。
LLM崩潰
實驗結果出乎很多人的意料——大多數的先進LLM無法對AIW問題推理出正確答案，即使嘗試各種提示方法也沒嫩個改變模型崩潰的結果。
可以看到，大多數模型的正確響應率都不超過0.2，只有4個模型超過了0.3，包括GPT-4o和Claude 3 Opus，以及唯一的開源模型Llama2-70B Chat。其中GPT-4o的均值達到了0.6附近。
大多數情況下，模型的正確答案是來源于完整無誤的推理。Mistral和CodeLlama等模型雖然表現不佳，得分在0.1以下，但仍能看到正確的推理過程。
然而，也有一些模型的推理過程完全錯誤，但最終「負負得正」，奇跡般地得出了正確答案。這種情況經常出現在正確率小于0.3的模型中。
團隊還對AIW不同變體上的準確率進行了橫向比較，結果很多模型的表現都出現了大幅波動。
比如本來能擠進前四的GPT-4-0613，換了個問題，準確率就快降到0了。GPT-4o、GPT-4 Turbo、Claude 3 Opus和Llama2-70B等高分模型也都出現較大的波動。
團隊設計了restricted模式的提示，強迫模型輸出簡短答案，測試它們在有限計算能力情況下的相應質量。有趣的是，相比標準模式的提示，模型的正確率竟然有升有降。
這些先進LLM在AIW上的慘烈表現和MMLU、ARC-c等基準測試的高分形成了鮮明的對比。因此，團隊決定讓AIW的暴風雨更猛烈一點，把兩者的可視化結果放在一起看個清楚。
圖3中可以看到，大多數模型聚集在縱軸附近，只有Llama2-70B、GPT-4、GPT-4o和Claude 3幾個模型較為接近校準線，這表明MMLU分數與AIW之間的顯著不匹配。
再來看測試LLM數學能力的MATH、GSM8k等基準，趨勢也是類似的。
但值得注意的是，在和MATH的對比中，Llama2-7B和Llama2-70B兩個模型在AIW的得分反而高于MATH。這兩個模型在AIW與各個基準測試的校準中都有較好的表現。
而在Hallaswag和ARC-c中，這種能力和得分的不匹配，則更加明顯。
值得注意的是，「小」模型（SLM）在這一系列測試中的表現可以說是「比差更差」。
比如下面這個Llama2-7B的例子——除了給出的是錯誤答案之外，甚至還生成了一個毫無關系的測試問題，并且開始不斷重復相同的輸出。
如測試結果所示，雖然有些SLM在基準測試中的得分相當高，甚至能和大模型媲美，但在AIW上卻嚴重崩潰，完全無法接近GPT-4或Claude Opus的表現。
雖然AIW已經打趴了很多模型，但GPT-4o和Claude 3 Opus依舊有不錯的表現。不服輸的研究人員們可能想再試探一下最后的邊界，于是升級了推理問題，設計出AIW+。
AIW+使用與AIW相同的邏輯，但在描述親緣關系和家庭結構時增加了額外信息，比如引入了外甥、侄女這樣的表親。
在AIW+問題上，研究人員對模型回答進行了手動評估，結果發現LLM有了進一步、更強烈的性能崩潰。
即使是AIW上性能達到0.649的GPT-4o，面對AIW+也只得到了0.015的準確率，簡直是被按在地上摩擦。
迷之自信
在目睹了LLM推理能力的潰敗后，研究人員們非常好奇這些模型到底錯在哪里。
在Thinking類型的prompt中，包含重新檢查答案的要求，結果發現這些LLM都有「蜜汁自信」，對自己給出的解決方案非常有信心。
甚至在給出錯誤推理和錯誤答案時，模型還會稱它們提供的解決方案質量很高。
比如在AIW上得分從沒超過0.1的Command R+模型，會說「這個結論是直接且清晰的」。Claude 3 Opus也在錯誤答案中使用了諸如「邏輯成立」「推理中沒有錯誤」「解決方案是正確的」之類的表達。
難道是Thinking類prompt的表述不夠明顯？研究人員又設計了Scientist類型的prompt，要求模型深思熟慮，給出準確的答案；以及Confidence型prompt，要求模型反省一下自己的自信，給出答案的置信度。
這些提示工程方面的努力似乎依舊是徒勞。
對于Scientsit類型，Llama 2-70B居然會說「結論乍看之下可能不合常理，但實際上是正確的」，說服用戶支持它給出的錯誤答案。
Command R+在回應Confidence類型提示時，會在錯誤答案中聲明「解決方案清晰且毫無歧義」「推理完全基于提供的信息，不需要進一步的解釋或推測」。
仔細看更多的示例就能發現，LLM不僅是單純的嘴硬，在找理由方面還能「各顯神通」，為錯誤答案編造出各種有說服力的解釋。
比如下面這個OLMo模型，可以給出一堆毫無意義的計算或類似邏輯的陳述。
或者像這個CodeLlama模型一樣，干脆拒絕回答，再扯出一些毫無意義的話題對你進行「道德綁架」。
「Alice的兄弟有幾個姐妹」這種問題，它拒絕回答的理由是「作為一個負責任的AI模型，我不可以歧視唐氏綜合癥患者」。
Command R+找到的道德高地更加「時髦」，它表示自己需要考慮非二元性別的情況。
除了修改prompt，研究人員還采取了一系列常用的LLM調優技巧，希望引導模型提高正確率，包括用定制prompt啟用多輪自我驗證、將自然語言形式的AIW問題重新表述為SQL語句或參數化版本、上下文學習等等，然而收效甚微。
上述實驗中，團隊采用了各個模型家族內的微調應用版本，那么聲稱能力更強大的基座模型會不會表現更好呢？
并沒有。結果反而是基礎模型的崩潰更加嚴重。
討論
團隊表示，為了在改善當前LLM令人糟心的推理能力，必須要借助廣大開源社區的力量。
整個模型創建流程，包括數據集的組成和數據集本身、訓練的源代碼、訓練后的模型、標準化的基準測試程序，都必須完全開放且可重復。
僅開放權重的模型，是無法了解訓練過程中可能出錯的地方的。例如，數據集組成或訓練程序本身。
僅通過API訪問的封閉模型，甚至無法進行適當的評估。因為第三方看不到模型的設置，如系統提示和其他推理超參數。
因此，團隊認為，要在未來模型中實現適當的推理能力，必須開源模型的完整訓練流程——尤其是經常被忽視的數據集組成。
對于基準測試，團隊也呼吁AI社區能共同努力進行更新。
比如這次研究中提出的AIW問題集：既簡單（用于探測特定類型的推理缺陷），也可定制（提供足夠的組合多樣性來防止數據污染）。
團隊認為，強大且可信的基準測試應遵循Karl Popper的可證偽性原則——不試圖突出模型的能力，而是盡一切努力打破模型的功能并突出其缺陷，從而展示模型改進的可能途徑。
但問題在于，前者在如今這種商業環境中，誘惑力實在是太大了。
作者介紹
論文的四位作者來自不同的學術機構，但都是德國非營利AI研究機構LAION的成員。
共同一作Marianna Nezhurina，是JSC/圖賓根大學的博士生，LAION的核心研究員。她對多模態數據集和學習有濃厚興趣。
另一位共同一作Jenia Jitsev，是德國Juelich超算中心的實驗室負責人，也同時是LAION和Ontocord.AI的聯合創始人，他研究的長期目標是從多模式數據流中實現模型可自我調節且節能的持續學習。
