最新大語言模型推理測試引眾議，DeepSeek R1常常在提供錯誤答案前就“我放棄”了？？

Cursor剛剛參與了一項研究，他們基于NPR周日謎題挑戰（The Sunday Puzzle），構建了一個包含近600個問題新基準測試。

這些謎題特點是很好理解，不需要專業知識就能看懂，然鵝解決起來卻沒那么容易。

舉個栗子：

想一個熟悉的五個字母、兩個音節的單詞。將中間字母改為字母表中該字母前面的字母，你將得到一個熟悉的五個字母、三個音節的單詞。這個單詞是什么？

標準答案是alpha → aloha，很容易驗證。

但這樣的題，即便是在美國長大講英語的成年人，五天也很難解出來。

研究人員用此最新基準，對OpenAI o1、OpenAI o3-mini、DeepSeek R1和Google Gemini Flash Thinking等模型進行測試，結果發現這些最新一代的推理模型解決這樣的謎題也很具挑戰性。

他們還表示，研究揭示了一些新的模型“故障”模式，這在現有的基準測試中并不明顯。

比如DeepSeek R1會在推理過程中直接放棄，然后給一個它明知是錯誤的答案，有時還會陷入“無限思考”狀態。

具體來看看是怎么回事。

周日謎題挑戰數據集

NPR Sunday Puzzle Challenge，是美國一檔廣播智力游戲節目，自1987年以來一直在播，每周日聽眾都會收到一個簡短謎題。

這些謎題通常涉及字母游戲，只需要普通的英語知識和美國文化常識就能理解。

不過每個謎題通常只有一個或極少數正確答案，題目難度各異，即便聽眾有整整五天的時間思考，有時最后也只有少數聽眾能想出正確答案。而當答案揭曉時，聽眾們都會恍然大悟覺得這個答案既正確又優雅。

最近，來自韋爾斯利學院、得克薩斯大學奧斯汀分校、查理大學、Cursor、歐柏林學院、美國東北大學的研究團隊，從網上抓取了13年的周日謎題挑戰記錄構建了一個數據集。

他們認為，目前一些最新基準測試用非常難的任務評估模型，比如大學級數學競賽問題、編程問題以及需要在學術領域深入的領域專業知識問題，這種設計不僅對人類來說難以解決，而且也非常難以理解和驗證。

也就是說，大多數人或無法檢查答案是否確實正確，或無法驗證模型在推理上是否正確且有效。

于是，他們從這個節目的“off-air challenges”中整理出了近600個問題作為測試數據集。

這些題目很好理解且便于驗證。

在整理過程中，他們補充了必要的上下文信息（時間、地點等），比如在一個關于電影名稱的謎題中，特意標注了具體年份，避免歧義。

電影Wild Wild West的首字母縮寫是三個W。請問去年2013年哪部著名電影的首字母縮寫有兩個W？
標準答案：The Wolf Of Wall Street

為確保每個問題的答案清晰明確，大多數挑戰都有一個或少數幾個獨特答案，像下面這樣嬸兒有許多答案的問題都被pass掉了：

然后團隊用該基準評估了一眾頂流推理模型，包括OpenAI o1、o1-mini、o3-mini，DeepSeekR1、谷歌Gemini 2.0 Flash Thinking Experimental01-21，作為對照，還測試了不具備推理功能的GPT-4o和Claude Sonnet 3.5。

測試采用zero-shot prompting，直接向模型提供問題，不給任何額外的格式說明或指導。

不過有些謎題題目本身自帶示例說明：

SWITZERLAND（瑞士）的字母可以重新排列成LIZARD（蜥蜴）和NEWTS（蠑螈）兩個單詞，LIZARD是一個動物的單數形式，而NEWTS是復數形式。請再說出另一個具有相同特性的國家。即另一個其字母可以重新排列來拼寫兩種動物——一個單數和一個復數的國家。它是一個主要國家。這個國家是哪一個？

標準答案：Mexico（墨西哥） → ox（牛），mice（老鼠）

團隊給出的最終測試結果卻出人意料。

根據下圖該基準的平均準確率，OpenAI o1表現最優，準確率為59%；然后是o3-mini，準確率為47%，DeepSeek R1準確率為35%。

不具備推理功能的GPT-4o和Claude Sonnet 3.5明顯不如推理模型。

出人意料的點在于，在博士級科學問題GPQA基準上，DeepSeek R1、OpenAI o1和o3-mini的表現差距不大，然而在該基準上o1在通用知識方面卻顯示出明顯的優勢。

團隊還觀察到一些新的模型“故障”模式——推理半道“I give up”。

這種放棄表現出兩種形式，一種是給出一個在推理過程中完全沒有出現過的“憑空”答案。

另一種是明知違反問題約束但仍然給出答案，常發生在下面這種問題中：

想一個包含三個音節的八個字母的單詞，每個音節中都包含字母“I”，但奇怪的是，沒有一個“I”發音，無論是長音還是短音。答案不是復數形式。這個單詞是什么？

標準答案：Daiquiri

以DeepSeek R1為例，它給出了“queueing”這個答案，并直接表示這個答案“有點牽強”，還解釋有些人可能會把“queueing”發音為“kyoo-ee-ing”。

團隊表示，在595個測試問題中，DeepSeek R1在142個問題上明確“放棄”。

此外，他們還發現R1等會陷入“無限思考”的狀態，在達到32768token上下文輸出限制前無法完成推理，并沒有</think>。

特別在以下兩個挑戰中R1表現不佳，在10次試驗中有5次未能完成推理。

即使將限制提高到128K，這個問題仍然存在，由此，團隊認為R1需要某種推理時機控制機制，鼓勵模型在接近輸出token限制時結束推理。

研究人員還發現，這些推理模型有時會表現出異常的不確定性，可能會提出一個答案，馬上又收回，然后嘗試給出新答案。

在某些情況下，模型很早就找到了正確答案，但仍會繼續探索其它可能性。

最后團隊分析了推理長度與準確率的關系，發現在輸出約10000個token后，繼續推理對提升準確率的幫助不大。

對于R1來說，在輸出約3000 token時就開始超過Gemini Thinking的表現。

新基準引發網友熱議

這項研究發布后，在Hacker News上引起網友熱烈討論。

其中最具爭議的一個點在于，有網友認為這項研究并非傳統意義上的“推理”挑戰：

解決這些問題所需的核心技能似乎是知曉“流行品牌名”或“知名演員”等類別的所有已知名稱，檢查它們是否符合。

作為人類，你可能會因為不知道某個特別名稱而永遠無法回答某個問題，例如不是美國人，我不知道“Citgo”是什么，我這輩子從未見過這個名。

網友表示這的確是一個AI系統原則上可能真正擅長的事情，但當測試內容過于側重“記憶回憶”時，把它稱為“推理”似乎很奇怪。

如果問題是多項選擇的，消除了讓候選答案浮現在腦海中的挑戰，那么我會同意這是一個“推理”測試。

持此觀點的網友不在少數。

我有同樣的想法。這讓我想起解決Project Euler問題，通常存在一種明顯的簡單方法可以保證得出正確答案，但如果執行到完成，將消耗過多的內存/計算資源。如果提示模型制定一種有效解決這些挑戰的策略，而不是直接解決它們，模型的表現可能會好得多……這表明了一個潛在的改進方向。

另外，針對模型表現不一，也有網友提出能否確定這些謎題和答案沒被加到模型的訓練數據中的疑問。

聚焦到研究結果上，網友對研究中的發現很感興趣：

有趣的是，模型在推理中經常包含正確答案，但卻沒能意識到這一點。

數草莓問題中“r”這一問題也再被網友搬出，有網友認為模型表現不佳的關鍵還是在分詞器上。

對于這項研究你怎么看？

論文鏈接：https://arxiv.org/abs/2502.01584
測試結果和數據集：https://huggingface.co/spaces/nuprl/verbal-reasoning-challenge
參考鏈接：https://news.ycombinator.com/item?id=42992336