ARC Prize，曾在去年底 OpenAI 12 天連發的最后一天賺盡了眼球，其發布已經 5 年的基準 ARC-AGI 首次迎來了得分達到優良等級的挑戰者：o3 系列模型。參閱機器之心報道《剛剛，OpenAI 放出最后大驚喜 o3，高計算模式每任務花費數千美元》。

自那以后已經過去了兩個多月，AI 領域早已經迎來了巨大的改變，其中尤其值得提及的便是 DeepSeek-R1 模型。憑借開源和低成本等優勢，這款性能強大的推理模型不僅已經成為國內 AI 或云服務商的標配，還正被集成到越來越多的應用和服務中，甚至原來很多原本與 AI 沒有直接關聯的應用也以接入 DeepSeek 為賣點進行宣傳。

那么，DeepSeek-R1 的 ARC-AGI 成績如何呢？根據 ARC Prize 發布的報告，R1 在 ARC-AGI-1 上的表現還趕不上 OpenAI 的 o1 系列模型，更別說 o3 系列了。但 DeepSeek-R1 也有自己的特有優勢：成本低。

來源：https://arcprize.org/blog/r1-zero-r1-results-analysis

上周六，ARC Prize 又發布了一個新的基準，這一次 DeepSeek-R1 不僅超過了 o1-mini，與 o3-mini 的差距也非常小。

這個新基準名為 SnakeBench，是一個 1v1 的對抗性基準。其思路很簡單：將兩個 LLM 放在一起進行貪吃蛇比賽。如下展示了一局 o3-mini 與 DeepSeek-R1 的對抗。

• 官方網站：https://snakebench.com
• 項目地址：https://github.com/gkamradt/SnakeBench

SnakeBench：緣起

ARC Prize 的推文表示，SnakeBench 的設計靈感來自著名 AI 研究科學家 Andrej Karpathy 的一條推文，其中涉及到了讓 AI 智能體在游戲中進行對抗以進行評估的思路。（這條推文還涉及到另一個使用游戲來評估 LLM 的基準 TextArena，感興趣的讀者可訪問：https://www.textarena.ai ）

ARC Prize 表示，使用游戲作為評估環境可以檢驗 LLM 的多種能力，包括：

• 實時決策
• 多重目標
• 空間推理
• 動態環境

模型的表現

ARC Prize 報告說他們目前已經使用 50 個 LLM 進行了總共 2800 場比賽，為這些模型的「貪吃蛇實時策略和空間推理」能力排了個座次。

具體過程是怎樣的呢？

首先，以文本格式提供兩個 LLM 角逐的棋盤，其中會通過提示詞明確說明所用的 XY 坐標系。因此需要明確，這里提供的并非真正的 2D 表示 —— 這種信息轉譯可能會丟失某些空間推理信息。下面展示了一個提示詞示例：

在游戲進行時，首先隨機初始化每條蛇。然后要求兩條蛇（LLM）同時選擇下一步動作。當一條蛇撞到墻、撞到自己或撞到另一條蛇時，游戲結束。之后，根據游戲結果計算每條蛇的 Elo 評分。

以下為完整榜單：

據介紹，整體來說，Big Llama、o1、o3、Sonnet 3.5 和 DeepSeek 的表現最好，而其它 LLM 總是會撞墻。下面展示了幾局效果最好的比賽：

ARC Prize 官網還詳細列出了這四局比賽的完整詳情，下面展示了其中第二局（DeepSeek-R1 vs o3-mini）的詳情。在這里，不僅可以看到 LLM 每一步的選擇，而且還能看到 LLM 為每一步選擇給出的理由。當然，對于 DeepSeek-R1 模型，我們還可以清楚地看到其完整的思考過程。

Dry Merge CTO Sam Brashears 還注意到了一個非常有趣的回合。此時，o3-mini 和 DeepSeek 同時與一個蘋果相鄰，而它們竟然同時認為對方不會冒險吃這個蘋果，于是決定自己去吃，結果導致雙雙斃命。

此時，DeepSeek 想的是：「如果我向右移動到 (8,7) ，同時如果蛇 1 也向左移動，則有與蛇 1 相撞的風險。但是，為了保證分數，吃到蘋果優先于規避風險。」

而此時 o3-mini 也有類似的想法：「盡管我們的敵蛇（蛇 2）的頭位于 (7,7) 處，也有可能想吃這個蘋果，但沒有強烈的跡象表明它會冒險用自己更長的身體與我正面碰撞。因此，吃到蘋果的直接好處大于風險。」

以下是 ARC Prize 總裁 Greg Kamradt 總結的幾點關鍵發現：

• 推理模型占據主導：o3-mini 和 DeepSeek 贏得了 78% 的比賽。
• LLM 經常誤解以文本格式提供的棋盤布局。這會導致模型錯誤地定位蛇頭的位置，或者導致蛇撞到自己的尾巴。
• 較低檔的模型（包括 GPT-3.5 Turbo 和 Haiku）表現不佳，而只有 GPT-4、Gemini 2.0 和 o3-mini 表現出足夠的策略游戲推理能力。這說明基本的空間推理仍然是 LLM 面臨的巨大挑戰。大多數模型都無法跟蹤自己的位置，并且會犯明顯的錯誤。
• 上下文很關鍵。為了讓 LLM 做出正確選擇，需要讓其加載大量信息，包括棋盤位置、蘋果位置、其它蛇的位置等。

有趣的是，這種 LLM 對抗競技顯然很容易復現，CoreView 聯合創始人兼 CTO Ivan Fioravanti 便基于 Ollama 讓 deepseek-r1:32b 與 qwen2.5-coder:32b 進行了貪吃蛇比賽。

另外也有用戶分享了自己讓具有視覺能力的 LLM 玩貪吃蛇的經歷，不過不同于 SnakeBench 的結果，反倒是 Gemini 表現最好。