Claude 3.7硬控馬里奧90秒，GPT-4o開局暴斃！Karpathy直呼基準(zhǔn)失效，游戲成LLM新戰(zhàn)場
LLM評估基準(zhǔn)的「黃金標(biāo)準(zhǔn)」，正在失效？
一大早，AI大神Karpathy發(fā)出質(zhì)疑，「目前存在一種評估危機，我真的不知道現(xiàn)在該看哪些指標(biāo)了」。
諸如MMLU、SWE-Bench Verified、Chatbot Arena等這些基準(zhǔn)，各有自己的優(yōu)劣之處。
如果這些都不夠，那么游戲算不算？
畢竟，曾經(jīng)紅極一時的AlphaGo是圍棋界的頭號AI；就連OpenAI也早年涉足游戲領(lǐng)域，拿著自研AI在DOTA國際賽中取得亮眼的成績。
最近，Claude 3.7的出世，讓「寶可夢」一時間成為LLM評判的新標(biāo)桿。
UCSD Hao AI Lab再次出手，開源了一種全新的「游戲智能體」，能夠?qū)崟r讓計算機使用智能體（CUA）運行解謎、益智等類型的游戲。
結(jié)果顯示，Claude 3.7 Sonnet玩超級馬里奧足足撐滿90s，直接碾壓了OpenAI、Gemini和自家前輩；而GPT-4o一上來就直接掛掉了……
谷歌選手Gemini 1.5 Pro首戰(zhàn)即敗，而且非常有規(guī)律地兩步一跳。到了Gemini 2.0雖多走了幾步，最終還是栽坑。
GamingAgent項目代碼已開源，下載安裝即可觀戰(zhàn)AI游戲大PK。
開源地址：https://github.com/lmgame-org/GamingAgent
「游戲智能體」演示demo
GPT-4.5反應(yīng)遲鈍，GPT-4o永遠(yuǎn)被第一個小怪殺死
GPT-4o總是被第一個小怪殺死，像極了操作很爛會被隊友噴的游戲菜雞。
短短20s，游戲就結(jié)束了。
相比之下，GPT-4.5的表現(xiàn)就好多了，起碼沒卡在第一個小怪。
但它的反應(yīng)還是很遲緩，幾乎是兩步一停。
跳過一個矮水管之前，也要猶豫片刻，感覺像是剛學(xué)會了游戲操作，還在蹣跚學(xué)步。
一個稍高點的水管，嘗試了7次，足足花了10s才跳了過去。
好不容易跳了過去，就撞到小怪死掉了。第一回合就這樣告終了。
更好笑的是，第二回合的時候，GPT-4.5又栽倒在了第一個小怪那里。畢竟和GPT-4o同屬于OpenAI家族，操作都比較菜（bushi）。
第三回合表現(xiàn)也比較一般，還不如第一回合。第一個矮水管就卡了半天，擱水管底下卡了快10s才想起來跳。
最后雖然絲滑地跳過了第二個水管，但還是被小怪殺死了，還沒有第一回合走得遠(yuǎn)。第一回合起碼跳過了第三個水管，雖說剛跳過就被殺了。
GPT-4.5完整視頻
Gemini 1.5兩步一跳，2.0栽進坑里
到了谷歌這邊，Gemini 1.5 Pro首戰(zhàn)也不如意，沒能逃過第一個小怪的魔爪。
第二回合Gemini 1.5算是躲過了第一個小怪，甚至還碰到了問號箱，吃到了蘑菇。
有趣的是，和GPT-4.5兩步一停不同，Gemini 1.5是「兩步一跳」。
走了這么一小段路，一共就跳了9回。地板上也跳一跳，水管上也跳一跳。
最后也是跳過了第三根水管，甚至差點跳過了第四個，算是走得比GPT-4.5要遠(yuǎn)。
至于更新的Gemini 2.0 Flash，表現(xiàn)上不出意外地要好得多。
首先，跳得更大膽；其次，跳得也更流暢。
跳到了「前人」未曾涉足的更高的平臺上，而且10s就輕松跳過了前面三個水管。
雖然第二回合的時候也慘遭第一個小怪的毒手。
但最后走得比OpenAI家族和Gemini 1.5都遠(yuǎn)——跳過了第四根水管，栽倒在了一個沒能跳過去的坑中。
Gemini 2.0 Flash完整視頻
Claude 3.7 Sonnet發(fā)現(xiàn)隱藏獎勵
相比之下，Anthropic的Claude，就要驚艷多了。
相比于Gemini兩步一跳的操作，Claude 3.7的操作更加絲滑，走得也遠(yuǎn)很多。
尤其是在跳躍的時機上，顯得更有章法，碰到水管、碰到坑才會跳。
此外，還會有意識地通過跳躍來躲避小怪。
跳過了Gemini 2.0 Flash兩回合都沒跳過去的坑，Claude操作下的馬里奧終于是吃到了金幣；終于是碰到了除了哥布林（形似蘑菇）之外的小怪——庫巴（形似烏龜）；甚至還碰出了隱藏獎勵——超級星星。
最后是掉到了階梯平臺之間的坑里，結(jié)束了游戲。
AI大戰(zhàn)2048益智游戲，GPT-4o拿不出手
接下來，再看一個益智類的游戲2048。
可能很多人對這款游戲并不熟悉，規(guī)則是通過滑動進行拼圖，玩家將帶有相同數(shù)字的方塊合并，達(dá)到可能最高的數(shù)值。
GPT-4o在挑戰(zhàn)過程中，因為思考過久，陷入困境。
而Claude 3.7雖多走了幾步，比GPT-4o強不少，但最終還是以失敗告終。
俄羅斯方塊，智商在線
那么Claude 3.7玩俄羅斯方塊的表現(xiàn)，又如何呢？
Anthropic開發(fā)者關(guān)系負(fù)責(zé)人Alex Albert稱贊道，「非常酷！我們需要把每一款電子游戲都變成一種評估工具」。
已經(jīng)有網(wǎng)友在評論區(qū)許愿，讓Grok 3加入戰(zhàn)場。
看來，LLM評估即將開辟一條全新的路。
