IT之家 4 月 14 日消息，LMArena 更新了 Meta 最新發布的開源大模型 Llama-4-Maverick 的排名，其從此前的第 2 名直線下降至第 32 名。這證實了此前開發者對 Meta 為刷榜向 LMArena 提供“特供版”Llama 4 大模型的質疑。

4 月 6 日，Meta 發布了最新的大模型 Llama 4，包含 Scout、Maverick 和 Behemoth 三個版本。其中，Llama-4-Maverick 在 LMArena 公布的 Chatbot Arena LLM 排行榜中排名第二，僅次于 Gemini 2.5 Pro。然而，隨著開發者實際使用 Llama 4 大模型開源版的效果陸續曝光，Llama 4 的口碑急轉直下。有開發者發現 Meta 提供給 LMArena 的 Llama 4 版本與提交給社區的開源版本不同，因而質疑 Meta 刷榜作弊。

4 月 8 日，Chatbot Arena 官方發文確認了用戶的上述質疑，公開表示 Meta 提供給他們的是“特供版”，并考慮更新排行榜。根據 Chatbot Arena 官方消息，Meta 首次提交 LMArena 的 Llama-4-Maverick-03-26-Experimental 是一個實驗性聊天優化版本，當時該版本的排名為第二。修正后的模型為 HuggingFace 開源版同款 Llama-4-Maverick-17B-128E-Instruct，是 17B 激活參數、128 個 MoE 專家的指令微調模型。

IT之家注意到，目前開源版同款 Llama-4-Maverick-17B-128E-Instruct 在 LMArena 的排名為 32 名，遠低于 Gemini 2.5 Pro（1）、GPT4o（2）、DeepSeek-V3-0324（5）、DeepSeek-R1（7）、Qwen2.5-Max（11），甚至連英偉達基于上一代 Llama 3.3 改造的 Llama-3.3-Nemotron-Super-49B-v1（17）都不如。

Meta 的 Llama-4-Maverick-03-26-Experimental 為何表現不佳？該公司在上周六發布的一張圖表中解釋稱，該模型是“針對對話性進行優化”的。這些優化顯然在 LM Arena 上取得了不錯的效果，因為 LM Arena 的人類評分者會比較不同模型的輸出，并選擇他們更偏好的結果。

由于各種原因，LM Arena 從未被視為衡量 AI 模型性能的最可靠指標。盡管如此，針對基準測試調整模型不僅具有誤導性，還使得開發者難以準確預測該模型在不同場景下的表現。

Meta 的一位發言人向 TechCrunch 表示，Meta 會嘗試“各種類型的定制變體”。“‘Llama-4-Maverick-03-26-Experimental’是我們嘗試的一個針對聊天優化的版本，它在 LM Arena 上也表現不錯，”該發言人說，“我們現在已發布了開源版本，將看看開發者如何根據自己的使用案例定制 Llama 4。我們期待看到他們構建的內容，并期待他們持續的反饋。”