編輯 | 伊風

出品 | 51CTO技術棧（微信號：blog51cto）

有沒有人發現——馬斯克又又又又跳票了？？

你說好“年底”發的Grok 3呢？不會是2025年年底吧

“Grok 3經過100k H100的訓練后，2024年底應該會非常特別。”馬斯克在7月的一篇X平臺帖子中寫道，提到xAI在孟菲斯建立的龐大GPU集群。

圖片

在12月15日的帖子表示，“Grok 3將是一次重大的飛躍”。

圖片

然而，今天都1月3日了，也沒有聽說即將發布Grok 3的消息！

事實上，就算最近xAI有所動作，也只能期待一個折中版的2.5了。

根據推特AI博主Tibor Blaho的帖子，他在xAI網站上發現的某些代碼表明，可能即將發布中間模型“Grok 2.5”。

圖片

查看完整代碼可移步：??https://archive.is/FlmBE??

作為馬斯克和奧特曼的“打擂臺”之作，Grok 系列確實是一個成功的攪局者。

也因此，馬斯克預告的Grok 3將帶來的“飛躍”，在目前稍顯冷清的大模型發布中備受關注。

馬斯克本人在做客Fridman的播客中似乎預想到了Grok將會面臨的困難。

“你希望Grok 3是最先進的？”主持人問道。

“希望是這樣。”馬斯克回答。“我的意思是，這是目標。我們可能會失敗。但這就是我們的愿景。”

1.AI墻的證明：大模型的下一代集體缺席

這不是馬斯克第一次“畫餅”沒有兌現。眾所周知，馬斯克關于產品發布時機的聲明通常最多只是理想化的目標。

被玩梗后，馬斯克自己都跳出來澄清，“對于基于時間的預測，我通常以 50% 的百分位數日期為目標，這意味著我的預測一半會遲到，一半會提前。”

圖片

但Grok 3的缺席卻有所不同，因為它是“AI撞墻”論調中不斷增加的證據之一。

去年，AI初創公司Anthropic未能按時推出其頂級Claude 3 Opus模型的繼任者。在宣布下一代模型Claude 3.5 Opus將在2024年底發布幾個月后，Anthropic將該模型的相關信息從開發者文檔中刪除了。（根據一份報告，Anthropic確實在去年完成了Claude 3.5 Opus的訓練，但決定發布它并不符合經濟效益。）

據報道，谷歌和OpenAI最近幾個月也在其旗艦模型上遭遇了挫折。

這可能是當前AI Scaling Law“過時”的證據——即公司們正在采用的增加模型能力的方法似乎已經失靈。

在不久前，使用大量計算資源和更大規模的數據集來訓練模型，能夠獲得顯著的性能提升。但隨著每一代模型的推出，增益開始縮小，這促使公司們尋求替代技術。

Grok 3推遲的原因可能有其他方面。例如，xAI的團隊規模比許多競爭對手小得多。

2.變得冷清的模型圈：上一代旗艦模型的推出時間

在AI模型最瘋狂的成長期，幾乎每一天都能在AI報道的標題中看到“一夜變天”“新王登場”這樣的詞匯。

曾經有多熱鬧，現在就有多落寞。

過去的半年，雖然依舊有很多強大的模型推出，但旗艦模型的發布節奏明顯變得遲緩了。

以下是一些AI科技巨頭，和他們的旗艦模型推出時間，能夠更直觀地感受到“下一代模型”的空缺已久：

OpenAI - GPT-4

發布時間：2023年3月

Google DeepMind - Gemini 1.5

發布時間：2024年2月

Anthropic - Claude 3.5

發布時間：2024年6月

Meta-Llama 3.1

發布時間：2024年7月

xAI - Grok 2

發布時間：2024年8月

OpenAI-o1

發布時間：2024年9月

??許多觀點（包括OpenAI前首席研究官）認為o1其實就是“下一代模型”。??該模型的計算能力是GPT-4的100倍。

然而，o1 能力增長來源于思維鏈的加持，而非傳統的Scaling Law。

由此可見，從去年下半年開始，大模型的發展似乎已經陷入了集體“啞火”的狀態，呈現出傳說中的那面無形的“墻”的輪廓。

3.另辟蹊徑，大模型要繞過那面墻

年底Ilya一句“預訓練走向終結”在AI圈掀起討論的狂潮。

觀之國內，AI大佬也紛紛尋找AI訓練的轉機與突破。

其中，月之暗面的創始人楊植麟是對預訓練仍抱有樂觀的少數派。在Kimi數學模型發布的時候，他說自己“對Scaling Law仍然樂觀，認為預訓練模型還有半代到一代的提升空間，這個空間大概率會由頭部大模型在明年釋放出來。”

但他也依然承認，Scaling Law的范式有所變化：“做Post-train（后訓練）也要Scaling，只是說你Scaling的起點很低。可能很長一段時間，你的算力就不會是瓶頸，這個時候創新能力是更重要的。”

在媒體報道中，上海人工智能實驗室主任助理、領軍科學家喬宇同樣表示“并不是說Scaling  Law要被拋棄了，而是應該尋找新的Scaling  Law維度，很多難題并不能單純靠擴大模型規模、數據、算力解決，我們需要更豐富的模型架構和更高效的學習方法，同時也希望在AGI發展過程中，能有來自中國的核心貢獻，找到與中國資源稟賦更加匹配的、自主的技術路線”。

階躍星辰首席科學家張祥雨則更“激進”一些，他直白表示，他對萬億以上參數大模型的能力提升，并不絕對樂觀。他說“根據我們的觀察，隨著大模型規模的不斷擴大，歸納相關的能力快速提升，而且可能會繼續遵循Scaling Law，但其演繹能力，包括數學和推理方面的能力，隨著模型Side進一步提升，不僅沒有增長，反而在下降。”

參考鏈接：

??https://techcrunch.com/2025/01/02/xais-next-gen-grok-model-didnt-arrive-on-time-adding-to-a-trend/??

??https://user.guancha.cn/main/content?id=1353634??

本文轉載自??51CTO技術棧??，作者：伊風