最近幾個月，從各路媒體、AI 社區到廣大網民都在關注 OpenAI 下一代大模型「GPT-5」的進展。

我們都知道 OpenAI 在研究新模型，新模型可能遭遇了困難無法按計劃推出，但如果有人說 GPT-5 已經在某個地方塑造世界了，你會怎么想？

假設如下：OpenAI 已經構建了 GPT-5，但將其應用在了內部，因為這樣做投資回報遠高于將其發布給數百萬 ChatGPT 用戶。此外，他們獲得的投資回報不是金錢。如你所見，這個想法很簡單，難就難在如何將那些細枝末節的線索聯系起來。最近，技術分析師 Alberto Romero 深入探討了這個思路。

首先澄清一下：這并不是 100% 可靠的猜測。證據是公開的，但沒有泄密或內幕傳言證實該想法是對的。作者沒有獲得獨家信息 —— 如果有，也無論如何都會簽署保密協議。不過，至少從邏輯上講，這個猜想看起來很有說服力。

讓我們看看這篇文章是怎么說的。

原文地址：https://www.thealgorithmicbridge.com/p/this-rumor-about-gpt-5-changes-everything

一、Opus 3.5 的神秘消失

在介紹 GPT-5 之前，我們必須先去拜訪它的遠親，同樣失蹤的 Anthropic 的 Claude Opus 3.5。

如您所知，海外三大人工智能實驗室 OpenAI、Google DeepMind 和 Anthropic 提供了一系列覆蓋各價位段、延遲與性能范圍的大模型服務。OpenAI 提供了 GPT-4o、GPT-4o mini 以及 o1 和 o1-mini 等；Google DeepMind 提供 Gemini Ultra、Pro 和 Flash；而 Anthropic 有 Claude Opus、Sonnet 和 Haiku。

他們的目標很明確：迎合盡可能多的客戶。有些人優先考慮頂級性能，而另一些人則尋求負擔得起、足夠好的解決方案，至此一切都很好。

但 2024 年 10 月發生了一件奇怪的事情。每個人都期待 Anthropic 宣布推出 Claude Opus 3.5 以回應 GPT-4o（于 2024 年 5 月推出）。然而到 10 月 22 日，他們發布了 Claude Sonnet 3.5 的更新版本（人們開始稱之為 Sonnet 3.6）。Opus 3.5 卻不見了，似乎 Anthropic 沒有了 GPT-4o 的直接競爭對手。到這里研究進度似乎出現了問題。以下是人們所說的內容以及 Opus 3.5 實際發生的事情：

• 10 月 28 日，有傳言稱 Sonnet 3.6 是…… 備受期待的 Opus 3.5 訓練失敗的中間檢查點。r/ClaudeAI subreddit 上出現了一篇文章稱 Claude 3.5 Opus 已被廢棄，并附有指向 Anthropic 模型頁面的鏈接。截至今天，該頁面沒有提及 Opus 3.5。有人猜測，刪除 Opus 3.5 是為了在即將到來的融資輪之前保持投資者的信任而采取的戰略舉措。
• 11 月 11 日，Anthropic 首席執行官 Dario Amodei 在 Lex Fridman 播客上否認他們已經放棄 Opus 3.5，從而消除了謠言：「沒有給出確切的日期，但據我們所知，計劃仍然是推出 Claude 3.5 Opus。」態度謹慎，但是確認。
• 11 月 13 日，彭博社的報道證實了之前的傳言：「經過訓練后，Anthropic 發現 3.5 Opus 在評估中的表現優于舊版本，但考慮到模型的大小以及構建和運行的成本，其優勢并沒有達到應有的程度。」Dario 似乎沒有給出日期，因為盡管 Opus 3.5 的訓練運行沒有失敗，但其結果卻不盡如人意。請注意，重點是相對于性能的成本，而不僅僅是性能。
• 12 月 11 日，半導體專家 Dylan Patel 和他的 Semianalysis 團隊給出了最后的情節轉折，提出了一個將所有數據點編織成一個連貫故事的解釋：「Anthropic 完成了對 Claude 3.5 Opus 的訓練，它表現良好，并且能夠適當擴展…… 但 Anthropic 并沒有發布它。這是因為 Anthropic 沒有公開發布，而是使用 Claude 3.5 Opus 來生成合成數據并進行獎勵建模，從而與用戶數據一起顯著改進了 Claude 3.5 Sonnet?！?/span>

簡而言之，Anthropic 確實訓練了 Claude Opus 3.5 大模型。他們放棄了這個名字，因為它還不夠好。Dario 相信不同的訓練嘗試可以改善結果，因此避免給出發布日期。彭博社證實結果比現有模型更好，但不足以證明推理成本是合理的。Dylan 和他的團隊發現了神秘的 Sonnet 3.6 和失蹤的 Opus 3.5 之間的聯系：后者正在內部用于生成合成數據以提高前者的性能。

二、更好的模型變得更小，更便宜？

使用強大、昂貴的模型生成數據來提升略弱但更便宜的模型性能的過程被稱為蒸餾。這是一種常見做法。這種技術允許 AI 實驗室將他們的小型模型提升到僅靠額外預訓練無法達到的水平。

蒸餾有多種方法，但我們不會深入討論。你需要記住的是，作為「教師」的強大模型將「學生」模型從 [小、便宜、快速]+ 弱變成 [小、便宜、快速]+ 強大。蒸餾將強大模型變成金礦。Dylan 解釋了為什么 Anthropic 對 Opus 3.5-Sonnet 3.6 這對模型這樣做是有意義的：

推理成本（新 Sonnet 與舊 Sonnet 相比）沒有顯著變化，但模型性能提升了。為什么要發布 3.5 Opus 呢？從成本角度來看，相比發布經過 3.5 Opus 進一步后訓練的 3.5 Sonnet，這樣做在經濟上是不合理的。

我們又回到了成本問題：蒸餾能在保持推理費用低廉的同時提升性能。這立即解決了彭博社報道的主要問題。Anthropic 選擇不發布 Opus 3.5 不僅僅是因為性能不佳，而是因為它在內部更有價值。（Dylan 說這就是為什么開源社區能這么快趕上 GPT-4—— 他們直接從 OpenAI 的金礦中獲取黃金。）

最驚人的發現是，Sonnet 3.6 不僅僅是好 —— 它達到了 SOTA 水平，比 GPT-4o 更好。由于從 Opus 3.5 蒸餾（可能還有其他原因，五個月在 AI 時間里很長），Anthropic 的中端模型超越了 OpenAI 的旗艦產品。突然間，高成本作為高性能的代理指標被證明是錯誤的。

「bigger is better」怎么了？OpenAI 的 CEO Sam Altman 警告說這個時代結束了。一旦頂級實驗室變得神秘，小心翼翼地保護他們珍貴的知識，他們就停止分享數字。參數數量不再是可靠的衡量標準，我們明智地將注意力轉向基準性能。OpenAI 最后一次正式披露的模型大小是 2020 年的 GPT-3，擁有 1750 億參數。到 2023 年 6 月，有傳聞稱 GPT-4 是一個專家混合模型，總計約 1.8 萬億參數。Semianalysis 后來在詳細評估中證實了這一點，得出 GPT-4 有 1.76 萬億參數的結論。這是 2023 年 7 月的事。

直到 2024 年 12 月，那是在一年半后，EpochAI（一個專注于 AI 未來影響的組織）的研究員 Ege Erdil 在文章《Frontier language models have become much smaller》中估計，領先的 AI 模型（包括 GPT-4o 和 Sonnet 3.6）比 GPT-4 小得多（盡管兩者在基準測試中都優于 GPT-4）：

……GPT-4o 和 Claude 3.5 Sonnet 等當前的前沿模型的參數量可能比 GPT-4 小一個數量級：4o 大約有 2000 億參數，3.5 Sonnet 大約有 4000 億參數…… 考慮到我得出這個數字的粗略方式，這些估計值可能有 2 倍的誤差。

他為什么能在實驗室沒有發布任何架構細節的情況下得出這些數值？他深入解釋了原因。但這個原因對我們來說并不重要。重要的是迷霧正在散去：Anthropic 和 OpenAI 似乎都在遵循類似的軌跡。他們最新的模型不僅更好，而且比上一代更小更便宜。我們知道 Anthropic 的做法是將 Opus 3.5 蒸餾成 Sonnet 3.6。但 OpenAI 是怎么做的呢？

三、AI 實驗室背后的推動力普遍存在

人們可能認為 Anthropic 的蒸餾方法源自自身特有的情況 —— 即 Opus 3.5 訓練結果令人失望。但實際上，Anthropic 的情況絕不是特例。Google DeepMind 和 OpenAI 也報告稱，他們最新的訓練結果不太理想。（需要強調，不理想并不等于模型更差。）對我們來說，造成這種情況的原因并不重要：數據不足導致的收益遞減、Transformer 架構固有的限制、預訓練 Scaling Law 陷入停滯等。無論如何，Anthropic 的特有情況實際上相當普遍。

但還記得彭博社的報道嗎：只有把成本放在一起考慮時，才能判斷性能指標的好壞？是的，Ege Erdil 解釋了原因：ChatGPT/GPT-4 熱潮之后對 AI 的需求激增。

生成式 AI 的普及速度如此之快，以至于實驗室難以跟上，導致虧損不斷增長。這種狀況促使他們所有人都要降低推理成本（訓練運行只做一次，但推理成本會隨著用戶數量和使用量的增加而成比例增長）。如果每周有 3 億人使用你的 AI 產品，運營支出可能突然會要了你的命。

促使 Anthropic 將 Sonnet 3.6 從 Opus 3.5 中蒸餾出來的原因不管是什么，都會以好幾倍的程度壓在 OpenAI 身上。蒸餾之所以有用，是因為它能將兩個普遍存在的難題變成一個優勢：通過向用戶提供更小的模型可以解決推理成本問題，同時還能避免在不發布更大模型時因為性能不佳而被公眾苛責。

Ege Erdil 認為 OpenAI 可能選擇了另一種方法：過度訓練（overtraining）。也就是使用超過計算最優（compute-optimal）程度的數據量來訓練小型模型：「當推理成為你在模型上支出的主要或主導部分時，更好的做法是…… 在更多的 token 上訓練較小的模型。」但過度訓練不再可行。AI 實驗室已經在預訓練上把高質量數據源消耗一空。伊隆?馬斯克和 Ilya Sutskever 最近幾周都承認了這一點。

回到蒸餾，Ege Erdil 總結說：「我認為 GPT-4o 和 Claude 3.5 Sonnet 很可能都是從更大模型中蒸餾出來的?！?/span>

到目前為止，所有證據都表明 OpenAI 正在以同樣的方式（蒸餾）出于同樣的原因（性能不佳 / 成本控制）做 Anthropic 對 Opus 3.5 所做的事情（訓練和隱藏）。這是一個重要發現。但先別急，Opus 3.5 仍在隱藏。OpenAI 的類似模型在哪里？它在該公司的地下室里藏著嗎？你能猜出它的名字嗎...？

四、深入無人踏足之地，必須自己開路

我的分析始于 Anthropic 的 Opus 3.5 故事，因為有很多關于它的信息。然后我用蒸餾的概念搭建了通向 OpenAI 的橋梁，并解釋了為什么推動 Anthropic 的潛在力量也在推動 OpenAI。然而，我們的理論中出現了一個新障礙：因為 OpenAI 是先驅，他們可能面臨著 Anthropic 等競爭對手尚未遇到的障礙。

其中一大障礙便是訓練 GPT-5 的硬件要求。Sonnet 3.6 與 GPT-4o 相當，但發布時間滯后了五個月。我們應該假設 GPT-5 處于另一個層次。更強大也更龐大。推理成本也更高，訓練成本也是如此?？赡苓\行一次訓練就需要 5 億美元。用現有的硬件有可能完成這樣的事情嗎？

Ege 的答案是可以。為 3 億人提供服務是難以承受之重，但訓練卻是小菜一碟：

「理論上，即使我們現有的硬件也足以支持比 GPT-4 大得多的模型：例如，一個放大 50 倍的 GPT-4 版本，擁有大約 100 萬億參數，可能每百萬輸出 token 的成本為 3000 美元，輸出速度為每秒 10-20 個 token。然而，要實現這一點，這些大型模型必須為使用它們的客戶帶來大量經濟價值。」

然而，即使是微軟、谷歌和亞馬遜（分別是 OpenAI、DeepMind 和 Anthropic 的投資方）也無法為這種推理成本找到合理理由。那么他們如何解決這個問題的？很簡單：只有當他們計劃向公眾提供數萬億參數的模型時，他們才需要「釋放大量經濟價值」。所以他們選擇不放出那些模型。

他們訓練它。他們意識到它「比他們目前的產品表現更好。」但他們必須接受它「還沒有進步到足以證明保持它運行的巨大成本是合理的?！梗犉饋硎煜?？這是《華爾街日報》一個月前關于 GPT-5 的報道。與彭博社關于 Opus 3.5 的說法驚人地相似。）

他們報告并不太好的結果（或多或少準確，他們總是可以在這里把玩敘事）。他們將其作為大型教師模型保留在內部，用于蒸餾更小的學生模型。然后他們發布這些更小模型。我們得到了 Sonnet 3.6 和 GPT-4o 以及 o1，并且非常高興它們便宜且相當好。即使我們越來越不耐煩，但對 Opus 3.5 和 GPT-5 的期待依然沒有改變。而他們的口袋就繼續像金礦一樣閃閃發光。

五、微軟、OpenAI 與 AGI

當我在調查中達到這一點時，我仍然不太相信。當然，所有的證據都表明，這對 OpenAI 來說是完全合理的，但在合理 —— 甚至可能 —— 和真實之間存在著 gap。我不會為你填補這個 gap—— 畢竟，這只是推測。但我可以進一步加強論據。

有什么額外的證據表明 OpenAI 是這樣運作的嗎？除了性能不佳和虧損增加之外，他們還有其他理由扣留 GPT-5 嗎？從 OpenAI 高管關于 GPT-5 的公開聲明中我們能得出什么？反復推遲模型發布，他們不是在冒著犧牲聲譽的風險嗎？畢竟，OpenAI 是 AI 革命的代表，而 Anthropic 在其陰影下運作。Anthropic 可以負擔得起這些舉動，但 OpenAI 呢？也許這么做并非沒有代價。

說到錢，讓我們挖出一些關于 OpenAI - 微軟合作關系的相關細節。首先是每個人都知道的：AGI 條款。在 OpenAI 關于其結構的博客文章中，他們有五個治理條款，描述了其運作方式、與非營利組織的關系、與董事會的關系以及與微軟的關系。第五條將 AGI 定義為「在大多數具有經濟價值的工作中超越人類的高度自主系統」，并規定一旦 OpenAI 董事會聲稱已經實現 AGI，「這樣的系統將被排除在與微軟的 IP 許可和其他商業條款之外，這些條款只適用于 AGI 之前的技術?！?/span>

不用說，兩家公司都不希望合作關系破裂。OpenAI 設定了這個條款，但會做任何必要的事情來避免遵守它。其中一種方式是推遲發布可能被標記為 AGI 的系統?！傅?GPT-5 肯定不是 AGI，」你會說。而我會說這里有第二個事實，幾乎沒有人知道：OpenAI 和微軟對 AGI 有一個秘密定義：AGI 是一個「可以產生至少 1000 億美元利潤的 AI 系統?！惯@個定義雖然在科學目的上無關緊要，但在法律術語上構建了他們的合作關系。

如果 OpenAI 假設性地以「還沒有準備好」為借口扣留 GPT-5，除了控制成本和防止公眾反彈外，他們還能多做一件事：他們會回避宣布它是否達到了被歸類為 AGI 的門檻。雖然 1000 億美元的利潤是一個非凡的數字，但沒有什么能阻止雄心勃勃的客戶在此基礎上創造更多的利潤。另一方面，讓我們說清楚：如果 OpenAI 預測 GPT-5 每年能帶來 1000 億美元的經常性收入，他們不會介意觸發 AGI 條款并與微軟分道揚鑣。

對于 OpenAI 不發布 GPT-5 的大多數公眾反應都基于這樣的假設：他們不這樣做是因為它不夠好。即使這是真的，也沒有懷疑者停下來想一想 OpenAI 可能有比他們從外部獲得的更好的內部用例。創建一個優秀的模型與創建一個可以廉價地服務于 3 億人的優秀模型之間存在巨大差異。如果你做不到，你就不做。但同樣，如果你不需要，你也不做。他們之前給我們訪問他們最好的模型是因為他們需要我們的數據?，F在不那么需要了。他們也不追逐我們的錢。想要錢的是微軟，而不是他們。他們想要 AGI，然后是 ASI。他們想要一個遺產。

六、從山洞中傳遞智慧的老隱士

文章接近尾聲了。我相信我已經列出了足夠的論據來建立一個堅實的案例：OpenAI 很可能在內部擁有正在運行的 GPT-5，就像 Anthropic 擁有 Opus 3.5 一樣。OpenAI 永遠不會發布 GPT-5 也是有可能的。公眾現在將性能與 o1/o3 進行對比，而不僅僅是 GPT-4o 或 Claude Sonnet 3.6。隨著 OpenAI 探索測試時 scaling law，GPT-5 需要跨越的門檻不斷提高。他們如何能發布一個真正超越 o1、o3 和即將到來的 o 系列模型的 GPT-5 呢，特別是考慮到他們生產這些模型的速度？此外，他們不再需要我們的錢或數據了。

訓練新的基礎模型 ——GPT-5、GPT-6 及以后的模型 —— 對 OpenAI 內部來說永遠有意義，但不一定作為產品。這可能結束了?，F在對他們來說唯一重要的目標是繼續為下一代模型生成更好的數據。從現在開始，基礎模型可能在后臺運行，讓其他模型能夠完成它們自己無法完成的壯舉——就像一個老隱士從秘密山洞中傳遞智慧，只是這個山洞是一個巨大的數據中心。而無論我們能否見到他，我們都將經歷他的智慧帶來的后果。

即使 GPT-5 最終發布，這個事實突然顯得幾乎無關緊要。如果 OpenAI 和 Anthropic 確實啟動了遞歸自我改進行動（盡管仍然有人類參與其中），那么他們公開給我們什么并不重要。他們將越走越遠 —— 就像宇宙膨脹得如此之快，以至于遠處星系的光再也無法到達我們這里。

也許這就是 OpenAI 如何在短短三個月內從 o1 跳到 o3 的原因，以及他們將如何跳到 o4 和 o5。這可能也是為什么他們最近在社交媒體上如此興奮。因為他們已經實施了一種新的改進后的運作模式。

你真的認為接近 AGI 意味著你能隨時使用越來越強大的 AI 嗎？他們會發布每一個進展讓我們使用？當然，你不會相信這個。當他們說他們的模型會讓他們遠遠領先于任何人以至于無法追趕時，他們是認真的。每一代新模型都是逃逸速度的引擎。從平流層開始，他們已經在向我們揮手告別。

他們是否會回來還有待觀察。