450 美元的價格，乍一聽起來不算「小數(shù)目」。但如果，這是一個 32B 推理模型的全部訓(xùn)練成本呢？

是的，當時間來到 2025 年，推理模型正變得越來越容易開發(fā)，且成本迅速降低到我們此前無法想象的程度。

近日，加州大學(xué)伯克利分校天空計算實驗室的研究團隊 NovaSky 發(fā)布了 Sky-T1-32B-Preview。有趣的是，團隊表示：「Sky-T1-32B-Preview 的訓(xùn)練成本不到 450 美元，這表明可以經(jīng)濟、高效地復(fù)制高級推理能力。」

• 項目主頁：https://novasky-ai.github.io/posts/sky-t1/
• 開源地址：https://huggingface.co/NovaSky-AI/Sky-T1-32B-Preview

據(jù)官方信息，這款推理模型在多個關(guān)鍵基準測試中與 OpenAI o1 的早期版本相媲美。

重點是，Sky-T1 似乎是第一個真正開源的推理模型，因為團隊發(fā)布了訓(xùn)練數(shù)據(jù)集以及必要的訓(xùn)練代碼，任何人都可以從頭開始復(fù)制。

大家驚呼：「數(shù)據(jù)、代碼和模型權(quán)重，多么驚人的貢獻。」

不久前，訓(xùn)練一個具有同等性能的模型的價格往往高達數(shù)百萬美元。合成訓(xùn)練數(shù)據(jù)或由其他模型生成的訓(xùn)練數(shù)據(jù)，讓成本實現(xiàn)了大幅降低。

此前，一家 AI 公司 Writer 發(fā)布的 Palmyra X 004 幾乎完全基于合成數(shù)據(jù)進行訓(xùn)練，開發(fā)成本僅為 70 萬美元。

想象一下，以后我們可以在 Nvidia Project Digits AI 超級計算機上運行此程序，該超級計算機售價 3000 美元（對于超級計算機來說很便宜），可以運行多達 2000 億個參數(shù)的模型。而不久的將來，不到 1 萬億個參數(shù)的模型將由個人在本地運行。

2025 年的大模型技術(shù)演進正在加速，這感受確實很強烈。

模型概述

擅長推理的 o1 和 Gemini 2.0 flash thinking 等模型通過產(chǎn)生長長的內(nèi)部思維鏈，解決了復(fù)雜的任務(wù)，并取得了其他方面的進步。然而，技術(shù)細節(jié)和模型權(quán)重卻無法獲取，這對學(xué)術(shù)界和開源社區(qū)的參與構(gòu)成了障礙。

為此，在數(shù)學(xué)領(lǐng)域出現(xiàn)了一些訓(xùn)練開放權(quán)重推理模型的顯著成果，如 Still-2 和 Journey。與此同時，加州大學(xué)伯克利分校的 NovaSky 團隊一直在探索各種技術(shù)，以發(fā)展基礎(chǔ)模型和指令調(diào)整模型的推理能力。

在 Sky-T1-32B-Preview 這項工作中，團隊不僅在數(shù)學(xué)方面取得了有競爭力的推理性能，而且在同一模型的編碼方面也取得了有競爭力的推理性能。

為確保這項工作能「惠及更廣泛的社區(qū)」，團隊開源了所有細節(jié)（如數(shù)據(jù)、代碼、模型權(quán)重），使社區(qū)能夠輕松復(fù)制和改進：

•  基礎(chǔ)設(shè)施：在單一存儲庫中構(gòu)建數(shù)據(jù)、訓(xùn)練和評估模型；
•  數(shù)據(jù)：用于訓(xùn)練 Sky-T1-32B-Preview 的 17K 數(shù)據(jù)；
•  技術(shù)細節(jié)：技術(shù)報告及 wandb 日志；
•  模型權(quán)重：32B 模型權(quán)重。

技術(shù)細節(jié)

數(shù)據(jù)整理過程

為了生成訓(xùn)練數(shù)據(jù)，團隊使用了 QwQ-32B-Preview，這是一個開源模型，其推理能力與 o1-preview 相當。團隊對數(shù)據(jù)混合進行了整理，以涵蓋需要推理的不同領(lǐng)域，并采用拒絕采樣程序來提高數(shù)據(jù)質(zhì)量。

然后，團隊受到 Still-2 的啟發(fā)，用 GPT-4o-mini 將 QwQ trace 重寫為結(jié)構(gòu)規(guī)整的版本，以提高數(shù)據(jù)質(zhì)量并簡化解析。

他們發(fā)現(xiàn)，解析的簡便性對推理模型尤其有利。它們被訓(xùn)練成以特定格式做出響應(yīng)，而結(jié)果往往難以解析。例如，在 APPs 數(shù)據(jù)集上，如果不重新格式化，團隊只能假設(shè)代碼是寫在最后一個代碼塊中的，而 QwQ 只能達到約 25% 的準確率。但是，有時代碼可能寫在中間，經(jīng)過重新格式化后，準確率會提高到 90% 以上。

拒絕采樣。根據(jù)數(shù)據(jù)集提供的解決方案，如果 QwQ 樣本不正確，團隊就會將其丟棄。對于數(shù)學(xué)問題，團隊會與 ground truth 解決方案進行精確匹配。對于編碼問題，團隊執(zhí)行數(shù)據(jù)集中提供的單元測試。團隊的最終數(shù)據(jù)包含來自 APPs 和 TACO 的 5k 編碼數(shù)據(jù)，以及來自 AIME、MATH 和 NuminaMATH 數(shù)據(jù)集的 Olympiads 子集的 10k 數(shù)學(xué)數(shù)據(jù)。此外，團隊還保留了來自 STILL-2 的 1k 科學(xué)和謎題數(shù)據(jù)。

訓(xùn)練

團隊使用訓(xùn)練數(shù)據(jù)來微調(diào) Qwen2.5-32B-Instruct，這是一個不具備推理能力的開源模型。該模型采用 3 個 epoch、學(xué)習(xí)率 1e-5 和 96 的批大小進行訓(xùn)練。使用 DeepSpeed Zero-3 offload（根據(jù) Lambda Cloud 的定價約為 450 美元），在 8 個 H100 上用 19 個小時完成模型訓(xùn)練。團隊使用了 Llama-Factory 進行訓(xùn)練。

評估結(jié)果

Sky-T1 在 MATH500（「競賽級」數(shù)學(xué)挑戰(zhàn)）上的表現(xiàn)優(yōu)于 o1 的早期預(yù)覽版本，還在一組來自 LiveCodeBench（一種編碼評估）的難題上擊敗了 o1 的預(yù)覽版本。然而，Sky-T1 不如 GPQA-Diamond 上的 o1 預(yù)覽版，后者包含博士畢業(yè)生應(yīng)該了解的物理、生物和化學(xué)相關(guān)問題。

不過，OpenAI 的 o1 GA 版本比 o1 的預(yù)覽版更強大，并且 OpenAI 預(yù)計將在未來幾周發(fā)布性能更佳的推理模型 o3。

值得重視的新發(fā)現(xiàn)

模型大小很重要。團隊最初嘗試在較小的模型（7B 和 14B）上進行訓(xùn)練，但觀察到的改進不大。例如，在 APPs 數(shù)據(jù)集上訓(xùn)練 Qwen2.5-14B-Coder-Instruct 在 LiveCodeBench 上的性能略有提高，從 42.6% 提高到 46.3%。然而，在手動檢查較小模型（小于 32B 的模型）的輸出時，團隊發(fā)現(xiàn)它們經(jīng)常生成重復(fù)內(nèi)容，從而限制了它們的有效性。

數(shù)據(jù)混合很重要。團隊最初使用 Numina 數(shù)據(jù)集（由 STILL-2 提供）中的 3-4K 個數(shù)學(xué)問題訓(xùn)練 32B 模型，AIME24 的準確率從 16.7% 顯著提高到 43.3%。然而，將 APPs 數(shù)據(jù)集生成的編程數(shù)據(jù)納入訓(xùn)練過程時，AIME24 的準確率下降到 36.7%。可能意味著，這種下降是由于數(shù)學(xué)和編程任務(wù)所需的推理方法不同。

編程推理通常涉及額外的邏輯步驟，如模擬測試輸入或內(nèi)部執(zhí)行生成的代碼，而數(shù)學(xué)問題的推理往往更為直接和結(jié)構(gòu)化。為了解決這些差異，團隊使用 NuminaMath 數(shù)據(jù)集中具有挑戰(zhàn)性的數(shù)學(xué)問題和 TACO 數(shù)據(jù)集中復(fù)雜的編程任務(wù)來豐富訓(xùn)練數(shù)據(jù)。這種均衡的數(shù)據(jù)混合使模型在兩個領(lǐng)域都表現(xiàn)出色，在 AIME24 上恢復(fù)了 43.3% 的準確率，同時也提高了其編程能力。

與此同時，也有研究者表示了懷疑：