Deepseek 突破 AI 訓練燒錢魔咒：1.2 萬美元 1/525 成本 MT-Bench 跑分媲美 GPT-4o
4 月 8 日消息，深度求索（DeepSeek）聯合清華大學，合作推出全新 AI 對齊技術 SPCT（自我原則點評調優），突破傳統依賴海量訓練數據的模式，通過推理階段動態優化輸出質量。
根據研究團隊 4 月 4 日發表的論文，該技術通過“原則合成-響應生成-批判過濾-原則優化”的遞歸架構，讓模型能在推理時動態修正輸出。
SPCT 方法分為兩個階段。一是拒絕式微調作為冷啟動階段，讓 GRM 適應不同輸入類型并以正確格式生成原則與點評內容。二是基于規則的在線強化學習階段，采用基于規則的結果獎勵，鼓勵 GRM 生成更好的原則與點評內容，提升推理階段可擴展性。
測試中，270 億參數的 DeepSeek-GRM 模型測試顯示，通過每查詢 32 次采樣的推理計算，達到了 671B 規模模型的性能水平。這種硬件感知設計采用混合專家系統（MoE），支持 128k token 上下文窗口，單查詢延遲僅 1.4 秒。
報告指出 SPCT 顯著降低高性能模型的部署門檻，以 DeepSeek-GRM 模型為例，訓練成本約 1.2 萬美元（IT之家注：現匯率約合 87871 元人民幣），MT-Bench 得分 8.35。
模型 | 規模 | MT-Bench | 預估訓練成本 |
DeepSeek-GRM | 27B | 8.35 | $12,000 |
Nemotron-4 | 340B | 8.41 | $1.2 million |
GPT-4o | 1.8T | 8.72 | $6.3 million |
作為對比，340B 的 Nemotron-4 需 120 萬美元獲得 8.41 分。OpenAI 的 1.8T 參數 GPT-4o 雖得 8.72 分，但成本高達 630 萬美元（現匯率約合 4613.2 萬元人民幣），而 DeepSeek-GRM 成本僅為 525 分之一。該技術減少 90% 人工標注需求，能耗較 DPO 降低 73%，為實時機器人控制等動態場景提供新可能。
