剛剛，DeepSeek登上Nature封面！梁文鋒帶隊(duì)回應(yīng)質(zhì)疑，R1訓(xùn)練真29.4萬(wàn)美金
剛剛，DeepSeek-R1登上了Nature封面！
圖片
今年1月，DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning論文發(fā)布，如今成功登上全球頂刊封面。
通訊作者梁文鋒帶隊(duì)，用RL為大模型推理能力開(kāi)辟了全新路徑。
圖片
論文地址：https://www.nature.com/articles/s41586-025-09422-z
在封面推薦中，Nature毫不吝嗇地贊揚(yáng)了DeepSeek-R1的成就。
開(kāi)源之后，R1在Hugging Face成為最受歡迎的模型，下載量破1090萬(wàn)次。關(guān)鍵是，它是全球首個(gè)經(jīng)過(guò)同行評(píng)審的主流大模型。
圖片
值得一的是，補(bǔ)充材料首次公開(kāi)了R1訓(xùn)練成本——294000美元，數(shù)字低到驚人。
即便是加上約600萬(wàn)美元的基礎(chǔ)模型成本，也遠(yuǎn)低于OpenAI、谷歌訓(xùn)練AI的成本。
圖片
從一篇arXiv論文到Nature封面，DeepSeek團(tuán)隊(duì)再次用實(shí)力為AI推理的未來(lái)鋪路。
圖片
R1被認(rèn)為是首個(gè)經(jīng)歷同行評(píng)審過(guò)程的主流LLM。
審稿人Lewis Tunstall表示：
這是一個(gè)非常值得歡迎的先例。若不公開(kāi)分享大部分研發(fā)過(guò)程，我們將難以評(píng)估這些系統(tǒng)是否存在風(fēng)險(xiǎn)。
針對(duì)同行評(píng)審意見(jiàn)，DeepSeek減少了擬人化描述，并增加了技術(shù)細(xì)節(jié)說(shuō)明，包括模型訓(xùn)練數(shù)據(jù)類(lèi)型和安全性能。
審稿人Huan Sun表示：
通過(guò)嚴(yán)格同行評(píng)審過(guò)程，有助于驗(yàn)證模型的有效性和實(shí)用性，其他公司也應(yīng)效仿。
DeepSeek-R1-Zero誕生
研究團(tuán)隊(duì)的出發(fā)點(diǎn)大膽而純粹：徹底拋開(kāi)對(duì)人類(lèi)推理軌跡的依賴(lài)。
人類(lèi)定義的推理模式，可能反而是一種束縛。
圖片
他們選擇了一個(gè)強(qiáng)大的基礎(chǔ)模型DeepSeek-V3 Base，跳過(guò)了傳統(tǒng)的SFT階段。
取而代之的，是一個(gè)極其簡(jiǎn)潔的強(qiáng)化學(xué)習(xí)框架，只告訴模型兩件事：
1. 任務(wù)格式：回答必須包含兩部分，一個(gè)是被<think>標(biāo)簽包裹的「思考過(guò)程」，另一個(gè)是被<answer>標(biāo)簽包裹的「最終答案」。
2. 獎(jiǎng)勵(lì)信號(hào)：根據(jù)最終答案是否正確來(lái)給予獎(jiǎng)勵(lì)，不管采用什么樣的思考方法。
在沒(méi)有解題步驟的對(duì)錯(cuò)評(píng)判，沒(méi)有思維方式的引導(dǎo)下，DeepSeek-R1-Zero開(kāi)始了它的「野蠻生長(zhǎng)」。
在整個(gè)訓(xùn)練過(guò)程中，R1-Zero的推理能力發(fā)生了質(zhì)的飛躍。
以AIME 2024為例，它的平均解題準(zhǔn)確率（pass@1）從最初的15.6%，一路狂飆至77.9%。
如果再配合「自洽解碼」技術(shù)，準(zhǔn)確率更是高達(dá)86.7%——這一成績(jī)遠(yuǎn)超AIME競(jìng)賽中所有人類(lèi)選手的平均水平。
圖片
AI「頓悟時(shí)刻」
更令人著迷的，是它在能力提升過(guò)程中展現(xiàn)出的自我進(jìn)化行為。
- 「思考時(shí)間」自主增加
隨著訓(xùn)練的進(jìn)行，模型在<think>標(biāo)簽內(nèi)生成的文本長(zhǎng)度穩(wěn)步增加。
它自發(fā)地學(xué)會(huì)了用更長(zhǎng)的「思維鏈」來(lái)探索和優(yōu)化解題策略，有時(shí)甚至?xí)沙砂偕锨€(gè)token來(lái)反復(fù)推敲一個(gè)問(wèn)題。
- 高級(jí)推理策略的涌現(xiàn)
模型不再是線性地一步步解題，而是開(kāi)始展現(xiàn)出「自我反思」和「系統(tǒng)性探索替代解法」等高級(jí)策略。
它會(huì)驗(yàn)證自己的中間步驟，甚至?xí)鲃?dòng)探索「如果我用另一種方法會(huì)怎么樣？」
- 一個(gè)有趣「頓悟時(shí)刻」
在訓(xùn)練的某個(gè)階段，研究人員觀察到了一個(gè)清晰的「頓悟時(shí)刻」（Aha Moment）。
也就是，模型在反思過(guò)程中，使用「wait」（等等）這個(gè)詞的頻率突然急劇增加。
這一時(shí)刻，標(biāo)志著DeepSeek-R1-Zero在推理模式上發(fā)生了明顯轉(zhuǎn)變，清晰地揭示了它的自我進(jìn)化過(guò)程。
圖片
而這種進(jìn)化，也完美詮釋了強(qiáng)化學(xué)習(xí)的魅力：
不必教它如何解題，只需提供正確的激勵(lì)，它就能自主地發(fā)展出比人類(lèi)教的更高級(jí)的策略。
DeepSeek-R1之路
盡管DeepSeek-R1-Zero展現(xiàn)了神級(jí)的推理能力，但由于其訓(xùn)練完全以推理為導(dǎo)向，它存在可讀性差、偶爾會(huì)在中英文之間混亂切換的問(wèn)題，并且在寫(xiě)作、開(kāi)放域問(wèn)答等通用能力上表現(xiàn)平平。
為了解決R1-Zero的問(wèn)題，并讓其強(qiáng)大的推理能力能被更廣泛地應(yīng)用，研究團(tuán)隊(duì)設(shè)計(jì)了一套精密的多階段訓(xùn)練流程，并啟動(dòng)了第二階段的「精煉」計(jì)劃：
1. 冷啟動(dòng)（Cold Start）：首先，用數(shù)千條高質(zhì)量的、符合人類(lèi)對(duì)話習(xí)慣的數(shù)據(jù)對(duì)模型進(jìn)行初步微調(diào)，教它「好好說(shuō)話」。
2. 第一輪強(qiáng)化學(xué)習(xí)（RL）：再次應(yīng)用強(qiáng)化學(xué)習(xí)，但這次的目標(biāo)不僅是提升推理，也包括保持語(yǔ)言的一致性和對(duì)話的流暢性。
3. 大規(guī)模監(jiān)督微調(diào)（SFT）：團(tuán)隊(duì)將推理數(shù)據(jù)與海量的非推理數(shù)據(jù)（如寫(xiě)作、通用問(wèn)答、代碼工程）混合在一起，進(jìn)行大規(guī)模的監(jiān)督微調(diào)。這極大地?cái)U(kuò)展了模型的知識(shí)面和通用能力。
4. 第二輪強(qiáng)化學(xué)習(xí)（RL）：最后，再進(jìn)行一輪全面的強(qiáng)化學(xué)習(xí)，利用一個(gè)更復(fù)雜的獎(jiǎng)勵(lì)模型，進(jìn)一步增強(qiáng)模型的有用性、無(wú)害性，并使其行為與人類(lèi)偏好對(duì)齊。
圖片
經(jīng)過(guò)多輪煉丹，DeepSeek-R1不僅在AlpacaEval 2.0和Arena-Hard等衡量通用指令遵循和用戶(hù)偏好的基準(zhǔn)上，性能提升了17%-25%，而且還在數(shù)學(xué)、編程等高難度推理任務(wù)上保持了頂尖水準(zhǔn)。
揭秘DeepSeek-R1「煉丹爐」
接下來(lái)，就讓我們深入這個(gè)「煉丹爐」的內(nèi)部，一探究竟。
GRPO算法
在AI訓(xùn)練的賽道上，強(qiáng)化學(xué)習(xí)算法PPO（近端策略?xún)?yōu)化）長(zhǎng)期以來(lái)都是大語(yǔ)言模型訓(xùn)練的「標(biāo)配賽車(chē)」。它雖然強(qiáng)大，但也以資源消耗巨大和實(shí)現(xiàn)復(fù)雜而著稱(chēng)。
DeepSeek團(tuán)隊(duì)選擇了一條更聰明的路，他們采用了GRPO（組相對(duì)策略?xún)?yōu)化）算法作為核心驅(qū)動(dòng)引擎。
圖片
PPO就像一位極其謹(jǐn)慎的教練，它在每次訓(xùn)練更新時(shí)，都會(huì)嚴(yán)格限制新策略與舊策略的偏離程度，以防模型「跑偏」導(dǎo)致訓(xùn)練崩潰。
這種謹(jǐn)慎是有代價(jià)的，它需要大量的計(jì)算來(lái)維持穩(wěn)定。
而GRPO則像一位更高效、更相信「集體智慧」的教練。它的核心思想是：
在每次訓(xùn)練時(shí)，讓模型針對(duì)同一個(gè)問(wèn)題，生成一組（比如16個(gè)）不同的答案。
然后，它不只是簡(jiǎn)單地獎(jiǎng)勵(lì)最好的那個(gè)，而是根據(jù)這一組答案的「相對(duì)好壞」，來(lái)整體優(yōu)化模型。
具體來(lái)說(shuō)，它會(huì)計(jì)算出每個(gè)答案相對(duì)于這一組答案平均水平的「優(yōu)勢(shì)」（Advantage），優(yōu)勢(shì)大的（即表現(xiàn)更好的）答案會(huì)得到更大的激勵(lì)權(quán)重，而表現(xiàn)差的則會(huì)被抑制。
這種「組內(nèi)競(jìng)爭(zhēng)、擇優(yōu)而學(xué)」的機(jī)制，簡(jiǎn)化了PPO復(fù)雜的約束過(guò)程，不僅顯著降低了資源消耗，還被證明在實(shí)踐中同樣穩(wěn)定高效。
獎(jiǎng)勵(lì)設(shè)計(jì)
強(qiáng)化學(xué)習(xí)的本質(zhì)，就是通過(guò)獎(jiǎng)勵(lì)（Reward）來(lái)塑造模型的行為。它決定了模型將朝著哪個(gè)方向進(jìn)化。
為此，DeepSeek團(tuán)隊(duì)設(shè)計(jì)了一套雙軌制的獎(jiǎng)勵(lì)系統(tǒng)。
1. 基于規(guī)則的獎(jiǎng)勵(lì)
對(duì)于推理任務(wù)（數(shù)學(xué)、編程、邏輯），團(tuán)隊(duì)采用了一套極其嚴(yán)格的基于規(guī)則的獎(jiǎng)勵(lì)系統(tǒng)。
- 準(zhǔn)確率獎(jiǎng)勵(lì)：最終答案對(duì)不對(duì)？對(duì)于數(shù)學(xué)題，答案必須和標(biāo)準(zhǔn)答案完全一致；對(duì)于編程題，代碼必須通過(guò)所有預(yù)設(shè)的測(cè)試用例。
- 格式獎(jiǎng)勵(lì)：思考過(guò)程是否符合規(guī)范？所有的思考過(guò)程都必須封裝在<think>和</think>標(biāo)簽內(nèi)。
圖片
這里，有一個(gè)關(guān)鍵的決定：在推理任務(wù)上，完全不使用基于神經(jīng)網(wǎng)絡(luò)的獎(jiǎng)勵(lì)模型。
因?yàn)閳F(tuán)隊(duì)發(fā)現(xiàn)，AI在長(zhǎng)時(shí)間、大規(guī)模的強(qiáng)化學(xué)習(xí)中，會(huì)找到獎(jiǎng)勵(lì)模型本身的漏洞并加以利用，即所謂的「獎(jiǎng)勵(lì)投機(jī)（Reward Hacking）」。
2. 基于模型的獎(jiǎng)勵(lì)
然而，世界并非非黑即白。對(duì)于通用任務(wù)比如寫(xiě)作、對(duì)話，大多只有好壞之分。
于是，DeepSeek團(tuán)隊(duì)引入了基于模型的獎(jiǎng)勵(lì)，從而讓模型更符合人類(lèi)的偏好。
- 有用性獎(jiǎng)勵(lì)模型：專(zhuān)門(mén)負(fù)責(zé)評(píng)判模型的回答對(duì)用戶(hù)是否有用、切題。它通過(guò)比較大量的「好答案」與「壞答案」對(duì)（由DeepSeek-V3生成并篩選）來(lái)學(xué)習(xí)人類(lèi)的偏好。有趣的是，它只評(píng)估最終的摘要部分，而不去干涉底層的推理過(guò)程，給予模型在思考上的充分自由。
圖片
- 安全獎(jiǎng)勵(lì)模型：負(fù)責(zé)檢查模型的全部輸出，包括思考過(guò)程，以識(shí)別和懲罰任何潛在的有害、偏見(jiàn)或危險(xiǎn)內(nèi)容。
圖片
如此一來(lái)，模型在保持強(qiáng)大推理能力的同時(shí)，也學(xué)會(huì)了如何生成更有用、更安全、更符合人類(lèi)習(xí)慣的內(nèi)容。
圖片
訓(xùn)練細(xì)節(jié)
DeepSeek的訓(xùn)練并非一蹴而就，而是分為多個(gè)精心設(shè)計(jì)的階段，每個(gè)階段都有不同的側(cè)重點(diǎn)和巧妙的參數(shù)調(diào)整。
最開(kāi)始的訓(xùn)練完全聚焦于數(shù)學(xué)、編程等推理任務(wù)，僅使用基于規(guī)則的獎(jiǎng)勵(lì)。
圖片
一個(gè)有趣的現(xiàn)象發(fā)生在訓(xùn)練進(jìn)行到第8,200步時(shí)：研究人員將模型處理的最大文本長(zhǎng)度從32,768個(gè)Token猛增到65,536個(gè)Token。
這一改變帶來(lái)了立竿見(jiàn)影的效果，模型的性能和回答長(zhǎng)度都出現(xiàn)了「大幅躍升」。
圖片
其他參數(shù)設(shè)置如下：
學(xué)習(xí)率：3×10??
KL散度系數(shù)：0.001
GRPO裁剪比率?：10
推理采樣溫度：1
每個(gè)訓(xùn)練步包含32個(gè)獨(dú)立問(wèn)題，每步的批大小為512。
每400步，用最新的策略模型替換參考模型。
- 第一強(qiáng)化學(xué)習(xí)階段
在這一階段，訓(xùn)練數(shù)據(jù)變得更加多樣化。
團(tuán)隊(duì)遇到了一個(gè)意想不到的挑戰(zhàn)：模型的「思維鏈」（<think>標(biāo)簽內(nèi)的內(nèi)容）中頻繁出現(xiàn)中英夾雜的「語(yǔ)言混合」現(xiàn)象。雖然這不一定影響最終答案的正確性，但極大地影響了可讀性。
為了解決這個(gè)問(wèn)題，他們創(chuàng)造性地引入了一個(gè)「語(yǔ)言一致性獎(jiǎng)勵(lì)」：如果模型在處理中文問(wèn)題時(shí)，思維鏈中中文詞匯的比例越高，獲得的獎(jiǎng)勵(lì)就越多。
圖片
盡管實(shí)驗(yàn)表明，強(qiáng)行「矯正」語(yǔ)言會(huì)導(dǎo)致模型性能微乎其微的下降，但為了輸出結(jié)果更符合人類(lèi)閱讀習(xí)慣，這個(gè)犧牲是值得的。
圖片
- 第二強(qiáng)化學(xué)習(xí)階段
在這一階段，研究人員結(jié)合了獎(jiǎng)勵(lì)信號(hào)和多樣化的提示詞分布來(lái)訓(xùn)練模型。
推理數(shù)據(jù)使用基于規(guī)則的獎(jiǎng)勵(lì)，通用數(shù)據(jù)則啟用基于模型的獎(jiǎng)勵(lì)。
獎(jiǎng)勵(lì)可以公式化為：
圖片
其中
圖片
第二階段保留了第一階段的大部分參數(shù)，但將溫度降至0.7，以防因?yàn)橄禂?shù)過(guò)高造導(dǎo)致生成內(nèi)容不連貫。
此外，這里還有一個(gè)關(guān)鍵操作：基于模型的獎(jiǎng)勵(lì)（有用性和安全性）僅在最后400個(gè)訓(xùn)練步中才被引入，從而避免獎(jiǎng)勵(lì)投機(jī)的產(chǎn)生。
挑戰(zhàn)與未來(lái)
DeepSeek-R1的誕生，為AI發(fā)展帶來(lái)了深刻的啟示，也伴隨著新的挑戰(zhàn)。
- 能力局限在結(jié)構(gòu)化輸出和工具使用（如調(diào)用計(jì)算器、搜索引擎）方面，目前的DeepSeek-R1尚有欠缺。它對(duì)提示詞非常敏感，不適合復(fù)雜的少樣本提示，在零樣本直接提問(wèn)時(shí)效果最佳。此外，由于強(qiáng)化學(xué)習(xí)在耗時(shí)長(zhǎng)的軟件工程任務(wù)上效率不高，R1在該領(lǐng)域的提升有限。
- 獎(jiǎng)勵(lì)投機(jī)純強(qiáng)化學(xué)習(xí)的成功，完全依賴(lài)于可靠的獎(jiǎng)勵(lì)信號(hào)。在數(shù)學(xué)、編程這類(lèi)有明確對(duì)錯(cuò)答案的領(lǐng)域，這很容易實(shí)現(xiàn)。但對(duì)于像「寫(xiě)一首優(yōu)美的詩(shī)」這樣主觀的任務(wù)，則很難設(shè)計(jì)完美的獎(jiǎng)勵(lì)模型。如果獎(jiǎng)勵(lì)信號(hào)本身有漏洞，策略模型就會(huì)像一個(gè)聰明的學(xué)生鉆考試規(guī)則的空子一樣，「投機(jī)取巧」、騙取高分，而不是真正提升能力。
年初，DeepSeek-R1發(fā)布后，OpenAI感覺(jué)不可思議，指責(zé)DeepSeek「可能使用了ChatGPT的輸出來(lái)訓(xùn)練R1」。
圖片
在與審稿人的交流中，DeepSeek表示，R1并非通過(guò)復(fù)制OpenAI模型生成的推理示例來(lái)學(xué)習(xí)。
不過(guò)，與大多數(shù)其他大語(yǔ)言模型一樣，R1的基礎(chǔ)模型是在網(wǎng)絡(luò)上訓(xùn)練的，因此它會(huì)吸收互聯(lián)網(wǎng)上已有的AI生成的內(nèi)容。
俄亥俄州立大學(xué)AI研究員Huan Sun表示，這一解釋「與我們?cè)谌魏纬霭嫖镏锌吹降囊粯恿钊诵欧埂?/p>
圖片
Nature審稿人、Hugging Face機(jī)器學(xué)習(xí)工程師Lewis Tunstall補(bǔ)充說(shuō)，其他實(shí)驗(yàn)室的復(fù)制嘗試表明，DeepSeek推理方法已經(jīng)足夠好，不需要這樣做。
他說(shuō)：「我認(rèn)為現(xiàn)在的證據(jù)相當(dāng)明確，僅使用強(qiáng)化學(xué)習(xí)就可以獲得非常高的性能。」
圖片
Lewis Tunstall說(shuō)，其他研究人員現(xiàn)在正試圖應(yīng)用創(chuàng)建R1的方法來(lái)改進(jìn)現(xiàn)有大語(yǔ)言模型的類(lèi)似推理能力，并將其擴(kuò)展到數(shù)學(xué)和編碼以外的領(lǐng)域。他補(bǔ)充說(shuō)，通過(guò)這種方式，R1「開(kāi)啟了一場(chǎng)革命」。
