在之前的文章中，我們在文章??DeepSeek簡明解析，10分鐘速通DeepSeekV1~V3核心技術點！??中介紹了從DeepSeek v1到DeepSeek v3的模型升級之路。那么目前在國內外大火的DeepSeek R1和之前的DeepSeek是什么關系呢？今天這篇文章就用簡明的語言給大家介紹一下DeepSeek R1的核心技術點。

DeepSeek R1是基于DeepSeek V3模型進一步進行訓練得到的，其核心優(yōu)化在于訓練方式上。通過深度思維鏈文本進行強化學習、并讓模型自己生成高質量的SFT數(shù)據，實現(xiàn)模型的自我進化。具體的又分為DeepSeek R1和DeepSeek R1-Zero兩個模型，前者是后者的進一步升級。下面展開為大家介紹核心的優(yōu)化點。

1.R1-Zero：強化學習實現(xiàn)模型自我進化

現(xiàn)在的大模型基本的訓練流程是，先用大量的網絡數(shù)據進行無監(jiān)督預訓練，再搜集高質量的人工數(shù)據采用SFT+RLHF進行偏好對齊。SFT指的是用一些人工指令+答案的高質量文本訓練一遍大模型，RHLF則是借助強化學習技術，通過reward讓模型給出更符合人類偏好的結果。

在DeepSeek R1-Zero和DeepSeek R1中，直接將SFT階段去掉，改成純強化學習訓練，完全無需借助任何有標注數(shù)據（這是DeepSeek R1的一個核心優(yōu)化），讓模型在強化學習的過程中實現(xiàn)自我更新。這樣，就不再受限于SFT中需要高質量人工標注文本的限制。

具體的作為將，將所有待訓練的問題都構建成如下形式的文本，prompt放置對應的推理問題（比如數(shù)學問題、邏輯問題等），輸入到DeeSeek中，讓模型生成對應的推理過程（放到think標簽內）以及答案（放到answer標簽內）。模型在訓練過程中會生成多種思考過程和答案，然后根據答案是否正確，以及生成的格式是否正確，作為reward，利用強化學習進行模型參數(shù)的更新。

這其中有2類reward，答案是否正確reward和格式是否正確reward。前者根據輸出的答案與真實答案（比如數(shù)學題的答案、LeetCode代碼編譯結果是否符合預期等）判斷，后者根據思考過程、答案是否寫到了對應的標簽里，即格式是否符合要求判斷。通過強化學習基于reward的不斷更新，讓模型提升生成正確答案、正確格式的思考過程和答案。

通過上述不斷的訓練，DeepSeek-R1-Zero取得了超過OpenAI-o1的效果。隨著訓練的進行，DeeoSeek-R1-Zero的效果也在逐漸提升。

模型也隨著訓練不斷進化，生成的文本越來越長，表明隨和強化學習的進行，生成了更多思考文本，讓模型的思考變得更加深入了。

2.R1：少量SFT數(shù)據冷啟+SFT數(shù)據生成

雖然DeekSeek-R1-Zero已經取得比較好的效果，但是仍然存在生成的結果可讀性差、出現(xiàn)多語言混合等不滿足人類偏好的問題。DeepSeek-R1對DeepSeek-R1-Zero的訓練過程進一步升級，將后者的只有強化學習，升級為少量SFT數(shù)據冷啟動->強化學習->生成大量SFT數(shù)據進一步訓練->進一步強化學習4個步驟，通過初期的SFT和強化學習提升模型能力，并進一步生成大量的SFT數(shù)據用于訓練，實現(xiàn)了LLM的自我驅動。

少量SFT數(shù)據冷啟動：首先在DeepSeek-R1-Zero的升級版DeepSeek-R1中，先引入了少量數(shù)據的SFT進行冷啟動（也是基于DeepSeek V3），以此來緩解在訓練最開始的階段存在一些不確定性，影響模型自我進化的過程。通過少量SFT這種確定性的高質量數(shù)據進行初始訓練，可以讓模型先收斂到一個符合人類偏好的初始狀態(tài)，再進行后續(xù)的強化學習可以取得更好的效果。

強化學習：在SFT冷啟動之后，類似DeepSeek-R1-Zero，采用強化學習進行進一步訓練。同時為了緩解前面提到的多語言混合的問題，在DeepSeek-R1中引入了一個語言一致性的reward，要求生成的答案盡可能都來源于同一個語言，這樣雖然會讓最終推理結果有一些效果損失，但是更加符合人類偏好。

生成大量SFT數(shù)據進一步訓練：在此之后，DeepSeek-R1還會進一步進行SFT。這里使用上面已經訓練好的模型，去構建一些問題和相應的答案，自動化的生成更多SFT數(shù)據，然后使用DeepSeek-V3進行評判，并基于規(guī)則進行一些低質量數(shù)據的過濾（拒絕采樣），生成一份600K的推理SFT數(shù)據。對于非推理數(shù)據，也復用DeepSeek-V3等數(shù)據進行SFT。相比第一步的SFT，這一步用訓練好的模型自己生成了更多SFT數(shù)據。以這些更多高質量SFT數(shù)據為基礎，重新訓練DeepSeek。

進一步強化學習：在最后一個階段，仍然是采用強化學習進一步對齊人類偏好，讓模型具備助人性、無害性，并進一步提升模型的推理能力。核心和第二階段類似，并且額外加入相關reward在強化學習中的引入，例如生成的結果是否有風險、是否滿足用戶需求等。

經過上述的4輪訓練，就構建了最終的DeepSeek-R1模型，取得了和OpenAI GPT-4o相當?shù)男Ч?/p>

3.知識蒸餾提升其他LLM效果

DeepSeek-R1除了自我進化外，也通過生成訓練數(shù)據的方式賦能其他LLM模型。文中通過DeepSeek-R1生成了800K的訓練樣本（也就是DeepSeek-R1的第三階段訓練樣本），用來finetune千問、Llama等LLM模型，都會使得這些模型取得推理能力上的提升。這個過程中只使用了SFT，沒有使用強化學習。這說明通過推理能力很強的大模型生成數(shù)據蒸餾小模型以提升小模型推理能力的方式，也是行得通的。

本文轉載自????圓圓的算法筆記???，作者：Fareise