剛看完DeepSeek R1技術報告論文《DeepSeek-R1：強化學習驅動的大語言模型推理能力提升》，這篇論文最令人震驚的點在于：

DeepSeek-R1-Zero 作為一個完全沒有使用任何監督微調（SFT）數據，僅通過純粹的強化學習（RL）訓練的模型，展現出了驚人的推理能力，推理基準測試上可以媲美乃至超越 OpenAI 的 o1 系列模型（如 o1-0912），完全開源，報告毫無保留的奉上了R1的訓練秘密，值得注意的是，這是第一個開放研究驗證了 LLM 的推理能力可以完全通過 RL 來激勵，而不需要 SFT。這一突破為該領域的未來發展鋪平了道路。

具體來說，以下幾點尤其令人震驚：

純 RL 的成功： 以往的模型在提升推理能力時，通常依賴于 SFT 作為預訓練步驟。DeepSeek-R1-Zero 打破了這一常規，證明了僅通過設計合適的獎勵機制和訓練模板，就可以讓模型在沒有 SFT 的情況下（冷啟動），通過自我博弈和進化，自發地學習到復雜的推理策略，這讓我想起了AlphaZero--從零開始掌握圍棋、將棋和國際象棋，而無需先模仿人類大師的棋步，這是整個技術報告最重要的啟示。

驚人的性能提升： DeepSeek-R1-Zero 在 AIME 2024 基準測試上，pass@1 分數從 15.6% 提升到了 71.0%，通過多數投票更是達到了 86.7%，與 OpenAI-01-0912 的表現相當甚至更好。這種巨大的性能飛躍僅僅是通過 RL 實現的，這非常令人震撼。

“頓悟”現象（Aha Moment）： 論文中描述了 DeepSeek-R1-Zero 在訓練過程中出現的“頓悟”現象，模型會自發地重新評估之前的步驟，并進行反思，類似于人類的“靈光一現”。這種自發涌現的復雜行為，展示了純 RL 訓練的巨大潛力，也為理解 AI 的學習機制提供了新的視角。

無監督學習的潛力： DeepSeek-R1-Zero 的成功，證明了無監督或弱監督學習方法在提升模型推理能力方面的巨大潛力。這對于那些難以獲取大量高質量標注數據的領域來說，具有重要的意義。

除了之前提到的 DeepSeek-R1-Zero 僅通過純強化學習 (RL) 展現出驚人推理能力之外，我還注意到以下幾個同樣令人印象深刻的點：

1. 蒸餾技術有效提升小型模型能力：

? 蒸餾效果顯著: 論文展示了將 DeepSeek-R1 的推理能力蒸餾到較小的模型（如 Qwen 和 Llama 系列）上的顯著效果。例如，DeepSeek-R1-Distill-Qwen-7B 在多個基準測試上超過了非推理模型 GPT-40-0513，而 14B 模型則全面超越了 QwQ-32B-Preview。

? 小型模型的巨大潛力: 這說明通過合理的蒸餾策略，小型模型也能獲得強大的推理能力，為資源受限場景下的應用提供了可能。

2. 對比實驗揭示了蒸餾的優勢：

? 同等規模下，蒸餾優于純 RL: 論文通過對比實驗，發現將 DeepSeek-R1 蒸餾到 Qwen-32B 上的效果，遠好于直接在 Qwen-32B-Base 上進行大規模 RL 訓練。這表明對于較小的模型，直接學習大型模型的推理模式比自身探索更為有效。

? 對計算資源的考量: 這也暗示了在提升模型能力時，需要綜合考慮計算資源和效率，蒸餾在特定情況下可能是更優的選擇。

寫在最后：

坦誠的失敗嘗試分析：

分享失敗經驗的價值: 論文坦誠地分享了在探索過程中嘗試 PRM 和 MCTS 兩種方法時遇到的挑戰和失敗。這種開放的態度對于學術研究來說非常寶貴，可以幫助其他人少走彎路。

對未來研究的啟示: 對失敗原因的分析，也為未來的研究提供了啟示，例如指出了 PRM 在定義細粒度步驟和判斷中間步驟正確性方面的困難，以及 MCTS 在擴展到語言模型時面臨的搜索空間爆炸和價值模型訓練難題。