全球掀DeepSeek復現狂潮！硅谷巨頭神話崩塌，30刀見證啊哈時刻
這些天，硅谷徹底處于中國公司帶來的大地震余波中。
全美都在恐慌：是否全球人工智能的中心已經轉移到了中國？
就在這當口，全球復現DeepSeek的一波狂潮也來了。
誠如LeCun所言：「這一次，正是開源對閉源的勝利！」
在沒有頂級芯片的情況下，以極低成本芯片訓出突破性模型的DeepSeek，或將威脅到美國的AI霸權。
大模型比拼的不再是動輒千萬億美元的算力戰。
OpenAI、Meta、谷歌這些大公司引以為傲的技術優勢和高估值將會瓦解，英偉達的股價將開始動搖。
種種這些觀點和討論，讓人不禁懷疑：數百億美元支出，對這個行業真的必要嗎？甚至有人說，中國量化基金的一群天才，將導致納斯達克崩盤。
從此，大模型時代很可能會進入一個分水嶺：超強性能的模型不再獨屬于算力巨頭，而是屬于每個人。
30美金，就能看到「啊哈」時刻
來自UC伯克利博士生潘家怡和另兩位研究人員，在CountDown游戲中復現了DeepSeek R1-Zero。
他們表示，結果相當出色！
實驗中，團隊驗證了通過強化學習RL，3B的基礎語言模型也能夠自我驗證和搜索。
更令人興奮的是，成本不到30美金（約217元），就可以親眼見證「啊哈」時刻。
這個項目叫做TinyZero，采用了R1-Zero算法——給定一個基礎語言模型、提示和真實獎勵信號，運行強化學習。
然后，團隊將其應用在CountDown游戲中（這是一個玩家使用基礎算術運算，將數字組合以達到目標數字的游戲）。
模型從最初的簡單輸出開始，逐步進化出自我糾正和搜索的策略。
在以下示例中，模型提出了解決方案，自我驗證，并反復糾正，直到解決問題為止。
在消融實驗中，研究人員運行了Qwen-2.5-Base（0.5B、1.5B、3B、7B四種參數規模）。
結果發現，0.5B模型僅僅是猜測一個解決方案然后停止。而從1.5B開始，模型學會了搜索、自我驗證和修正其解決方案，從而能夠獲得更高的分數。
他們認為，在這個過程，基礎模型的是性能的關鍵。
他們還驗證了，額外的指令微調（SFT）并非是必要的，這也印證了R1-Zero的設計決策。
這是首個驗證LLM推理能力的實現可以純粹通過RL，無需監督微調的開源研究
基礎模型和指令模型兩者區別：
- 指令模型運行速度快，但最終表現與基礎模型相當
- 指令輸出的模型更具結構性和可讀性
此外，他們還發現，具體的RL算法并不重要。PPO、GRPO、PRIME這些算法中，長思維鏈（Long CoT）都能夠涌現，且帶來不錯的性能表現。
而且，模型在推理行為中非常依賴于具體的任務：
- 對于Countdow任務，模型學習進行搜索和自我驗證
- 對于數字乘法任務，模型反而學習使用分布規則分解問題，并逐步解決
蘋果機器學習科學家Yizhe Zhang對此表示，太酷了，小到1.5B的模型，也能通過RL涌現出自我驗證的能力。
7B模型復刻，結果令人驚訝
港科大助理教授何俊賢的團隊（共同一作黃裕振、Weihao Zeng），只用了8K個樣本，就在7B模型上復刻出了DeepSeek-R1-Zero和DeepSeek-R1的訓練。
結果令人驚喜——模型在復雜的數學推理上取得了十分強勁結果。
項目地址：https://github.com/hkust-nlp/simpleRL-reason
他們以Qwen2.5-Math-7B（基礎模型）為起點，直接對其進行強化學習。
整個過程中，沒有進行監督微調（SFT），也沒有使用獎勵模型。
最終，模型在AIME基準上實現了33.3%的準確率，在AMC上為62.5%，在MATH上為77.2%。
這一表現不僅超越了Qwen2.5-Math-7B-Instruct，并且還可以和使用超過50倍數據量和更復雜組件的PRIME和rStar-MATH相媲美！
其中，Qwen2.5-7B-SimpleRL-Zero是在Qwen2.5-Math-7B基礎模型上僅使用純PPO方法訓練的，僅采用了MATH數據集中的8K樣本。
Qwen2.5-7B-SimpleRL則首先通過Long CoT監督微調（SFT）作為冷啟動，然后再進行強化學習。
在這兩種方法中，團隊都只使用了相同的8K MATH樣本，僅此而已。
大概在第44步的時候，「啊哈時刻」出現了！模型的響應中，出現了自我反思。
并且，在這個過程中，模型還顯現了更長的CoT推理能力和自我反思能力。
在博客中，研究者詳細剖析了實驗設置，以及在這個強化學習訓練過程中所觀察到的現象，例如長鏈式思考（CoT）和自我反思機制的自發形成。
與DeepSeek R1類似，研究者的強化學習方案極其簡單，沒有使用獎勵模型或MCTS（蒙特卡洛樹搜索）類技術。
他們使用的是PPO算法，并采用基于規則的獎勵函數，根據生成輸出的格式和正確性分配獎勵：
- 如果輸出以指定格式提供最終答案且正確，獲得+1的獎勵
- 如果輸出提供最終答案但不正確，獎勵設為-0.5
- 如果輸出未能提供最終答案，獎勵設為-1
該實現基于OpenRLHF。初步試驗表明，這個獎勵函數有助于策略模型快速收斂，產生符合期望格式的輸出。
第一部分：SimpleRL-Zero（從頭開始的強化學習）
接下來，研究者為我們分享了訓練過程動態分析和一些有趣的涌現模式。
訓練過程動態分析
如下所示，所有基準測試的準確率在訓練過程中都在穩步提高，而輸出長度則呈現先減少后逐漸增加的趨勢。
經過進一步調查，研究者發現，Qwen2.5-Math-7B基礎模型在初始階段傾向于生成大量代碼，這可能源于模型原始訓練數據的分布特征。
輸出長度的首次下降，是因為強化學習訓練逐漸消除了這種代碼生成模式，轉而學會使用自然語言進行推理。
隨后，生成長度開始再次增加，此時出現了自我反思機制。
訓練獎勵和輸出長度
基準測試準確率（pass@1）和輸出長度
自我反思機制的涌現
在訓練到第 40 步左右時，研究者觀察到：模型開始形成自我反思模式，這正是DeepSeek-R1論文中所描述的「aha moment」（頓悟時刻）。
第二部分：SimpleRL（基于模仿預熱的強化學習）
如前所述，研究者在進行強化學習之前，先進行了long CoT SFT預熱，使用了8,000個從QwQ-32B-Preview中提取的MATH示例響應作為SFT數據集。
這種冷啟動的潛在優勢在于：模型在開始強化學習時已具備long CoT思維模式和自我反思能力，從而可能在強化學習階段實現更快更好的學習效果。
與RL訓練前的模型（Qwen2.5-Math-7B-Base + 8K QwQ知識蒸餾版本）相比，Qwen2.5-7B-SimpleRL的平均性能顯著提升了6.9個百分點。
此外，Qwen2.5-7B-SimpleRL不僅持續優于Eurus-2-7B-PRIME，還在5個基準測試中的3個上超越了Qwen2.5-7B-SimpleRL-Zero。
訓練過程分析
訓練獎勵和輸出長度
基準測試準確率（pass@1）和輸出長度
Qwen2.5-SimpleRL的訓練動態表現與Qwen2.5-SimpleRL-Zero相似。
有趣的是，盡管研究者先進行了long CoT SFT，但在強化學習初期仍然觀察到輸出長度減少的現象。
他們推測，這可能是因為從QwQ提取的推理模式不適合小型策略模型，或超出了其能力范圍。
因此，模型選擇放棄這種模式，轉而自主發展新的長鏈式推理方式。
最后，研究者用達芬奇的一句話，對這項研究做了總結——
簡約，便是最終極的精致。
完全開源復刻，HuggingFace下場了
甚至，就連全球最大開源平臺HuggingFace團隊，今天官宣復刻DeepSeek R1所有pipeline。
復刻完成后，所有的訓練數據、訓練腳本等等，將全部開源。
這個項目叫做Open R1，當前還在進行中。發布到一天，星標沖破1.9k，斬獲142個fork。
項目地址：https://github.com/huggingface/open-r1
研究團隊以DeepSeek-R1技術報告為指導，將整個復刻過程劃分為三個關鍵步驟。
- 步驟 1：通過從DeepSeek-R1蒸餾高質量語料庫，復現R1-Distill模型。
- 步驟 2：復現DeepSeek用于創建R1-Zero的純強化學習（RL）流程。這可能需要為數學、推理和代碼任務策劃新的大規模數據集。
- 步驟 3：展示我們如何通過多階段訓練，從基礎模型發展到經過RL調優的模型。
從斯坦福到MIT，R1成為首選
一個副業項目，讓全世界科技大廠為之惶恐。
DeepSeek這波成功，也成為業界的神話，網友最新截圖顯示，這款應用已經在APP Store「效率」應用榜單中擠進前三。
在Hugging Face中，R1下載量直接登頂，另外3個模型也霸占著熱榜。
a16z合伙人Anjney Midha稱，一夜之間，從斯坦福到MIT，DeepSeek R1已經成為美國頂尖高校研究人員「首選模型」。
還有研究人員表示，DeepSeek基本上取代了我用ChatGPT的需求。
中國AI，這一次真的震撼了世界。
