本文第一作者黃呈松 (Chengsong Huang) 是圣路易斯華盛頓大學的博士生，Google scholar citation 五百多次，目前的研究的興趣是強化學習和大語言模型。機器之心曾經報道過其之前工作 Lorahub 已經被引超過 250 次。

大型語言模型（LLM）的發展長期以來受限于對大規模、高質量人工標注數據的依賴，這不僅成本高昂，也從根本上限制了 AI 超越人類知識邊界的潛力 。《R-Zero：從零數據中自我進化的推理大模型》提出了一種全新的范式，旨在打破這一瓶頸。該研究設計了一個名為 R-Zero 的全自主框架，使模型能夠從零開始，通過自我驅動的協同進化生成課程并提升推理能力，為通往更自主的人工智能提供了一條值得深入探討的路徑。

《R-Zero》論文的核心，是構建一個能從「零數據」開始自我進化的 AI 框架 ，主要依賴于兩個 AI 角色 挑戰者（Challenger）和 解決者（Solver）。

• 論文鏈接: https://www.arxiv.org/abs/2508.05004
• 項目代碼: https://github.com/Chengsong-Huang/R-Zero 
• 項目主頁: https://chengsong-huang.github.io/R-Zero.github.io/ 

挑戰者 - 解決者的協同進化

R-Zero 的架構核心是從一個基礎 LLM 出發，初始化兩個功能獨立但目標協同的智能體：挑戰者（Challenger, Qθ）和解決者（Solver, S?）。

• 挑戰者 (Challenger)：其角色是課程生成器。它的優化目標并非生成絕對難度最高的問題，而是精準地創造出位于當前解決者能力邊界的任務，即那些最具信息增益和學習價值的挑戰 。
• 解決者 (Solver)：其角色是學生。它的目標是解決由挑戰者提出的問題，并通過這一過程持續提升自身的推理能力 。  

這兩個智能體在一個迭代的閉環中協同進化，整個過程無需人類干預 ： 

1. 挑戰者訓練：在當前凍結的解決者模型上，挑戰者通過強化學習進行訓練，學習如何生成能使解決者表現出最大不確定性的問題。

2. 課程構建：更新后的挑戰者生成一個大規模的問題池，作為解決者下一階段的學習材料。

3. 解決者訓練：解決者在這個由挑戰者量身定制的新課程上進行微調，提升自身能力。

4. 迭代循環：能力增強后的解決者，成為下一輪挑戰者訓練的新目標。如此循環往復，兩個智能體的能力共同螺旋式上升。

這是一個完全封閉、自我驅動的進化循環。在這個過程中，AI 自己生成問題，自己生成用于學習的「偽標簽」，自己完成訓練，完全不需要任何外部人類數據的輸入。

具體實現方法

由于沒有外部「標準答案」，解決者必須自我生成監督信號。

• 偽標簽生成：采用自我一致性（self-consistency）策略。對于每個問題，解決者會生成多個（例如 10 個）候選答案，其中出現頻率最高的答案被選為該問題的「偽標簽」（pseudo-label）。
• 過濾器：這是框架設計的關鍵一環。并非所有生成的問題都被用于訓練，只有那些解決者經驗正確率 p^i 落在特定「信息帶」內（例如，正確率在 25% 到 75% 之間）的問題才會被保留 。該過濾器起到了雙重作用：

1. 難度校準：顯式地剔除了過易或過難的任務。

2. 質量控制：一致性極低的問題（例如 10 次回答各不相同）往往是定義不清或邏輯混亂的，該機制能有效過濾掉這類噪聲數據。消融實驗證明，移除該步驟會導致模型性能顯著下降 。

為了生成高效的課程，挑戰者的獎勵函數由三部分構成 ：

• 不確定性獎勵 (Uncertainty Reward)：這是獎勵函數的核心。其公式為 runcertainty=1?2∣p^(x;S?)?1/2∣，其中 p^ 是解決者對問題 x 的經驗正確率。當解決者的正確率接近 50% 時，獎勵最大化。這一設計的理論依據是，此時學習者的學習效率最高，每個樣本帶來的信息增益也最大 。
• 重復懲罰 (Repetition Penalty)：為保證課程的多樣性，框架利用 BLEU 分數來衡量批次內問題的相似度，并對過于相似的問題施加懲罰 。

實驗結果與分析

數學推理能力顯著提升：經過三輪自我進化，Qwen3-8B-Base 模型在多個數學基準測試上的平均分從 49.18 提升至 54.69（+5.51）。

向通用領域的強大泛化能力：盡管訓練任務集中于數學，但模型的核心推理能力得到了泛化。在 MMLU-Pro、SuperGPQA 等通用推理基準上，Qwen3-8B-Base 的平均分提升了 3.81 分 。這表明 R-Zero 增強的是模型底層的通用能力，而非特定領域的知識記憶。

與人類數據的協同效應

實驗證明，先經過 R-Zero 訓練的基礎模型，再使用人類標注數據進行監督微調，能達到比直接微調更高的性能。這說明 R-Zero 可以作為一種高效的中間訓練階段，最大化人類標注數據的價值 。

核心局限與未來展望

盡管成果顯著，R-Zero 框架也揭示了其內在的挑戰和局限性。

• 偽標簽準確率的衰減：這是該框架最核心的挑戰。分析表明，隨著課程難度在迭代中提升，由自我一致性生成的偽標簽的真實準確率，從第一輪的 79.0% 系統性地下降到了第三輪的 63.0% 。這意味著模型在后期學習的監督信號中包含了更多的噪聲。如何在這種難度與質量的權衡中找到穩定點，是決定該框架能否長期進化的關鍵。  
• 領域局限性：當前框架高度依賴于那些存在客觀、可驗證正確答案的領域（如數學）。對于評估標準主觀、解決方案多元的任務（如創意寫作、戰略規劃），基于多數投票的自我監督機制將難以適用 。