IBM 研究：可驗證獎勵強化學習（RLVR）通過 GRPO 提升模型推理能力
大家好，我是肆〇柒。今天，我們來探討一篇來自IBM Research的前沿論文《REINFORCEMENT LEARNING WITH VERIFIABLE REWARDS: GRPO’S EFFECTIVE LOSS, DYNAMICS, AND SUCCESS AMPLIFICATION》。這篇論文由Youssef Mroueh撰寫，聚焦于強化學習（Reinforcement Learning, RL）領域中一個極具潛力的研究方向——如何通過可驗證獎勵（RLVR）來優化大型語言模型（LLM）的訓練。在當今人工智能的浪潮中，強化學習作為推動LLM發展的關鍵力量，正以其獨特的方式，改變著我們對智能系統的理解和應用。與傳統的監督學習和偏好優化方法不同，強化學習能夠在處理不可微獎勵（non-differentiable rewards）的任務中 引人矚目，尤其是在生成文本、代碼等復雜任務中展現出巨大的優勢。而PPO算法作為強化學習中的佼佼者，憑借其穩定性和高效性，成為了訓練參數化策略的主流選擇。然而，PPO依賴于重要性采樣和獨立評估器的機制，也帶來了額外的計算開銷和訓練復雜性。
GRPO 算法的提出與優勢
2024年，DeepSeekMath團隊提出了一種名為組相對策略優化（Group Relative Policy Optimization, GRPO）的新型強化學習算法。GRPO在繼承PPO優化框架的基礎上，對優勢估計（advantage estimation）進行了創新性改進。GRPO采用蒙特卡洛滾動（Monte Carlo rollouts）來估計優勢函數，而非依賴于PPO中的學習型評估器。此外，GRPO引入了白化處理（whitening），即對獎勵的均值和方差進行標準化，這些統計量是基于單個輸入或查詢條件下從LLM策略采樣的“組”數據估計得到的。這種白化處理不僅提高了訓練的穩定性，而且消除了訓練獨立評估器的必要性，取而代之的是通過優化的模型服務（如VLLM）實現高效的策略采樣。
可驗證獎勵的三種類型及優勢
在LLM訓練中，可驗證獎勵（verifiable rewards）因其簡潔性和抗偏性而備受關注。根據Lambert等人的研究，可驗證獎勵主要分為以下三種類型：
- 正確性驗證（Correctness Verification）：通過將生成的響應與黃金標準答案進行字符串匹配來獲得二元獎勵（0/1）。例如，在數學問題中，如果存在已知答案，可以通過這種方式直接評估模型輸出的正確性。這種方法簡單直接，但在沒有標準答案的情況下，可以借助另一個LLM作為評估器來判斷響應的正確性，如在Deliberative Alignment中所采用的方法。
- 執行驗證（Verification via Execution）：在代碼生成任務中，利用代碼解釋器執行生成的代碼，并根據執行結果（失敗/通過）產生二元獎勵。此外，還可以通過一系列單元測試來進一步驗證代碼的正確性，從而得到二元獎勵信號。Open-R1近期開源了這種類型的獎勵評估方法，為代碼生成任務的強化學習訓練提供了有力支持。
- 可驗證約束（Verifiable Constraints）：通過簡單的二元獎勵機制來強制執行輸出格式約束或拒絕回答等規則。例如，在文本生成任務中，可以使用這種方式確保模型輸出符合特定的格式要求或避免生成不適當的內容。
與基于偏好數據學習的獎勵模型相比，可驗證獎勵具有明顯的優勢。它們在設計上更加簡潔，且不易受到獎勵黑客攻擊（reward hacking）的影響。獎勵黑客攻擊是指策略為了過度優化獎勵信號而導致模型質量下降的問題。盡管如此，Lambert等人指出，當KL約束對參考模型的正則化較弱時，即使使用可驗證約束，也可能出現獎勵黑客現象。因此，研究結合KL正則化的強化學習方法在可驗證獎勵場景下的表現具有重要意義。
本文重點
本文聚焦于強化學習與可驗證獎勵（Reinforcement Learning with Verifiable Rewards, RLVR）的結合，特別是基于GRPO的實現方式。核心目標是解析GRPO的以下幾個關鍵方面：
- 損失函數的本質：揭示GRPO優化目標的數學形式，特別是其如何通過對比損失（contrastive loss）和KL正則化來實現策略更新。
- 迭代動態特性：分析GRPO迭代過程中策略的演變規律，特別是成功概率（probability of success）如何隨迭代次數變化。
- 成功概率放大效果：證明GRPO能夠有效提升策略的成功概率，即在訓練過程中逐步提高模型生成正確響應的頻率。
- 收斂性分析：研究GRPO迭代序列的收斂性，確定其在何種條件下能夠收斂到固定點，并分析該固定點的性質。
GRPO 與可驗證獎勵：適應性加權對比損失視角
GRPO 優化問題
在強化學習中，策略的更新通常是為了最大化累積獎勵。對于GRPO算法，其優化目標可以表示為以下形式（帶裁剪版本）：
對比PPO算法，GRPO在優勢估計和策略更新機制上具有獨特之處。PPO通過學習一個評估器來估計優勢函數，而GRPO則直接利用蒙特卡洛滾動從舊策略中采樣來估計優勢。這種差異使得GRPO在某些場景下能夠更高效地利用數據，特別是在LLM訓練中，當每個輸入或查詢對應一組采樣數據時，GRPO的白化處理能夠進一步提高訓練的穩定性。
優勢函數的簡化與權重特性分析
考慮到可驗證獎勵的二元特性（即獎勵值為0或1），優勢函數A(q,o)可以簡化為以下形式：
通過分析優勢函數的表達式，可以發現其權重具有自適應特性。
- 當舊策略的成功概率較高（p>0.5）時，正確輸出的優勢值較大，而錯誤輸出的優勢值絕對值較小。這意味著在策略更新時，算法會更傾向于強化正確輸出，同時對錯誤輸出的懲罰相對較弱。
- 相反，當較低（p<0.5）時，正確輸出的優勢值相對較小，而錯誤輸出的優勢值絕對值較大。此時，算法會更積極地懲罰錯誤輸出，以引導策略向更優的方向調整。
這種自適應權重機制使得GRPO能夠在不同成功概率的區間內動態調整對正負樣本的關注程度，從而實現更精準的策略優化。
用舊策略成功的概率對GRPO進行加權
GRPO 作為適應性加權對比損失的解讀
通過對GRPO目標函數的變形和分析，可以揭示其作為一種適應性加權對比損失的本質。具體來說，GRPO的目標函數可以重寫為以下形式：
這種自適應加權機制不僅提高了策略更新的效率，還使得GRPO能夠在不同成功概率的區間內實現更精準的優化，避免了在某些情況下過度強化或過度懲罰的問題。
加入平滑因子的穩定化 GRPO 及案例
這種平滑處理在實際應用中表現出顯著的優勢，特別是在處理稀疏獎勵（sparse rewards）的場景中。例如，在代碼生成任務中，當模型生成的代碼大部分無法通過執行驗證時（即成功概率非常低），平滑因子能夠防止權重函數出現劇烈波動，從而提高算法的穩定性。實驗結果表明，采用平滑處理后的GRPO在面對稀疏獎勵時，能夠更穩定地引導模型逐步學習到正確的策略，而不會因權重的劇烈變化而導致訓練過程發散。
GRPO 迭代動態：成功概率的固定點迭代
GRPO 迭代算法流程與案例
GRPO的迭代過程可以概括為以下步驟：
為了更直觀地理解GRPO的迭代過程，可以參考以下偽代碼：
Algorithm 1: Iterative GRPO with verifiable rewards
Input: Initial policy model πθinit, verifiable reward r, task prompts D, hyperparameters ?, β, μ
1: policy model πθ ← πθinit
2: for n = 1, ..., M do
3: Sample a batch Db from ρQ
4: Update the old policy model πθold ← πθ
5: for each question q ∈ Db do
6: Sample G outputs {oi}G i=1 ～ πθold(· | q)
7: Compute rewards {ri}G i=1 for each sampled output oi by running verifiable reward r
8: Compute A(q, oi) using equation (3), where p = pθold(q) = 1 G PG i=1 1r(q,oi)=1
9: end for
10: for GRPO iteration = 1, ..., μ do
11: Update the policy model πθ by maximizing the GRPO objective with gradient ascent (Equation (GRPO-No-Clip))
12: end for
13: end for
14: Output πθ在實際應用中，DeepSeek-R1模型在數學推理任務中的訓練日志顯示，隨著GRPO迭代次數的增加，模型的成功概率逐漸提升。例如，在處理代數方程求解任務時，初始成功概率可能僅為30%，但經過幾輪GRPO迭代后，成功概率能夠提升至80%以上。這一過程不僅驗證了GRPO算法的有效性，還展示了其在實際任務中的應用潛力。
策略優化的非參數化分析與數學推導
為了更深入地理解GRPO的迭代動態，可以將策略優化從參數空間轉換到概率空間。假設策略模型的參數化足夠靈活，能夠表示所有可能的策略，那么GRPO的迭代更新可以表示為：
成功概率遞推關系的深度剖析
根據策略更新公式，可以進一步推導出成功概率pn(q)的遞推關系：
固定點作為β和pref函數的圖像，ε=1e-5
概率放大在β上的條件大多僅在高p和小β時才滿足（藍色區域）
GRPO 的固定點迭代收斂性與成功概率放大效果
成功概率放大的條件分析與案例驗證
局部收斂性條件探討與實驗支撐
為確保 GRPO 固定點迭代的局部收斂，β 的下界
不同參數組合下的實驗模擬結果呈現
GRPO 遞歸迭代及其收斂到固定點hε的可視化，其中 ε=1e-5
參數化 GRPO 迭代的近似分析
參數化策略與非參數化策略的差異及誤差來源
在實際應用中，策略通常通過參數化模型（如神經網絡）來表示，而理論分析中的非參數化策略假設可能與實際情況存在差異。這種差異主要來源于以下幾個方面：
- 統計誤差：由于訓練數據是通過采樣獲得的，有限的樣本量可能導致估計值與真實值之間存在偏差。例如，在計算成功概率時，如果采樣數量不足，可能會導致的估計值出現偏差，從而影響策略更新的方向和幅度。
- 近似誤差：參數化策略模型的能力有限，可能無法完全表示理論上最優的策略。這種模型能力的限制會導致近似誤差，即使在無限數據的情況下，策略也無法完全達到理論上的最優性能。
- 優化誤差：實際優化算法（如梯度下降）可能無法完全收斂到最優解，特別是在存在鞍點或局部極小值的情況下。這種優化誤差會進一步加劇策略與理論最優解之間的差距。
在近似情況下的成功概率收斂性證明與實踐驗證
誤差控制策略與實踐建議
為了最小化誤差對GRPO性能的影響，可以采取以下策略：
- 增加采樣批次大小：通過增大每次迭代中的采樣數量，可以有效降低統計誤差。例如，在DeepSeek-R1的訓練中，將采樣批次大小從128增加到512，使得成功概率的估計標準誤差降低了約30%。
- 采用更復雜的模型架構：使用更深或更寬的神經網絡可以提高模型的表達能力，從而減小近似誤差。例如，在代碼生成任務中，將模型參數量從1.5B增加到3.5B，使得代碼執行通過率提升了約15%。
- 優化梯度下降算法的超參數設置：通過調整學習率、動量等超參數，可以提高優化算法的收斂速度和精度。例如，在文本生成任務中，采用AdamW優化器并設置學習率為le-5，動量參數為0.9，使得訓練收斂速度提高了約40%。
- 正則化方法：應用L2正則化、Dropout等技術可以防止模型過擬合，提高其泛化能力。例如，在數學推理任務中，添加L2正則化（權重衰減系數為0.01）使得模型在測試集上的成功概率提升了約5%。
通過這些誤差控制策略，可以在實際應用中更好地實施GRPO算法，確保其性能表現接近理論預期。
實際案例
DeepSeek-R1 模型在數學推理任務中的應用
DeepSeek-R1模型在數學推理任務上的應用充分展示了GRPO算法的強大能力。在處理代數方程求解任務時，模型需要生成一系列推理步驟并最終得出正確答案。應用GRPO前，模型的初始成功概率約為40%，且生成的推理步驟常出現邏輯錯誤或計算失誤。通過引入GRPO算法，并結合正確性驗證（答案匹配）作為可驗證獎勵，模型在經過10輪迭代訓練后，成功概率提升至85%以上。具體案例對比顯示，某一復雜代數問題的求解過程從最初的錯誤答案逐步優化為正確的推理步驟和答案。
例如，對于方程組：
初始模型生成的解答可能包含錯誤的推理步驟，如錯誤的消元操作或代數變形。經過GRPO訓練后，模型能夠正確執行消元法，逐步推導出和的解。這一過程不僅驗證了GRPO在提升模型推理能力方面的有效性，還展示了其在數學推理任務中的實際應用價值。
代碼生成任務中的實踐效果
在代碼生成任務中，GRPO算法通過執行驗證（如代碼執行結果）作為可驗證獎勵，顯著提升了代碼的正確率和執行效率。以排序算法代碼生成為例，傳統強化學習方法生成的代碼在復雜數據集上的執行通過率僅為60%左右，而采用GRPO優化后的模型在相同數據集上的通過率提升至90%以上。
對于快速排序算法的生成任務，初始模型可能生成存在邊界條件處理錯誤或遞歸終止條件不正確的代碼。應用GRPO后，模型能夠根據代碼執行結果的二元獎勵信號（執行成功或失?。┱{整策略，逐步生成正確的代碼。實驗結果顯示，在不同代碼復雜度場景下，GRPO優化后的模型均表現出更高的代碼質量和執行效率。例如，對于包含重復元素和極端值的數組排序任務，GRPO優化后的模型生成的代碼能夠正確處理這些特殊情況，而未優化的模型則可能出現無限遞歸或錯誤排序結果。
多領域綜合案例分析
除了數學推理和代碼生成任務外，GRPO算法在文本生成、問答系統等多個領域也展現出了廣泛的應用潛力。在文本生成任務中，通過結合可驗證約束（如輸出格式要求），GRPO能夠有效提升生成文本的格式正確性和內容相關性。例如，在新聞報道生成任務中，模型需要遵循特定的結構（如標題、導語、正文）并包含關鍵事實。應用GRPO后，模型生成的文本在格式正確性和事實準確性方面均有顯著提升，成功概率從初始的35%提升至70%以上。
在問答系統中，GRPO通過正確性驗證（如答案與標準答案的匹配）優化模型的回答質量。例如，在醫療咨詢問答任務中，模型需要根據用戶癥狀提供準確的建議。通過GRPO訓練，模型的回答正確率從50%提升至80%，且生成的回答更加符合醫學專業標準和用戶需求。
這些多領域案例分析表明，GRPO算法具有良好的通用性和適應性，能夠在不同類型的任務中有效提升模型性能，為LLM的實際應用提供了強大的支持。
總結
這篇論文對GRPO算法與可驗證獎勵的結合進行了系統性研究，展示了其在強化學習中的獨特優勢和理論特性。主要貢獻包括：
- 適應性加權對比損失的提出：通過數學推導證明GRPO本質上是一種適應性加權對比損失，其權重根據舊策略的成功概率動態調整，從而實現對正負樣本的精準強化和懲罰。
- 成功概率遞推關系的構建：推導出成功概率的固定點迭代公式，并分析了其收斂性和動態特性，為理解GRPO的迭代動態提供了理論基礎。
- 成功概率放大效果的證明：通過理論分析和實驗驗證，證明GRPO能夠在不同初始成功概率條件下放大成功概率，從而提升模型性能。
- 誤差分析與近似策略的收斂性證明：在考慮參數化策略與非參數化策略差異的情況下，分析了各類誤差的來源，并證明了在誤差可控時參數化策略的成功概率能夠接近理論固定點。
這些成果不僅豐富了強化學習的理論體系，還為提升LLM在數學推理、代碼生成、文本創作等任務中的性能提供了重要的實踐指導。
基于實際案例分析，GRPO算法在提升LLM性能方面展現出顯著的效果。例如，DeepSeek-R1模型在應用GRPO后，在數學推理任務上的成功概率提升了約45%，代碼生成任務上的執行通過率提高了30%。這些成果表明，GRPO在實際應用中具有重要的價值，特別是在需要高準確性和可靠性的任務中。GRPO算法有望在以下幾個領域發揮更廣泛的作用：
- 多模態LLM開發：隨著多模態模型的發展，GRPO可以結合視覺、文本等多種模態的可驗證獎勵，進一步提升模型的綜合推理能力和生成質量。
- 復雜任務的分步推理：在需要多步驟推理的任務中（如科學計算、法律分析），GRPO可以通過逐步驗證中間結果來引導模型生成更準確的最終答案。
- 實時交互應用：在實時交互場景（如智能客服、機器人控制），GRPO能夠快速適應環境反饋，實時優化策略，提高系統的響應速度和準確性。
未來方向展望
盡管GRPO算法已經取得了顯著的成果，但仍存在一些研究方向值得進一步探索：
- 自適應調整KL正則化參數：研究如何根據訓練過程中的動態信息（如成功概率的變化速率）自適應調整值，以進一步提高算法的收斂速度和穩定性。
- 新的可驗證獎勵類型：探索基于多維度質量評估的組合獎勵（如同時考慮文本的準確性、連貫性和多樣性），并研究其與GRPO的結合機制，以滿足更復雜的應用需求。
- 與其他強化學習方法的融合：研究GRPO與逆強化學習、層次強化學習等方法的融合策略，以應對更復雜的任務結構和環境動態性。
- 大規模分布式訓練優化：針對大規模數據和模型訓練場景，優化GRPO算法的分布式實現，提高其計算效率和可擴展性。
這些研究方向將進一步推動GRPO算法的發展，為LLM的訓練和應用提供更強大的技術支持。
