近一階段，強化學習成為進一步提升大模型能力的共識路徑，這時候，你是不是也覺得，給大模型套上強化學習（RL）的韁繩，再用上那些能自動驗證對錯的獎勵機制（RLVR），就能讓它們像打了雞血一樣，推理能力蹭蹭往上漲，實現模型自我進化，“左腳踩右腳”不斷飛升。

然而，清華大學近期的一項研究《Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?（強化學習真的會激勵 LLMs 基模型之外的推理能力嗎？）》為這一樂觀預期潑了一盆冷水。該研究通過深入分析指出，盡管RL訓練能夠顯著提升模型在特定基準（如pass@1）上的表現，但可能并未從根本上拓展模型推理能力的邊界。

研究采用了??pass@k??（模型在k次嘗試內解決問題的成功率）作為核心評估指標。結果顯示，雖然經過RL訓練的模型在少量嘗試（低k值）下表現優于基礎模型，但當給予充足的嘗試機會（高k值）后，未經RL訓練的基礎模型不僅能夠追趕上來，解決同樣的問題，甚至在某些任務中展現出相當乃至更高的潛力上限。

這一發現表明，當前RLVR技術的核心作用可能更多體現在提升“采樣效率”，即更快速、更穩定地找到模型知識體系中已經存在的、能夠獲得獎勵的正確推理路徑。這類似于提高了模型針對已知類型問題的“應試技巧”。

但效率的提升可能伴隨著代價。研究觀察到，RL訓練在強化特定路徑的同時，可能限制了模型的探索性，降低了其生成不常見或全新正確解法的概率，從而可能導致整體推理能力的“覆蓋范圍”收縮。這意味著，模型的世界觀非但沒有拓寬，反而可能在某種程度上變窄了。

因此，該研究對“LLM通過RL實現持續自我進化”的普遍觀點構成了挑戰。RLVR當前的作用，或許更接近于一種高效的優化或壓縮機制，而非真正意義上的“認知能力催化劑”。它擅長挖掘和鞏固基礎模型已有的潛能，但在激發全新推理范式方面可能存在局限。值得注意的是，研究也對比指出，知識蒸餾等其他技術，通過學習更強教師模型的模式，反而能夠有效地為模型引入新知識，拓展其能力邊界。

這篇論文讓我們不得不反思，讓大模型真正實現推理能力的飛躍，光靠現在的RL“鞭策”可能還不夠，需要認識到它的固有局限。要實現推理能力的根本性突破，還是需要進一步探索新方法，這樣才有可能有更大的突破。

本文轉載自??AI工程化???，作者：ully