論文通過強化學(xué)習(xí)激勵有效的下一個token推理，僅使用原始文本和內(nèi)在強化學(xué)習(xí)信號就能解鎖更豐富的推理能力。

圖片

論文簡介

論文提出了強化預(yù)訓(xùn)練（RPT），這是一種創(chuàng)新范式，通過將下一個詞元預(yù)測重新解釋為可通過正確性驗證獲得獎勵的推理任務(wù)，架起了大語言模型預(yù)訓(xùn)練與強化學(xué)習(xí)之間的橋梁。

圖片

RPT沒有使用人工精心策劃的昂貴標注或人類反饋，而是在大規(guī)模無標注文本語料庫上應(yīng)用強化學(xué)習(xí)，根據(jù)預(yù)測詞元是否匹配真實答案來分配內(nèi)在獎勵。這種重新構(gòu)框支持通用強化學(xué)習(xí)擴展，同時增強了預(yù)訓(xùn)練和微調(diào)效果。

核心方法

在文本序列的每個詞元位置，模型首先生成推理軌跡（思維鏈），然后預(yù)測下一個詞元。如果預(yù)測結(jié)果是真實后續(xù)內(nèi)容的有效前綴，就會獲得獎勵。每個上下文使用多次推演，模型通過在線策略強化學(xué)習(xí)進行訓(xùn)練。

圖片

優(yōu)于標準預(yù)訓(xùn)練

RPT顯著超越了標準的下一個詞元預(yù)測和思維鏈推理基線（無強化學(xué)習(xí)），在不同難度的詞元上都取得了更高的準確率，甚至在性能上可與更大規(guī)模的模型媲美。例如，RPT-14B在OmniMATH基準測試中達到或超越了R1-Qwen-32B的準確率。

圖片

強勁的擴展定律

RPT在各個難度級別上都展現(xiàn)出了關(guān)于訓(xùn)練計算量的清晰冪律擴展，預(yù)測準確率隨著計算量增加而持續(xù)提升，與理論曲線高度吻合。

圖片

改善下游強化學(xué)習(xí)和泛化能力

在具有可驗證答案的任務(wù)（如Skywork-OR1）上使用強化學(xué)習(xí)微調(diào)RPT模型，相比使用標準目標訓(xùn)練的模型，展現(xiàn)出更快更強的提升。在SuperGPQA和MMLU-Pro基準測試的零樣本評估中，推理模式下的RPT-14B大幅超越了R1-Distill-Qwen-32B。

圖片

促進結(jié)構(gòu)化思維

對推理軌跡的分析表明，相比傳統(tǒng)問題解決模型，RPT-14B采用了更多的假設(shè)生成、演繹推理和反思模式，這支持了RPT在訓(xùn)練過程中培養(yǎng)更深層推理習(xí)慣的觀點。

圖片

論文標題：Reinforcement Pre-Training 

論文鏈接：https://arxiv.org/abs/2506.08007

本文轉(zhuǎn)載自??AI帝國??，作者：無影寺