突破大模型訓練瓶頸：騰訊團隊提出RLPT新范式，讓模型從預訓練數據中自我強化
在人工智能領域，大型語言模型（LLMs）的發展正面臨一個嚴峻挑戰：計算資源的指數級擴展與高質量文本數據的有限增長之間的巨大差距。這一瓶頸正制約著傳統的大模型擴展方法。今天，我們要介紹一篇由騰訊團隊與香港中文大學合作發表的重要論文，他們提出了一種創新的訓練擴展范式——基于預訓練數據的強化學習（Reinforcement Learning on Pre-Training Data，簡稱RLPT），為解決這一難題提供了全新思路。
在人工智能領域，大型語言模型（LLMs）的發展正面臨一個嚴峻挑戰：計算資源的指數級擴展與高質量文本數據的有限增長之間的巨大差距。這一瓶頸正制約著傳統的大模型擴展方法。今天，我們要介紹一篇由騰訊團隊與香港中文大學合作發表的重要論文，他們提出了一種創新的訓練擴展范式——基于預訓練數據的強化學習（Reinforcement Learning on Pre-Training Data，簡稱RLPT），為解決這一難題提供了全新思路。
研究背景與團隊介紹
這篇論文由騰訊LLM部門、混元Infra團隊與香港中文大學的研究者共同完成，論文于2025年9月24日發布，標志著大模型訓練方法的重要突破。
傳統的大模型擴展主要依靠兩種方式：擴大模型參數規模和增加預訓練數據量。然而，參數擴展需要更強大的基礎設施支持，并導致高昂的推理成本；而數據擴展則受限于高質量網絡語料庫的稀缺性。正如論文所指出的：
"參數擴展需要越來越苛刻的基礎設施，并導致高昂的推理成本，而數據擴展則受到高質量網絡語料庫稀缺性的限制。"
現有的強化學習方法，如基于人類反饋的強化學習（RLHF）和基于可驗證獎勵的強化學習（RLVR），仍然嚴重依賴人工標注來構建獎勵信號，這限制了它們在預訓練數據上的可擴展性。
RLPT：全新的訓練擴展范式
為了應對這些挑戰，研究團隊提出了RLPT這一創新范式。與主要依賴監督學習的先前擴展方法不同，RLPT分配訓練計算資源，使策略能夠自主探索有意義的推理軌跡，從預訓練數據中學習，并通過強化學習提高整體能力。
核心創新：下一段推理目標
RLPT的核心創新在于設計了一種 "下一段推理"目標（next-segment reasoning objective），它可以直接從未標記的互聯網數據中獲得有意義的自監督獎勵。具體來說，模型首先需要預測文本的后續段落，然后通過使用生成式獎勵模型評估預測段落與真實段落之間的語義一致性來獲得獎勵信號。
根據不同的預測段落配置，研究團隊提出了兩種具有不同效果的任務：
- 自回歸段推理（Autoregressive Segment Reasoning，ASR）：要求模型根據前文上下文預測一個完整的后續句子。
- 中間段推理（Middle Segment Reasoning，MSR）：涉及一個中間有被屏蔽標記的上下文，模型必須利用前文和后文來推斷被屏蔽的連續標記段。
在訓練過程中，研究團隊交替使用ASR和MSR任務，同時優化模型的自回歸生成能力和上下文理解能力。
技術實現詳解
數據準備
研究團隊通過聚合來自維基百科、arXiv和線程對話數據等多種來源的網絡文本來構建RLPT的語料庫。為確保數據質量和合規性，他們應用了一個多階段預處理流程，包括：
- 基于MinHash的近重復數據刪除
- 檢測和屏蔽個人身份信息（PII）
- 針對所有開發和評估集的污染去除
考慮到網絡語料庫的固有噪聲，研究團隊進一步實施了嚴格的過濾程序，結合了基于規則和基于模型的方法。此外，他們還從退火數據集中策劃了高質量的問答數據，用于數學推理任務，以增強模型的推理能力。
下一段推理的數學表達
給定預訓練數據中的文本t，研究團隊將其劃分為一系列連續的段落t = [s1, s2, . . . , sn]，其中每個si對應于一個語義連貫單元，如短語、完整句子或推理步驟。然后，他們構建一個數據集：
其中s<i = [s1, s2, . . . , si?1]表示上下文，si是目標段落，si+1是其后續段落。
基于這一公式，研究團隊引入了兩種段落級訓練目標，它們捕捉了比令牌級預測更豐富的語義：
- ASR任務：受下一個令牌預測（NTP）的啟發，訓練策略從s<i預測si，與現代LLMs的自回歸生成過程一致。
- MSR任務：進一步使模型能夠利用更廣泛的上下文信息，訓練策略從s<i和si+1預測si。這類似于掩碼語言建模，特別適用于代碼補全等任務。
獎勵機制
獎勵被定義為預測段落和參考段落之間的語義一致性，由生成式獎勵模型Grm評估。該模型評估兩個段落是否傳達等效內容，同時允許語言變化。在實踐中，研究團隊發現直接將預測段落與真實下一段落進行比較過于嚴格，因為模型可能生成跨越多個后續段落的輸出。
為了解決這個問題，他們為Grm提供了幾個后續段落作為參考，并指示它驗證預測段落是否是參考內容的有效前綴。給定從模型輸出o中提取的預測段落?i，獎勵指定為：
RLPT的訓練目標定義為：
其中λ ∈ (0, 1)是平衡ASR和MSR項貢獻的超參數，可以根據特定下游應用的需求進行調整。
訓練細節
研究團隊在RLPT實現中考慮了幾個關鍵因素：
- 冷啟動（Cold-Start）：RLPT可以在下一個令牌預訓練后應用于基礎模型，但它需要最低限度的指令跟隨能力來啟動下一段推理。為滿足這一要求，他們引入了一個冷啟動階段，包括在指令跟隨數據上進行監督微調。
- 段落單位：在這項工作中，研究團隊默認將段落單位定義為一個句子。他們也嘗試了其他分段單位的初步研究，如使用LLMs從文本中提取集成的原子步驟，但這些方法并沒有產生比句子級分段更清晰的改進。因此，他們在實驗中采用句子分段作為默認設置，將其他策略的探索留給未來工作。
- 訓練配置：在下一個段落的推理中，研究團隊采用512的批量大小，8192的最大響應長度，以及1×10?6的恒定學習率。對于每個提示，他們以1.0的溫度采樣8個輸出，并使用在線策略GRPO進行優化，不進行KL正則化。
實驗結果與性能分析
研究團隊在多個模型上評估了RLPT在通用領域和數學推理任務上的表現。實驗結果表明，RLPT在兩種設置中都帶來了一致且顯著的改進。
通用領域任務性能
表1顯示了不同模型在通用領域任務上的性能，RLPT在所有基準測試和模型上都帶來了顯著且一致的提升。特別是，當應用于Qwen3-4B-Base時，它在MMLU、MMLU-Pro、GPQA-Diamond、SuperGPQA和KOR-Bench上分別實現了3.0、5.1、8.1、2.0和6.0的絕對提升。在Qwen3-8B-Base上，改進分別為1.4、3.4、2.0、2.3和2.1。此外，Llama-3.2-3B-Base上的結果證實了RLPT在不同模型系列上的通用性，在MMLU-Pro、GPQA-Diamond和SuperGPQA上分別有1.5、11.6和3.4的絕對提升。
由于這些基準測試涵蓋包括STEM、法律、經濟學和健康在內的多個領域，結果表明RLPT有效地利用了大規模預訓練語料庫中包含的廣泛知識。
數學推理任務性能
如表2所示，RLPT在數學推理方面帶來了顯著提升，提高了Pass@1和Pass@8的性能。在具有挑戰性的AIME24和AIME25基準測試上，RLPT在Pass@1上分別實現了6.6和5.3的絕對提升，在Pass@8上分別實現了5.0和1.4的絕對提升。這些改進表明RLPT在解鎖推理邊界方面是有效的，從而為后續的RLVR訓練提供了堅實的基礎。
事實上，當RLPT用作RLVR的初始化時，它進一步提升了性能，在AIME24和AIME25的Pass@1上分別有2.3和1.3的絕對提升，在Pass@8上分別有3.7和2.0的絕對提升。這證明RLPT增強了利用和探索能力，而這通常被認為是競爭目標。
擴展特性分析
如圖1所示，RLPT在各種基準測試上的性能遵循關于訓練令牌數量的冪律衰減，表明通過擴展計算有進一步獲得收益的潛力。研究團隊還在圖3中報告了當RLPT作為RLVR基礎時的擴展趨勢。在這種設置下，RLPT提供了強大的初始化，在整個訓練過程中產生一致的改進。值得注意的是，Pass@1和Pass@8都有所提高，表明來自RLPT的收益不是以探索能力為代價的，而這仍然是當前RLVR方法的常見挑戰。
推理模式分析
為了展示RLPT的優勢，研究團隊在表3中提供了一個推理過程的說明性示例。在這種情況下，模型通過結構化序列處理下一段推理任務：它首先抽象前文上下文以捕捉總體流程，然后確定后續步驟，制定候選延續，驗證其合理性，探索替代可能性，在適當時進行回溯，并最終產生最終答案。這種結構化軌跡與LLMs在復雜問題解決中表現出的多步推理策略一致，這有助于解釋RLPT的有效性。
獎勵建模分析
在開發RLPT的過程中，研究團隊在遇到初始公式的幾個挑戰后，迭代改進了他們的獎勵建模方法。他們的初始方法采用了嚴格的獎勵，要求預測段落傳達與真實段落完全相同的語義內容。這一約束被證明過于僵化，導致了許多誤報。他們觀察到模型經常生成包含多個真實段落的輸出，這主要是由于基于句子的分段中信息分布不均勻：一些句子只包含一個公式，而其他句子可能捕獲了子問題的完整解決方案。這種差異擾亂了訓練過程，只產生了有限的下游性能改進。
為了解決這個問題，研究團隊引入了一個寬松的前綴獎勵，只要預測段落形成真實完成的有效前綴，就分配1分。這一調整解決了具有不同信息內容的段落，并提供了更穩定的訓練信號。它還使模型能夠生成更長的響應，從而提高了下游數學推理任務的性能。
RLPT的意義與未來展望
RLPT的提出標志著大模型訓練方法的重要創新。與主要依賴監督學習的先前擴展方法不同，RLPT采用強化學習，分配計算資源使模型能夠自我探索并從大規模預訓練語料庫中學習。RL提供了兩個顯著優勢：
- 它使模型能夠揭示數據背后的潛在推理，這可以被視為科學論文或教科書中反映的深思熟慮的壓縮形式。
- 最近的研究表明，與監督學習相比，RL支持更好的泛化能力。
研究團隊在論文中總結了RLPT的三大貢獻：
- 提出了RLPT，一種在預訓練數據上擴展RL的方法。為了消除對人工標注的依賴，他們設計了一個下一段推理目標，包括ASR和MSR任務，獎勵LLMs正確預測給定前文上下文的真實下一段。
- 在多個模型的通用領域和數學推理任務上的大量實驗表明，RLPT顯著提高了性能，并表現出良好的擴展趨勢，實證建立了基準測試性能隨計算增加的擴展規律，表明持續收益的強大潛力。
- 結果進一步證明，RLPT為后續的RLVR提供了堅實的基礎，擴展了LLMs的推理邊界，并提高了數學推理基準測試的性能。
結語
騰訊團隊與香港中文大學合作提出的RLPT范式，為大模型訓練開辟了新道路。通過在預訓練數據上應用強化學習，并設計創新的下一段推理目標，RLPT消除了對人工標注的依賴，使RL訓練能夠在大規模未標記語料庫上進行。這一方法不僅在通用領域和數學推理任務上取得了顯著成果，還展現出良好的擴展特性，預示著隨著更多計算資源的投入，RLPT有望帶來更大的性能提升。
這項研究不僅解決了當前大模型訓練面臨的數據瓶頸問題，還為未來大模型的發展提供了新思路。隨著AI技術的不斷進步，我們有理由相信，像RLPT這樣的創新方法將繼續推動人工智能領域向前發展，為我們帶來更強大、更智能的語言模型。
本文轉載自??AIGC深一度??，作者：一度
