簡(jiǎn)單可拓展：思考增強(qiáng)預(yù)訓(xùn)練數(shù)據(jù)生成策略及相關(guān)實(shí)驗(yàn)結(jié)論 原創(chuàng)
Thinking Augmented Pre-Training（TPT，思考增強(qiáng)預(yù)訓(xùn)練）提出源于當(dāng)前 LLM 訓(xùn)練的兩大核心瓶頸，這也是方法設(shè)計(jì)的出發(fā)點(diǎn)：
- 高質(zhì)量數(shù)據(jù)耗盡：LLM 訓(xùn)練依賴海量數(shù)據(jù)（如最新開源模型已用 10 萬(wàn)億 Token），但人類創(chuàng)作的高質(zhì)量 Web 數(shù)據(jù)已接近枯竭，繼續(xù)擴(kuò)大數(shù)據(jù)規(guī)模成本極高；
- 高價(jià)值 Token 難學(xué)習(xí)：部分關(guān)鍵 Token（如數(shù)學(xué)題答案 “890”、邏輯推理結(jié)論）背后依賴復(fù)雜的多步推理（如多項(xiàng)式除法、余數(shù)定理），固定模型容量下，直接學(xué)習(xí)這類 Token 只能靠 “死記硬背”，無(wú)法泛化。
思維增強(qiáng)型數(shù)據(jù)樣本：紅色標(biāo)記的 token “890” 既正確又具有價(jià)值，但直接學(xué)習(xí)該信息較為困難。
從上圖例子TPT 的核心邏輯也很直觀：模擬人類學(xué)習(xí)時(shí)的 “思考過(guò)程”—— 將原始文本（如 “答案是 890”）與 “推導(dǎo)該答案的專家級(jí)思考步驟”（如 “用余數(shù)定理計(jì)算多項(xiàng)式余數(shù)→推導(dǎo) n+10 需整除 900→找到最大除數(shù)”）拼接，形成 “原始文本 + 思考軌跡” 的增強(qiáng)數(shù)據(jù)。
TPT目標(biāo)：在不新增原始數(shù)據(jù)的前提下，通過(guò) “數(shù)據(jù)增強(qiáng)” 讓現(xiàn)有數(shù)據(jù)的 “利用率最大化”，同時(shí)降低高價(jià)值 Token 的學(xué)習(xí)難度。
在 GSM8k 和 MATH 數(shù)據(jù)集上，模型的平均 few-shot 準(zhǔn)確率得分隨訓(xùn)練 token 總 數(shù)的變化情況。兩個(gè)模型均從零開始進(jìn)行參數(shù)量為 8 B 的預(yù)訓(xùn)練。其中一個(gè)模型采用原始 的下一個(gè) token 預(yù)測(cè)目標(biāo)，另一個(gè)模型則采用了思維增強(qiáng)型預(yù)訓(xùn)練。
核心是預(yù)訓(xùn)練數(shù)據(jù)增強(qiáng)，因此，本文主要看一下數(shù)據(jù)生成策略及一些實(shí)驗(yàn)結(jié)論。
訓(xùn)練數(shù)據(jù)生成-思考軌跡的自動(dòng)生成概述
這一部分最關(guān)鍵的是prmopt設(shè)計(jì)，生成參數(shù)主要平衡 “多樣性” 和 “準(zhǔn)確性”等：
提示詞
- {{CONTEXT}}：替換為原始訓(xùn)練文檔
- 用 “簡(jiǎn)單語(yǔ)言拆解復(fù)雜概念”
- 過(guò)濾瑣碎信息：只保留與核心邏輯相關(guān)的推理步驟
最后，將 “原始文檔” 與 “生成的思考軌跡” 拼接，形成最終訓(xùn)練樣本。
訓(xùn)練目標(biāo)損失函數(shù)：
其中N是增強(qiáng)樣本x的總 Token 數(shù)；
為更清晰理解TPT，需對(duì)比其與兩類方法的差異：
方法類別 | 核心邏輯 | 算力成本 | 數(shù)據(jù)效率 | 適用場(chǎng)景 |
TPT | 生成思考軌跡增強(qiáng)數(shù)據(jù) | 低（文檔級(jí)） | 高（3倍提升） | 預(yù)訓(xùn)練/中期訓(xùn)練/SFT全流程 |
RPT（強(qiáng)化預(yù)訓(xùn)練） | 用RL優(yōu)化下一個(gè)Token預(yù)測(cè) | 高（在線Rollout） | 中 | 僅預(yù)訓(xùn)練 |
CoT（思維鏈） | 推理時(shí)生成步驟（非訓(xùn)練） | 推理時(shí)高 | 無(wú)（不提升訓(xùn)練效率） | 僅推理階段 |
實(shí)驗(yàn)
訓(xùn)練語(yǔ)料： MegaMath-Web-Pro-Max和FineWeb-Edu 模型架構(gòu)：LLaMA-3-8B 策略：總訓(xùn)練預(yù)算為 100 B 個(gè) token。兩者唯一的區(qū)別在于：一個(gè)在原始數(shù)據(jù)集上進(jìn)行訓(xùn)練，另一個(gè)在思維增強(qiáng)數(shù)據(jù)集上進(jìn)行訓(xùn)練。
預(yù)訓(xùn)練損失曲線和在 5 個(gè)任務(wù)上的綜合得分隨總訓(xùn)練 token 數(shù)（8B 模型）的變化情 況。
基礎(chǔ)模型在 5 個(gè)數(shù)據(jù)集上的性能及其平均值
監(jiān)督微調(diào)后在 2 B-token 思維混合數(shù)據(jù)集上的表現(xiàn)
任務(wù)得分相對(duì)于總訓(xùn)練 token 數(shù)（8B 模型）。原始文檔中的 token 數(shù)通過(guò)隨機(jī)采樣限制為 10 B。得分如下表
THINKING AUGMENTED PRE-TRAINING,https://arxiv.org/pdf/2509.20186
本文轉(zhuǎn)載自???大模型自然語(yǔ)言處理?? 作者：llmnlp
