大家好，我是肆〇柒，大型語言模型（LLM）通過鏈?zhǔn)剿伎迹–oT）進(jìn)行深度推理，并借助大規(guī)模強(qiáng)化學(xué)習(xí)（RL）在復(fù)雜任務(wù)（如競賽級數(shù)學(xué)問題解決）上取得了顯著進(jìn)展。OpenAI 的 o1、o3 等模型在數(shù)學(xué)推理任務(wù)上表現(xiàn)卓越，這些模型通常采用多層神經(jīng)網(wǎng)絡(luò)架構(gòu)，通過大規(guī)模數(shù)據(jù)訓(xùn)練捕捉語言的復(fù)雜模式，從而實(shí)現(xiàn)高效的文本生成和推理。而 DeepSeek-R1-Zero 等模型在基礎(chǔ)語言模型上直接應(yīng)用大規(guī)模 RL 也展現(xiàn)了有趣的推理行為。然而，不同基礎(chǔ)語言模型家族（如 Qwen 和 Llama）在 RL 后表現(xiàn)差異顯著。這引發(fā)了研究者對如何提升 Llama 模型 RL 可擴(kuò)展性的深入探索。

例如，Qwen 系列模型在 RL 訓(xùn)練后表現(xiàn)出色，而 Llama 等通用基礎(chǔ)模型在復(fù)制 R1-Zero 風(fēng)格訓(xùn)練成功方面卻面臨困難。這種現(xiàn)象引發(fā)了研究者對預(yù)訓(xùn)練與推理能力提升內(nèi)在聯(lián)系的深入思考。深入分析 Qwen 和 Llama 模型在架構(gòu)、預(yù)訓(xùn)練目標(biāo)等方面的差異，對于理解這些差異如何影響 RL 訓(xùn)練效果具有重要意義。這些差異可能導(dǎo)致模型在處理數(shù)學(xué)推理任務(wù)時(shí)的內(nèi)在機(jī)制不同，進(jìn)而影響 RL 訓(xùn)練中的表現(xiàn)。

由上海交大提出的這份研究《OctoThinker: Mid-training Incentivizes Reinforcement Learning Scaling》，目的就是為了深入探究預(yù)訓(xùn)練與推理能力提升的內(nèi)在聯(lián)系，為下一代 RL 友好型基礎(chǔ)模型的設(shè)計(jì)提供關(guān)鍵指導(dǎo)。通過系統(tǒng)研究中期訓(xùn)練策略對 Llama 模型 RL 可擴(kuò)展性的影響，研究者希望為大型語言模型在推理任務(wù)上的進(jìn)一步發(fā)展提供理論支持和實(shí)踐指導(dǎo)。這一研究不僅有助于縮小不同模型家族在 RL 訓(xùn)練后的性能差距，還可能推動整個領(lǐng)域?qū)?RL 訓(xùn)練機(jī)制的理解，為未來模型的設(shè)計(jì)和優(yōu)化提供新的思路。文末參考資料有OctoThinker模型家族的開源權(quán)重，以及 Github 開源代碼倉庫。

中期訓(xùn)練激勵了Llama的強(qiáng)化學(xué)習(xí)擴(kuò)展，使其性能與Qwen2.5相當(dāng)

研究背景與動機(jī)

在數(shù)學(xué)推理任務(wù)上，OpenAI 的 o1、o3 等模型取得顯著成功，這背后隱藏著哪些關(guān)鍵因素？

這些模型通常采用多層神經(jīng)網(wǎng)絡(luò)架構(gòu)，通過大規(guī)模數(shù)據(jù)訓(xùn)練捕捉語言的復(fù)雜模式，從而實(shí)現(xiàn)高效的文本生成和推理。與 Qwen 和 Llama 模型相比，它們在預(yù)訓(xùn)練目標(biāo)和優(yōu)化策略上存在顯著差異。Qwen 模型可能更注重特定領(lǐng)域的推理優(yōu)化，而 Llama 模型則傾向于通用語言理解。這些差異可能導(dǎo)致模型在 RL 訓(xùn)練中對數(shù)據(jù)的適應(yīng)性和泛化能力不同。

目前，在 Llama 等通用基礎(chǔ)模型上復(fù)制 R1-Zero 風(fēng)格訓(xùn)練成功面臨諸多困難。現(xiàn)有研究在這一問題上的局限性主要體現(xiàn)在對預(yù)訓(xùn)練數(shù)據(jù)質(zhì)量、模型架構(gòu)適配性以及 RL 訓(xùn)練動態(tài)的深入理解不足。解決這一問題對于拓展大型語言模型的應(yīng)用場景和提升其推理能力具有重要價(jià)值。通過優(yōu)化中期訓(xùn)練策略，研究者希望能夠顯著提升 Llama 模型的 RL 可擴(kuò)展性，使其在數(shù)學(xué)推理等復(fù)雜任務(wù)上表現(xiàn)出色。

Qwen 與 Llama 模型家族的 RL 動態(tài)差異

在 RL 訓(xùn)練中，Llama-3.2-3B-Base 和 Qwen2.5-3B-Base 展現(xiàn)出了截然不同的表現(xiàn)。

在訓(xùn)練中期可能影響訓(xùn)練后期階段的潛在因素

從模型架構(gòu)來看，Qwen 模型采用了更適應(yīng)推理任務(wù)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，例如更深層次的注意力機(jī)制和更高效的參數(shù)優(yōu)化策略，這使得它在處理數(shù)學(xué)推理任務(wù)時(shí)，能夠更有效地捕捉問題的邏輯結(jié)構(gòu)，并逐步構(gòu)建解決方案。而 Llama 模型則更側(cè)重于通用語言任務(wù)，這可能導(dǎo)致其在處理復(fù)雜推理鏈條時(shí)出現(xiàn)困難，從而影響輸出內(nèi)容的連貫性和合理性。

以數(shù)學(xué)問題求解為例，Qwen 模型在處理涉及多步邏輯推理的問題時(shí)，能夠逐步推導(dǎo)出正確的解決方案，而 Llama 模型可能會在中間步驟中丟失關(guān)鍵信息，導(dǎo)致最終答案錯誤。這種差異可能源于 Qwen 模型在預(yù)訓(xùn)練階段對數(shù)學(xué)推理任務(wù)的特殊優(yōu)化，使其在 RL 訓(xùn)練中能夠更好地適應(yīng)和利用相關(guān)數(shù)據(jù)。

從下圖可以直觀地看到 Llama-3.2-3B 和 Qwen2.5-3B 在 RL 訓(xùn)練過程中的表現(xiàn)差異。Llama 模型的平均回答長度異常增加，而 Qwen 模型的長度則合理增長。這表明 Qwen 模型在推理過程中能夠更好地控制輸出長度，保持答案的連貫性和合理性。

Llama-3.2-3B 和 Qwen2.5-3B 的訓(xùn)練動態(tài)對比，包括下游任務(wù)性能和正確回答的平均長度

中期訓(xùn)練的關(guān)鍵因素深度探索

?? 什么是中期訓(xùn)練？

中期訓(xùn)練是一種介于預(yù)訓(xùn)練和微調(diào)之間的訓(xùn)練階段，其計(jì)算和數(shù)據(jù)（token）需求介于兩者之間。它旨在通過顯著改變數(shù)據(jù)質(zhì)量和分布（和/或修改模型架構(gòu)以提高推理效率）來實(shí)現(xiàn)特定目標(biāo)，例如領(lǐng)域和語言擴(kuò)展、長文本上下文擴(kuò)展、提升數(shù)據(jù)質(zhì)量、利用大規(guī)模合成數(shù)據(jù)以及為微調(diào)做準(zhǔn)備等。

數(shù)學(xué)語料庫的數(shù)據(jù)質(zhì)量

在中期訓(xùn)練中，使用高質(zhì)量的數(shù)學(xué)語料庫是提升模型性能的關(guān)鍵。MegaMath-Web-Pro 等優(yōu)質(zhì)語料庫在數(shù)據(jù)分布和內(nèi)容深度上明顯優(yōu)于 FineMath-4plus。

在50億token的預(yù)訓(xùn)練預(yù)算下，按照其年度數(shù)據(jù)更新對比設(shè)置，對快速文本召回語料庫（未經(jīng)過大語言模型優(yōu)化）與MegaMath-Web進(jìn)行了對比，并展示了相應(yīng)的召回閾值

為了確保數(shù)據(jù)質(zhì)量，研究者對語料庫進(jìn)行了嚴(yán)格的篩選，包括數(shù)據(jù)的相關(guān)性、準(zhǔn)確性和邏輯性評估。預(yù)處理步驟涉及數(shù)據(jù)清洗、格式統(tǒng)一等操作，以確保數(shù)據(jù)的一致性和可用性。

例如，在對 MegaMath-Web-Pro 進(jìn)行預(yù)處理時(shí)，研究者首先對數(shù)據(jù)進(jìn)行了清洗，去除了重復(fù)和低質(zhì)量的內(nèi)容。然后對文本進(jìn)行了格式化處理，確保每條數(shù)據(jù)都包含清晰的問題描述和解答過程。這種嚴(yán)格的數(shù)據(jù)預(yù)處理流程為模型訓(xùn)練提供了堅(jiān)實(shí)的基礎(chǔ)。具體來說，MegaMath-Web-Pro 語料庫中的問題描述詳細(xì)且準(zhǔn)確，解答過程邏輯清晰，有助于模型學(xué)習(xí)到有效的推理模式。而 FineMath-4plus 語料庫中的內(nèi)容可能存在較多噪聲和不完整的推理步驟，導(dǎo)致模型在學(xué)習(xí)過程中難以形成有效的推理能力。

下圖展示了不同數(shù)學(xué)網(wǎng)絡(luò)語料庫在中期訓(xùn)練中的效果。可以看出，MegaMath-Web-Pro 和 MegaMath-Web-Pro-Max 在提升模型性能方面表現(xiàn)優(yōu)于 FineMath-4plus，這進(jìn)一步證明了高質(zhì)量語料庫的重要性。

不同數(shù)學(xué)網(wǎng)絡(luò)語料庫在中期訓(xùn)練中的效果

QA 格式數(shù)據(jù)的引入與優(yōu)化

在中期訓(xùn)練中引入不同類型的 QA 數(shù)據(jù)（如長鏈?zhǔn)剿伎肌⒍替準(zhǔn)剿伎际纠┠軌蛴行嵘Ｐ偷耐评砟芰ΑｉL CoT 數(shù)據(jù)雖然能夠增強(qiáng)模型的推理深度，但可能導(dǎo)致模型輸出過于冗長，影響 RL 訓(xùn)練的穩(wěn)定性。短 CoT 數(shù)據(jù)則有助于提升模型的簡潔性和連貫性。通過合理混配長 CoT 和短 CoT 數(shù)據(jù)，并結(jié)合指令數(shù)據(jù)，可以平衡模型的回答質(zhì)量和 RL 訓(xùn)練的穩(wěn)定性。

在實(shí)際操作中，研究者選擇了多種 QA 數(shù)據(jù)集，如 MegaMath-QA 和 Open-R1-Math-220K，并根據(jù)數(shù)據(jù)的特點(diǎn)和任務(wù)需求進(jìn)行了合理的比例分配。例如，在處理長 CoT 數(shù)據(jù)時(shí)，通過設(shè)置最大響應(yīng)長度和優(yōu)化 RL 提示模板，有效避免了模型輸出的冗長問題。具體來說，長 CoT 數(shù)據(jù)中包含多步推理過程，模型在學(xué)習(xí)這些數(shù)據(jù)時(shí)能夠掌握更復(fù)雜的推理邏輯。但為了防止模型在生成答案時(shí)過于冗長，研究者設(shè)置了最大響應(yīng)長度限制，并優(yōu)化了 RL 提示模板，引導(dǎo)模型在保持推理深度的同時(shí)，生成簡潔明了的答案。

下圖展示了引入不同特性的 CoT 數(shù)據(jù)對中期訓(xùn)練基礎(chǔ)模型性能的影響。可以看出，長 CoT 數(shù)據(jù)在提升推理深度方面表現(xiàn)出色，但也可能導(dǎo)致模型輸出冗長。而短 CoT 數(shù)據(jù)則有助于提升模型的簡潔性和連貫性。

引入不同特性的 CoT 數(shù)據(jù)對中期訓(xùn)練基礎(chǔ)模型性能的影響

指令跟隨數(shù)據(jù)的深度挖掘

指令跟隨數(shù)據(jù)的篩選和處理對于提升模型的指令遵循能力至關(guān)重要。研究者從多個高質(zhì)量數(shù)據(jù)集中選取指令跟隨數(shù)據(jù)，包括 TULU3-sft-personas-instruction-following、WildChat 和 UltraChat-200K 等。通過對數(shù)據(jù)來源和質(zhì)量評估標(biāo)準(zhǔn)的嚴(yán)格把控，確保指令數(shù)據(jù)的可靠性和有效性。在不同訓(xùn)練階段和模型尺寸下，指令跟隨數(shù)據(jù)的效果差異顯著。通過合理混配不同類型數(shù)據(jù)，可以優(yōu)化模型性能，使其在處理復(fù)雜指令時(shí)表現(xiàn)出色。

在數(shù)據(jù)篩選過程中，研究者采用了多層次的評估標(biāo)準(zhǔn)，確保選取的數(shù)據(jù)不僅內(nèi)容優(yōu)質(zhì)，且與數(shù)學(xué)推理任務(wù)高度相關(guān)。例如，通過人工標(biāo)注和自動化評估相結(jié)合的方式，對數(shù)據(jù)的準(zhǔn)確性和適用性進(jìn)行了全面評估。具體而言，指令跟隨數(shù)據(jù)中的指令需要清晰、明確，且與數(shù)學(xué)推理任務(wù)緊密相關(guān)。通過這種方式篩選出的數(shù)據(jù)能夠幫助模型更好地理解用戶指令，并在生成答案時(shí)遵循這些指令，從而提高模型在數(shù)學(xué)推理任務(wù)中的表現(xiàn)。

以下兩圖分別展示了在中期訓(xùn)練中引入指令跟隨數(shù)據(jù)對短 CoT 和長 CoT 混合數(shù)據(jù)效果的影響。可以看出，指令跟隨數(shù)據(jù)能夠顯著提升模型的性能，尤其是在處理復(fù)雜指令時(shí)表現(xiàn)出色。

引入指令跟隨數(shù)據(jù)對短 CoT 混合數(shù)據(jù)效果的影響

引入指令跟隨數(shù)據(jù)對長 CoT 混合數(shù)據(jù)效果的影響

中期訓(xùn)練預(yù)算的擴(kuò)展與優(yōu)化

擴(kuò)大中期訓(xùn)練token預(yù)算（如從 20B 到 70B、100B tokens）能夠顯著提升模型性能。在實(shí)驗(yàn)中，研究者詳細(xì)描述了訓(xùn)練步驟，包括數(shù)據(jù)的加載方式、訓(xùn)練批次的劃分和模型的更新頻率等。硬件資源配置方面，采用了高性能計(jì)算設(shè)備，確保訓(xùn)練過程的高效性和穩(wěn)定性。通過優(yōu)化訓(xùn)練流程，合理分配訓(xùn)練預(yù)算，能夠在有限的資源條件下實(shí)現(xiàn)最佳的訓(xùn)練效果，顯著提升模型的推理能力和 RL 訓(xùn)練效果。

下圖展示了擴(kuò)大中期訓(xùn)練預(yù)算對 RL 性能的影響。可以看出，隨著訓(xùn)練預(yù)算的增加，模型性能持續(xù)提升，證明了擴(kuò)展訓(xùn)練預(yù)算的重要性。

擴(kuò)大中期訓(xùn)練預(yù)算對 RL 性能的影響

OctoThinker 模型家族的提出與構(gòu)建

兩階段中期訓(xùn)練策略（Stable-then-Decay）的深度解讀

OctoThinker 模型家族基于兩階段中期訓(xùn)練策略（Stable-then-Decay）構(gòu)建。穩(wěn)定階段的目標(biāo)是通過高質(zhì)量的預(yù)訓(xùn)練語料庫（如 MegaMath-Web-Pro-Max）提升模型的基礎(chǔ)推理能力。采用恒定學(xué)習(xí)率訓(xùn)練 200B tokens，確保模型在大規(guī)模數(shù)據(jù)上逐步提升性能。衰減階段則通過調(diào)整學(xué)習(xí)率和引入不同的數(shù)據(jù)分支（如短 CoT、長 CoT 和混合分支），使模型在特定推理模式上表現(xiàn)出色。這種策略的優(yōu)勢在于既能提升模型的通用推理能力，又能通過數(shù)據(jù)分支優(yōu)化實(shí)現(xiàn)模型行為的多樣化。

在穩(wěn)定階段，初始學(xué)習(xí)率的確定基于對模型參數(shù)規(guī)模和數(shù)據(jù)復(fù)雜度的綜合評估。例如，對于 3B 模型，初始學(xué)習(xí)率設(shè)置為 2e-5，并根據(jù)訓(xùn)練過程中的損失變化進(jìn)行微調(diào)。在衰減階段，學(xué)習(xí)率按照余弦衰減公式逐漸降低，確保模型在訓(xùn)練后期能夠精細(xì)調(diào)整參數(shù)，避免過擬合。

下圖展示了 Llama-3.2-3B-Base、OctoThinker 系列和 Qwen2.5-Base 在 RL 訓(xùn)練中的對比。可以看出，OctoThinker 模型通過兩階段中期訓(xùn)練策略，顯著提升了性能，與 Qwen2.5 模型的性能差距大幅縮小。

Llama-3.2-3B-Base、OctoThinker 系列和 Qwen2.5-Base 在 RL 訓(xùn)練中的對比

OctoThinker 模型的具體構(gòu)建與優(yōu)化

OctoThinker 模型家族的構(gòu)建過程涉及多個關(guān)鍵步驟。模型架構(gòu)的選擇基于對不同架構(gòu)在推理任務(wù)上的性能評估，最終確定了適合數(shù)學(xué)推理的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。訓(xùn)練超參數(shù)的優(yōu)化通過大量的實(shí)驗(yàn)驗(yàn)證，確保模型在不同訓(xùn)練階段都能達(dá)到最佳性能。數(shù)據(jù)集的詳細(xì)構(gòu)成和權(quán)重分配根據(jù)數(shù)據(jù)的質(zhì)量和相關(guān)性進(jìn)行調(diào)整，以最大化模型的訓(xùn)練效果。

在不同模型尺寸（如 1B、3B）上實(shí)現(xiàn)該訓(xùn)練方案時(shí)，研究者根據(jù)模型的性能表現(xiàn)和訓(xùn)練需求進(jìn)行動態(tài)調(diào)整。例如，對于較小的模型，可能需要更精細(xì)的超參數(shù)調(diào)整和更嚴(yán)格的數(shù)據(jù)篩選。訓(xùn)練過程中的監(jiān)控指標(biāo)（如準(zhǔn)確率、損失值）和評估方法（如在驗(yàn)證集上的性能測試）確保了模型訓(xùn)練的穩(wěn)定性和有效性。通過這些措施，OctoThinker 模型在數(shù)學(xué)推理任務(wù)上表現(xiàn)出色，顯著提升了 Llama 模型的 RL 可擴(kuò)展性。

以下三張表分別展示了第一階段的數(shù)據(jù)構(gòu)成和權(quán)重分配、穩(wěn)定階段的超參數(shù)設(shè)置以及衰減階段的超參數(shù)設(shè)置。這些表格詳細(xì)描述了模型訓(xùn)練過程中的關(guān)鍵參數(shù)和數(shù)據(jù)配置，為讀者提供了清晰的訓(xùn)練方案。

第一階段的數(shù)據(jù)構(gòu)成和權(quán)重分配

穩(wěn)定階段的超參數(shù)設(shè)置

衰減階段的超參數(shù)設(shè)置

OctoThinker 模型的評估與分析

不同分支模型在數(shù)學(xué)推理基準(zhǔn)測試上的精細(xì)表現(xiàn)

OctoThinker-Base 系列（包括 Stable、Long、Hybrid、Short 分支）在 13 個數(shù)學(xué)推理基準(zhǔn)測試（如 GSM8K、MATH500、Olympiad Bench、AMC23 等）上的評估結(jié)果顯示，各分支模型在不同任務(wù)上的性能差異顯著。例如，Long 分支在處理復(fù)雜數(shù)學(xué)問題時(shí)表現(xiàn)出更強(qiáng)的推理能力，而 Short 分支則在簡單問題上具有更高的效率。與原始 Llama 基礎(chǔ)模型相比，OctoThinker 模型在所有基準(zhǔn)測試中均表現(xiàn)出顯著的性能提升。穩(wěn)定階段中期訓(xùn)練后的模型進(jìn)一步優(yōu)化了性能，證明了兩階段中期訓(xùn)練策略的有效性。

以下兩圖分別展示了 OctoThinker-1B 系列和 OctoThinker-3B 系列不同分支在 RL 訓(xùn)練中的動態(tài)表現(xiàn)。可以看出，各分支模型在不同任務(wù)上的優(yōu)勢和不足。Long 分支在處理需要多步驟推理的問題時(shí)具有明顯優(yōu)勢，而 Short 分支則更適合單步或少步推理任務(wù)。Hybrid 分支結(jié)合了長 CoT 和短 CoT 數(shù)據(jù)的優(yōu)點(diǎn)，在多種任務(wù)上表現(xiàn)出平衡的性能。

OctoThinker-1B 系列不同分支在 RL 訓(xùn)練中的動態(tài)表現(xiàn)

OctoThinker-3B 系列不同分支在 RL 訓(xùn)練中的動態(tài)表現(xiàn)

RL 訓(xùn)練后的 OctoThinker-Zero 模型家族的深入剖析

對 OctoThinker 基礎(chǔ)模型進(jìn)行強(qiáng)化學(xué)習(xí)訓(xùn)練后得到的 OctoThinker-Zero 模型家族在數(shù)學(xué)推理任務(wù)上表現(xiàn)出卓越性能。不同分支模型（如 OctoThinker-Short-Zero、OctoThinker-Long-Zero、OctoThinker-Hybrid-Zero）在 RL 訓(xùn)練過程中的動態(tài)變化顯著。Long 分支在訓(xùn)練后期逐漸展現(xiàn)出更強(qiáng)的推理能力，而 Short 分支則在早期階段表現(xiàn)出較高的效率。各分支模型在不同應(yīng)用場景下的適用性和優(yōu)勢不同，例如 Long 分支適合處理復(fù)雜的數(shù)學(xué)競賽問題，而 Short 分支則更適合快速解答簡單問題。

結(jié)合模型的架構(gòu)和訓(xùn)練數(shù)據(jù)特點(diǎn)，可以深入理解各分支模型的表現(xiàn)模式。Long 分支通過長 CoT 數(shù)據(jù)訓(xùn)練，能夠處理復(fù)雜的推理鏈條， suitable for tasks requiring multi-step reasoning。Short 分支則通過短 CoT 數(shù)據(jù)優(yōu)化，提升了單步推理的效率和準(zhǔn)確性。Hybrid 分支通過結(jié)合長 CoT 和短 CoT 數(shù)據(jù)，實(shí)現(xiàn)了在多種任務(wù)上的平衡性能。這些特點(diǎn)使 OctoThinker-Zero 模型家族能夠適應(yīng)不同的數(shù)學(xué)推理需求。

與 Qwen2.5 模型的深度對比分析

對比 OctoThinker 模型（特別是 Long 分支）與 Qwen2.5 模型在 RL 訓(xùn)練過程中的性能表現(xiàn)，可以發(fā)現(xiàn)兩者在模型架構(gòu)、預(yù)訓(xùn)練目標(biāo)和訓(xùn)練數(shù)據(jù)等方面存在顯著差異。Qwen2.5 模型在數(shù)學(xué)推理任務(wù)上表現(xiàn)出色，得益于其專門針對數(shù)學(xué)推理優(yōu)化的預(yù)訓(xùn)練目標(biāo)和數(shù)據(jù)選擇。OctoThinker 模型通過兩階段中期訓(xùn)練策略，在穩(wěn)定階段提升基礎(chǔ)推理能力，在衰減階段通過數(shù)據(jù)分支優(yōu)化實(shí)現(xiàn)模型行為的多樣化。通過具體數(shù)據(jù)和圖表展示，OctoThinker 模型成功縮小了與 Qwen2.5 模型的性能差距，在某些任務(wù)上甚至表現(xiàn)出相近的性能水平。這驗(yàn)證了中期訓(xùn)練策略的有效性，證明了 OctoThinker 模型在提升 Llama 模型 RL 可擴(kuò)展性方面的潛力。

下圖進(jìn)一步展示了 OctoThinker 模型與 Qwen2.5 模型在 RL 訓(xùn)練中的對比。可以看出，OctoThinker-Long 分支在多個基準(zhǔn)測試中的性能接近 Qwen2.5 模型，證明了中期訓(xùn)練策略的有效性。

OctoThinker 模型與 Qwen2.5 模型在 RL 訓(xùn)練中的對比

總結(jié)

通過系統(tǒng)探索中期訓(xùn)練策略，OctoThinker 成功提升了 Llama 模型的強(qiáng)化學(xué)習(xí)（RL）可擴(kuò)展性，揭示了高質(zhì)量、推理密集型語料庫（如 MegaMath-Web-Pro）對模型性能提升的關(guān)鍵作用。兩階段中期訓(xùn)練策略（Stable-then-Decay）有效增強(qiáng)了 Llama 模型的推理能力，使其在數(shù)學(xué)推理任務(wù)上表現(xiàn)出色。OctoThinker 模型家族在多個數(shù)學(xué)推理基準(zhǔn)測試中展現(xiàn)了卓越的性能，顯著縮小了與 Qwen2.5 等 RL 友好型模型家族的性能差距。

從模型性能、訓(xùn)練效率和可擴(kuò)展性等多個維度綜合評估，OctoThinker 模型憑借高質(zhì)量數(shù)據(jù)、合理訓(xùn)練策略和精心模型優(yōu)化的深度融合，展現(xiàn)了顯著的優(yōu)勢和價(jià)值。這一研究成果不僅為 Llama 模型的持續(xù)發(fā)展指明了新的方向，更為大型語言模型在推理任務(wù)上的整體進(jìn)步展示了堅(jiān)實(shí)的理論與實(shí)踐基礎(chǔ)。

基于當(dāng)前的成果與局限性，有幾個關(guān)鍵探索方向值得深入挖掘：

1. 數(shù)學(xué)語料庫的持續(xù)優(yōu)化：改進(jìn)數(shù)據(jù)收集、篩選和預(yù)處理流程，進(jìn)一步提升語料庫質(zhì)量與多樣性。例如，拓展領(lǐng)域特定的數(shù)學(xué)數(shù)據(jù)來源，或開發(fā)更高效的自動篩選工具，確保語料庫覆蓋更廣泛的數(shù)學(xué)知識點(diǎn)和推理模式。

2. RL 友好型基礎(chǔ)模型的設(shè)計(jì)：探索無需從強(qiáng)大長 CoT 推理模型蒸餾的 RL 友好型基礎(chǔ)模型設(shè)計(jì)方法，可能涉及改進(jìn)模型架構(gòu)（如引入更高效的注意力機(jī)制）或優(yōu)化訓(xùn)練目標(biāo)（如設(shè)計(jì)更適合推理任務(wù)的損失函數(shù)）。

3. QA 格式與內(nèi)容的獨(dú)立貢獻(xiàn)研究：通過針對性實(shí)驗(yàn)設(shè)計(jì)，深入剖析 QA 數(shù)據(jù)格式和內(nèi)容對模型性能的獨(dú)立影響，以更精準(zhǔn)地優(yōu)化數(shù)據(jù)選擇和訓(xùn)練策略，進(jìn)一步提升模型推理能力。

4. OctoThinker 家族功能與應(yīng)用場景的拓展：探索引入工具集成、多模態(tài)推理等功能，使 OctoThinker 模型適應(yīng)更多應(yīng)用場景。例如，結(jié)合圖表理解能力，提升模型在可視化數(shù)學(xué)問題上的推理表現(xiàn)。

這些探索方向?qū)榇笮驼Z言模型在推理任務(wù)上的進(jìn)一步發(fā)展注入新的活力，提供創(chuàng)新的思路與方法。至此，如果大家對OctoThinker有興趣，可以從參考資料處查看它的模型家族權(quán)重，以及Github開源倉庫。