8卡32B模型超越o1預(yù)覽版、DeepSeek V3，普林斯頓、北大提出層次化RL推理新范式
一、引言
推理大語(yǔ)言模型（LLM），如 OpenAI 的 o1 系列、Google 的 Gemini、DeepSeek 和 Qwen-QwQ 等，通過(guò)模擬人類推理過(guò)程，在多個(gè)專業(yè)領(lǐng)域已超越人類專家，并通過(guò)延長(zhǎng)推理時(shí)間提高準(zhǔn)確性。推理模型的核心技術(shù)包括強(qiáng)化學(xué)習(xí)（Reinforcement Learning）和推理規(guī)模（Inference scaling）。
主流的大模型強(qiáng)化學(xué)習(xí)算法，如 DPO、PPO、GRPO 等，通常需要在完整的思維鏈上進(jìn)行微調(diào)，需要高質(zhì)量數(shù)據(jù)、精確的獎(jiǎng)勵(lì)函數(shù)、快速反饋和在線迭代、以及大量的算力。當(dāng)處理復(fù)雜任務(wù)，如高級(jí)數(shù)學(xué)和編程問(wèn)題時(shí)，模型需要更細(xì)粒度的搜索、更精確的推理步驟和更長(zhǎng)的思維鏈，導(dǎo)致?tīng)顟B(tài)空間和策略空間的規(guī)模急劇擴(kuò)大，難度大幅上升。
Inference scaling 策略，不依賴訓(xùn)練，通過(guò)延長(zhǎng)推理時(shí)間進(jìn)一步提高模型的 Reasoning 能力。常見(jiàn)方法，如 Best-of-N 或者蒙特卡洛樹(shù)搜索（MCTS），允許 LLM 同時(shí)探索多條推理路徑，擴(kuò)大搜索空間，朝著更有希望的方向前進(jìn)。這些方法計(jì)算成本高，特別是步驟多或搜索空間大的時(shí)候。采樣隨機(jī)性使得確定最佳路徑困難，且依賴手動(dòng)設(shè)計(jì)的搜索策略和獎(jiǎng)勵(lì)函數(shù)，限制了泛化能力。
在此背景下，普林斯頓大學(xué)團(tuán)隊(duì)聯(lián)合北京大學(xué)團(tuán)隊(duì)合作開(kāi)發(fā)了名為 ReasonFlux 的多層次（Hierarchical）LLM 推理框架。
- 文章鏈接：https://arxiv.org/abs/2502.06772
- 開(kāi)源地址：https://github.com/Gen-Verse/ReasonFlux
（該論文作者特別聲明：本工作沒(méi)有蒸餾或用任何方式使用 DeepSeek R1。）
基于層次化強(qiáng)化學(xué)習(xí)（Hierachical Reinforcement Learning）思想，ReasonFlux 提出了一種更高效且通用的大模型推理范式，它具有以下特點(diǎn)：
- 思維模版：ReasonFlux 的核心在于結(jié)構(gòu)化的思維模板，每個(gè)模版抽象了一個(gè)數(shù)學(xué)知識(shí)點(diǎn)和解題技巧。僅用 500 個(gè)通用的思維模板庫(kù)，就可解決各類數(shù)學(xué)難題。
- 層次化推理和強(qiáng)可解釋性：ReasonFlux 利用層次化推理（Hierarchical Reasoning）將思維模板組合成思維軌跡（Thought Template Trajectory）、再實(shí)例化得到完整回答。模型的推理過(guò)程不再是 “黑盒”，而是清晰的展現(xiàn)了推理步驟和依據(jù)，這為 LLM 的可解釋性研究提供了新的工具和視角，也為模型的調(diào)試和優(yōu)化提供了便利。與 DeepSeek-R1 和 OpenAI-o1 等模型的推理方式不同，ReasonFlux 大大壓縮并凝練了推理的搜索空間，提高了強(qiáng)化學(xué)習(xí)的泛化能力，提高了 inference scaling 的效率。
- 輕量級(jí)系統(tǒng)：ReasonFlux 僅 32B 參數(shù)，強(qiáng)化訓(xùn)練只用了 8 塊 NVIDIA A100-PCIE-80GB GPU。它能通過(guò)自動(dòng)擴(kuò)展思維模板來(lái)提升推理能力，更高效靈活。
ReasonFlux-32B 在多個(gè)數(shù)學(xué)推理基準(zhǔn)測(cè)試中表現(xiàn)出色，僅僅用了 500 個(gè)基于不同數(shù)學(xué)知識(shí)點(diǎn)的思維模版，就展現(xiàn)了其強(qiáng)大的推理能力和躋身第一梯隊(duì)的實(shí)力。
二、ReasonFlux
三大關(guān)鍵技術(shù)構(gòu)建大模型推理新框架
ReasonFlux 的性能提升得益于其三大核心技術(shù)：
- 結(jié)構(gòu)化的思維模板抽?。?/strong>ReasonFlux 利用大語(yǔ)言模型從以往的數(shù)學(xué)問(wèn)題中提取了一個(gè)包含大約 500 個(gè)結(jié)構(gòu)化思維模板的知識(shí)庫(kù)。每個(gè)模板都包含標(biāo)簽、描述、適用范圍、應(yīng)用步驟等信息，這些信息經(jīng)過(guò)組織和結(jié)構(gòu)化處理，為 LLM 的推理提供了元知識(shí)參考。這些模板覆蓋了多種數(shù)學(xué)問(wèn)題類型和解題方法，如不等式求解、三角函數(shù)變換、極值定理等，是 ReasonFlux 進(jìn)行推理的基礎(chǔ)。
- 多層次強(qiáng)化學(xué)習(xí)（Hierarchical RL）—選擇最優(yōu)的 Thought Template Trajectory：該算法通過(guò) Hierarchical Reinforcement Learning 訓(xùn)練一個(gè) High-level 的 navigator，使其能夠?qū)斎雴?wèn)題進(jìn)行拆解，轉(zhuǎn)而求解多個(gè)更簡(jiǎn)單的子問(wèn)題，根據(jù)子問(wèn)題類型從模板庫(kù)中檢索相關(guān)的思維模板，并規(guī)劃出最優(yōu)的 Thought Template Trajectory。它可以看作是解決問(wèn)題的 “路線圖”，它由一系列的模板組合而成。這種基于 Hierarchical RL 的優(yōu)化算法通過(guò)獎(jiǎng)勵(lì)在相似問(wèn)題上的泛化能力，提升了推理軌跡的魯棒性和有效性，使得 ReasonFlux 能夠舉一反三，為各種數(shù)學(xué)問(wèn)題生成有效的思維模板軌跡。
- 新型 Inference Scaling 系統(tǒng)：該系統(tǒng)實(shí)現(xiàn)了結(jié)構(gòu)化模板庫(kù)和 inference LLM 之間的多輪交互?！癗avigator” 負(fù)責(zé)規(guī)劃模板軌跡和檢索模板，inference LLM 負(fù)責(zé)將模板實(shí)例化為具體的推理步驟，并通過(guò)分析中間結(jié)果來(lái)動(dòng)態(tài)調(diào)整軌跡，實(shí)現(xiàn)高效的推理過(guò)程。這種交互機(jī)制使得 ReasonFlux 能夠根據(jù)問(wèn)題的具體情況靈活調(diào)整推理策略，從而提高推理的準(zhǔn)確性和效率。
（a）推理示例對(duì)比
接下來(lái)我們來(lái)分析 ReasonFlux 在解決實(shí)際問(wèn)題上相較于 o1-mini 的對(duì)比。
我們來(lái)看和 o1-mini 的對(duì)比：
如上圖可知，o1-mini 在面對(duì)這道難題時(shí)，嘗試了多種策略，但均未能找到有效的突破口。它首先試圖通過(guò)引入新變量和利用對(duì)稱性來(lái)簡(jiǎn)化方程組，但收效甚微；接著又嘗試假設(shè)變量相等來(lái)尋找特解，結(jié)果卻得出了矛盾；隨后，它試圖用一個(gè)變量表示其他變量，并嘗試平方去根號(hào)，但復(fù)雜的表達(dá)式使其望而卻步；最后，它甚至想到了三角換元，但由于未能正確應(yīng)用，最終只能無(wú)奈地放棄求解。
相比之下，ReasonFlux 的解題過(guò)程如下：
- 分析與規(guī)劃：ReasonFlux 首先對(duì)題目進(jìn)行分析，確定了解題的主要步驟：初步確定 k 值的范圍、利用三角換元、化簡(jiǎn)方程組、求解 θ、計(jì)算目標(biāo)值。這一步反映了 ReasonFlux 的問(wèn)題分析和規(guī)劃能力，為后續(xù)解題過(guò)程提供了基礎(chǔ)。
- 模板化推理：ReasonFlux 隨后依次應(yīng)用了 “三角換元”、“化簡(jiǎn)方程組”、“求解 θ” 等模板，將復(fù)雜的方程組逐步簡(jiǎn)化，并最終求解出 θ 的值。每一步都依據(jù)模板的指導(dǎo)，旨在保證解題過(guò)程的準(zhǔn)確性。
- 逐步推導(dǎo)：ReasonFlux 根據(jù)求得的角度值，計(jì)算出 (x, y, z) 的值，并最終計(jì)算出目標(biāo)值
，從而得到 (m=1, n=32, m+n=33)。整個(gè)過(guò)程邏輯清晰，步驟明確，展示了 ReasonFlux 的規(guī)劃和推理能力。
圖片
(b) 新的 inference scaling law
如上圖所示，隨著問(wèn)題復(fù)雜度的增加，ReasonFlux 正確解答問(wèn)題時(shí)所需的模板數(shù)量和交互輪數(shù)也相應(yīng)增加。這表明 ReasonFlux 能夠根據(jù)問(wèn)題的難度動(dòng)態(tài)調(diào)整推理策略，體現(xiàn)了其優(yōu)秀的自適應(yīng)能力。并且可以觀察到，交互輪數(shù)的增長(zhǎng)趨勢(shì)略高于模板數(shù)量，這意味著規(guī)劃能力的提升對(duì)解決復(fù)雜問(wèn)題至關(guān)重要。
三、主流推理范式對(duì)比
ReasonFlux vs Best-of-N & MCTS
目前，提升 LLM 推理性能的主流方法通常依賴于增加模型規(guī)模和計(jì)算資源。例如，增加模型參數(shù)量、采用 Best-of-N 或蒙特卡洛樹(shù)搜索 (MCTS) 等方法來(lái)擴(kuò)大搜索空間以尋找更優(yōu)解。然而，這些方法往往計(jì)算成本較高，且模型的推理過(guò)程難以解釋。
ReasonFlux 采用了一種不同的方法，通過(guò)構(gòu)建結(jié)構(gòu)化的思維模板庫(kù)和設(shè)計(jì)新的層次化強(qiáng)化學(xué)習(xí)算法，實(shí)現(xiàn)了一種更高效和可解釋的推理方式。
傳統(tǒng)的 Inference Scaling 方法，如 Best-of-N 和 MCTS，主要通過(guò)擴(kuò)大搜索空間來(lái)提高準(zhǔn)確率。但隨著問(wèn)題復(fù)雜度的增加，搜索空間呈指數(shù)級(jí)增長(zhǎng)，導(dǎo)致計(jì)算成本顯著上升。
在 ReasonFlux 的推理過(guò)程中，Navigator 與 Inference LLM 之間存在多輪交互。Inference LLM 根據(jù) Navigator 給出的模板軌跡執(zhí)行推理步驟后，Navigator 會(huì)對(duì)執(zhí)行結(jié)果進(jìn)行評(píng)估
。如公式
所示，根據(jù)評(píng)估結(jié)果，Navigator 會(huì)動(dòng)態(tài)調(diào)整模板軌跡
，例如修改當(dāng)前步驟的模板、添加或刪除步驟等。這種迭代優(yōu)化的機(jī)制使得 ReasonFlux 能夠根據(jù)問(wèn)題的具體情況靈活調(diào)整推理策略，從而提高推理的準(zhǔn)確性和效率。
ReasonFlux 通過(guò)引入結(jié)構(gòu)化的思維模板，將搜索空間從 “原始解空間” 縮小到 “模板空間”，從而降低了搜索的難度和成本。
如果說(shuō)傳統(tǒng)的推理范式是 “大海撈針”，那么 ReasonFlux 則是 “按圖索驥”。這些模板并非簡(jiǎn)單的規(guī)則堆砌，而是經(jīng)過(guò)提煉和結(jié)構(gòu)化處理的知識(shí)模板，它們將復(fù)雜的推理過(guò)程分解為一系列可復(fù)用的步驟，從而提升了推理的效率和準(zhǔn)確率。
圖片
如上圖所示，隨著問(wèn)題難度的提升，Best-of-N 和 MCTS 的探索成本（例如采樣軌跡數(shù)量和迭代次數(shù)）顯著增加，而 ReasonFlux 的探索成本（交互輪數(shù)）則保持在較低水平且相對(duì)穩(wěn)定。這說(shuō)明 ReasonFlux 能夠更高效地利用已有的知識(shí)模板來(lái)解決問(wèn)題，而不需要像 Best-of-N 和 MCTS 那樣進(jìn)行大量的試錯(cuò)和探索。這得益于 ReasonFlux 的結(jié)構(gòu)化模板庫(kù)和模板軌跡規(guī)劃?rùn)C(jī)制，使其能夠在更小的搜索空間內(nèi)找到正確的推理路徑。
四、訓(xùn)練及推理框架介紹
下圖展示了 ReasonFlux 的訓(xùn)練框架，其核心在于利用結(jié)構(gòu)化的思維模板庫(kù)和基于思維模板軌跡獎(jiǎng)勵(lì)的層次化強(qiáng)化學(xué)習(xí)算法，訓(xùn)練出一個(gè)能夠進(jìn)行高效推理的大模型。整個(gè)訓(xùn)練過(guò)程可以分為兩個(gè)主要階段：結(jié)構(gòu)化知識(shí)學(xué)習(xí)和思維模板軌跡優(yōu)化。
1. 結(jié)構(gòu)化知識(shí)學(xué)習(xí)階段：這個(gè)階段的目標(biāo)是讓模型學(xué)習(xí)思維模板庫(kù)中蘊(yùn)含的結(jié)構(gòu)化知識(shí)。這些結(jié)構(gòu)化的 Thought template 格式如下圖所示：
然后，我們利用這些結(jié)構(gòu)化模板數(shù)據(jù)
對(duì)一個(gè)基礎(chǔ) LLM 進(jìn)行微調(diào)，得到模型
。訓(xùn)練的目標(biāo)是讓模型能夠根據(jù)模板的名稱和標(biāo)簽，生成對(duì)應(yīng)的描述和適用范圍 。通過(guò)這個(gè)階段的訓(xùn)練，模型學(xué)習(xí)到了模板庫(kù)中蘊(yùn)含的豐富知識(shí)，并具備了初步的模板理解和應(yīng)用能力。
2. 模板軌跡優(yōu)化階段：這個(gè)階段的目標(biāo)是訓(xùn)練模型生成有效的模板軌跡，即針對(duì)特定問(wèn)題，選擇合適的模板并進(jìn)行排序，形成解決問(wèn)題的 “路線圖”。我們利用新穎的基于 Thought Template Trajectory 的 Hierarchical RL 算法來(lái)實(shí)現(xiàn)這一目標(biāo)。在這個(gè)階段，我們使用 
模型針對(duì)輸入問(wèn)題 
生成多個(gè)候選的 high-level 思維模板軌跡
。每個(gè)軌跡由一系列步驟 
組成，每個(gè)步驟都關(guān)聯(lián)到一個(gè)特定的模板。為了評(píng)估軌跡的質(zhì)量，我們構(gòu)建了一組與輸入問(wèn)題 
相似的問(wèn)題集
。然后，我們利用 inference LLM 
根據(jù)模板軌跡對(duì)這些相似問(wèn)題進(jìn)行具體的解答，并計(jì)算平均準(zhǔn)確率作為軌跡的獎(jiǎng)勵(lì)
?；谶@個(gè)獎(jiǎng)勵(lì)信號(hào)，我們構(gòu)建了優(yōu)化樣本對(duì)
，其中
。然后，我們利用這些樣本對(duì)，通過(guò) DPO 對(duì) 
進(jìn)行進(jìn)一步優(yōu)化，得到最終的 navigator 模型
，也就是我們的 ReasonFlux 模型。
通過(guò)這兩個(gè)階段的訓(xùn)練，ReasonFlux 模型不僅學(xué)習(xí)到了結(jié)構(gòu)化的模板知識(shí)，還學(xué)會(huì)了如何針對(duì)特定問(wèn)題選擇和組合模板，形成有效的推理路徑。這種能力使得 ReasonFlux 能夠高效地解決各種復(fù)雜的數(shù)學(xué)推理問(wèn)題。
下圖是 ReasonFlux 的推理框架。其核心在于 navigator、inference LLM 和結(jié)構(gòu)化模板庫(kù)之間的多輪交互。這種交互機(jī)制使得 ReasonFlux 能夠根據(jù)問(wèn)題的具體情況靈活調(diào)整推理策略，從而提高推理的準(zhǔn)確性和效率。
以下是 ReasonFlux 的推理流程：
通過(guò)這種 navigator 引導(dǎo)、inference LLM 執(zhí)行、模板庫(kù)支持、動(dòng)態(tài)調(diào)整軌跡的多輪交互機(jī)制，ReasonFlux 能夠高效地解決各種復(fù)雜的數(shù)學(xué)推理問(wèn)題。這種推理框架不僅提高了推理的準(zhǔn)確性和效率，還增強(qiáng)了模型的可解釋性，因?yàn)槲覀兛梢郧逦刈粉櫮Ｐ偷耐评磉^(guò)程和依據(jù)。
五、數(shù)學(xué)推理數(shù)據(jù)集上的表現(xiàn)
小模型媲美大模型，展現(xiàn)未來(lái)應(yīng)用潛力
ReasonFlux 在 MATH、AIME 2024、AMC 2023、OlympiadBench 和 Gaokao En 2023 等多個(gè)具有挑戰(zhàn)性的數(shù)學(xué)推理數(shù)據(jù)集上進(jìn)行了測(cè)試，并取得了良好的結(jié)果。
ReasonFlux-32B 在這些數(shù)據(jù)集上的表現(xiàn)處于前列，與其他先進(jìn)模型相比具有競(jìng)爭(zhēng)力。如下表所示，在 MATH 數(shù)據(jù)集上，ReasonFlux-32B 的準(zhǔn)確率為 91.2%；在 AIME 2024 數(shù)據(jù)集上，ReasonFlux-32B 的準(zhǔn)確率為 56.7%。這些結(jié)果表明 ReasonFlux 框架具有有效性。更重要的是，它表明較小規(guī)模的模型通過(guò)優(yōu)化推理框架，可以達(dá)到甚至在某些情況下超越較大模型的性能。
ReasonFlux 還可用于不同大?。?.5B, 7B 和 32B）的基礎(chǔ)模型，并且都能獲得巨幅的推理效果提升，足見(jiàn)其通用性和泛化性。
ReasonFlux 的成功不僅限于數(shù)學(xué)推理領(lǐng)域，其背后的核心思想 —— 結(jié)構(gòu)化思維模板和模板軌跡 —— 具有廣泛的應(yīng)用潛力。未來(lái)，ReasonFlux 有潛力被應(yīng)用于更多領(lǐng)域，如代碼生成，醫(yī)療診斷，具身智能等多個(gè)領(lǐng)域。
六、作者介紹
楊靈：北大在讀博士，普林斯頓高級(jí)研究助理，研究領(lǐng)域?yàn)榇笳Z(yǔ)言模型和擴(kuò)散模型。
余昭辰：新加坡國(guó)立大學(xué)在讀碩士，北京大學(xué) PKU-DAIR 實(shí)驗(yàn)室科研助理，研究領(lǐng)域?yàn)榇笳Z(yǔ)言模型和擴(kuò)散模型。
崔斌教授：崔斌現(xiàn)為北京大學(xué)計(jì)算機(jī)學(xué)院博雅特聘教授、博士生導(dǎo)師，擔(dān)任計(jì)算機(jī)學(xué)院副院長(zhǎng)、數(shù)據(jù)科學(xué)與工程研究所所長(zhǎng)。他的研究方向包括數(shù)據(jù)庫(kù)系統(tǒng)、大數(shù)據(jù)管理與分析、機(jī)器學(xué)習(xí) / 深度學(xué)習(xí)系統(tǒng)等。
王夢(mèng)迪教授：王夢(mèng)迪現(xiàn)任普林斯頓大學(xué)電子與計(jì)算機(jī)工程系終身教授，并創(chuàng)立并擔(dān)任普林斯頓大學(xué) “AI for Accelerated Invention” 中心的首任主任。她的研究領(lǐng)域涵蓋強(qiáng)化學(xué)習(xí)、可控大模型、優(yōu)化學(xué)習(xí)理論以及 AI for Science 等多個(gè)方向。
本文轉(zhuǎn)載自??機(jī)器之心??
