譯者 | 李睿

審校 | 重樓

針對提升LLM推理能力面臨的挑戰，斯坦福大學研究人員提出了“思考、修剪、訓練”（TPT）框架，讓LLM利用自生成且驗證正確的數據迭代優化。研究表明，無需強化學習、大型數據集或外部教師模型，TPT可以使較小模型推理性能媲美甚至超越大模型，凸顯了TPT框架在提升模型推理能力和準確性的潛力。

目前，缺乏高質量的訓練數據仍然是提高大型語言模型（LLM）推理能力的主要障礙之一。

斯坦福大學研究人員最近進行的一項研究探索了一個頗具吸引力的替代方案：LLM能否通過學習自己生成的推理痕跡來提高推理能力？他們提出了“思考、修剪、訓練”（TPT）框架，允許LLM使用精心選擇的自生成數據迭代地改進它們的推理能力。

這種方法可能是朝著創造更智能、更高效的人工智能模型邁出的一步，而不是簡單地構建更大的模型和數據集。

提升人工智能推理能力面臨的挑戰

在LLM進行初始訓練之后，提升其推理能力目前主要有兩種策略。一種方法是“監督微調”（SFT），即LLM從精心整理的問題數據集及其逐步解決方案中學習。另一種流行的方法是“蒸餾”，即一個規模較小的LLM通過模仿一個能力更強、規模更大的“教師”模型的輸出進行學習。

而這兩種方法都有局限性。SFT需要大量高質量的推理示例數據集，創建這些數據集通常成本昂貴又耗時。另一方面，“蒸餾”完全依賴于獲得強大的、通常是專有的“教師”模型。

這就提出了一個令人信服的問題：LLM能否通過對自己生成的數據進行遞歸微調來改進？早期的嘗試面臨著一個被稱為“模式崩潰”（Mode Collapse）的重大障礙。當LLM在未經過濾的輸出上迭代訓練時，它們的性能往往會隨著時間的推移而下降，可能會開始產生幻覺，忘記以前學到的知識，并生成質量較低的文本，從而陷入惡性循環。

在迭代訓練中，一個相關但不同的風險是“模式崩潰”。當一個模型開始收斂于一組狹窄的高概率輸出時，就會發生這種情況，其響應變得不那么多樣化和具有探索性。雖然之前關于模式崩潰的研究主要集中于沒有明確正確或錯誤答案的一般文本生成上，但對于可以驗證正確性的推理任務進行遞歸微調，則帶來了模式崩潰的可能性，即模型局限于非常具體的答案，失去了探索替代推理路徑的能力。

思考、修剪、訓練（TPT）框架

斯坦福大學研究人員希望探究，在不采用其他方法帶來的復雜性的情況下，模型推理能力的自我提升是否可行。盡管此前許多研究將自我提升視為強化學習（RL）問題，但TPT采取了更為直接的路徑。

它采用標準的SFT，但有一個關鍵轉折：模型僅在經過驗證的正確推理嘗試中進行微調。研究人員探索了是否可以通過仔細選擇這種自生成的數據來實現有效的迭代細化。

以下是思考、修剪、訓練（TPT）框架的工作原理：

• 思考（Think）：提示當前版本的模型為一組問題生成逐步解決方案（推理痕跡或“思維鏈”）。
• 修剪（Prune）：這是一種過濾解決方案，通過檢查已知的基本事實答案，只保留那些明顯正確的解決方案。這種基于正確性的修剪是避免早期遞歸訓練嘗試中出現的模式崩潰的關鍵。
• 訓練（Train）：使用SFT在其自身經過驗證的正確推理軌跡集上對模型進行微調。

然后重復這個循環，新改進的模型為下一輪TPT生成數據。

圖1 思考、修剪、訓練（TPT）框架的工作原理

至關重要的是，與DeepSeek-R1或LLaMA 3.1的后訓練（Post-training）等模型中使用的基于強化學習（RL）的方法不同，TPT只關注這種遞歸的、基于正確性的SFT。它表明，不需要強化學習、學習獎勵函數或外部“教師”模型，而是依靠結構化提示和基礎事實驗證，就可以實現自我完善。

為了嚴格測試這些改進是否來自真正的自我完善，而不僅僅是接觸更多的數據，研究人員仔細設計了實驗。在每一輪TPT中，他們保持訓練數據集大小不變，每個問題只使用一個唯一的正確解決方案。

此外，他們并沒有在各輪TPT流程中積累數據，而是采用最新模型版本中新生成的解決方案取代了訓練集。這確保了任何性能提升都真正歸功于迭代改進過程。

正如斯坦福大學研究人員在論文所指出的那樣，“研究表明，在嚴格的數據約束下，迭代微調可以帶來有意義的收益，這表明模型改進不僅僅是數據集的擴展。”

讓更小的模型發揮更大的作用

研究人員在谷歌公司的Gemma模型（gemma2-2b-it, gemma2-9b-it）和Meta公司的Llama模型（Llama-3.1-1B-Instruct, Llama-3.1-70B-Instruc）的指令調優版本上測試了TPT，主要在GSM8K數學單詞問題基準和CodeContests編程挑戰數據集上對它們進行了評估。

其結果令人矚目。通過TPT流程，相對較小的模型實現了與更大的模型相當甚至更優的推理性能。例如，在GSM8K上，Gemma2-2B模型的準確率（Pass@1，意味著首次嘗試就獲得正確結果）從41.9%躍升至57.6%。Gemma2-9B模型超過了規模更大的LLaMA-3.1-70B-Instruct的基準性能。相應地，使用TPT的LLaMA-3.1-70B將Pass@1分數從78.6%提升至91.5%，甚至超過了當時GPT-4o在該基準上的報告得分。

有趣的是，這些模型性能提升的速度各不相同。規模較小的Gemma-2-2B模型的性能需要四輪TPT才能達到峰值，而中等規模的Gemma-2-9B模型在三輪TPT內提升更快。大型LLaMA-70B模型的性能僅在一輪TPT之后就得到顯著提升，這表明較大模型可能更快地整合了自生成推理的學習內容。

圖2 Gemma2-2B模型和Gemma2-9B模型在四輪TPT中的性能表現

研究人員還研究了模式崩潰的可能性。雖然模型在第一次嘗試（Pass@1）時的準確性不斷提高，但它們在多次嘗試（通過Pass@20或Pass@50測量）中生成多種正確答案的能力在第一輪TPT之后趨于平穩。這表明，TPT流程確實引導這些模型優先考慮高可信度、正確的解決方案，而不是探索不同的推理路徑。然而，研究人員認為，這并不一定對數學和編程等任務有害，在這些任務中，正確性和效率往往是最重要的。通過將模型集中在經過驗證的推理上，TPT甚至可以幫助減少幻覺，并提高對準確性敏感的應用程序的可靠性。

“思考、修剪、訓練”（TPT）框架有力地論證了大型語言模型（LLM）能夠進行自我訓練成為更優秀的推理者。正如研究人員在論文中所寫的那樣，“結構化推理提示、基于正確性的修剪，以及對經過驗證的解決方案的監督微調，可以在沒有外部監督的情況下實現推理能力的自我提升，凸顯了簡化框架在LLM推理和準確性方面進一步發展的潛力。”

原文標題：Can LLMs learn to reason without RL or large datasets?，作者：Ben Dickson