大模型推理能力研究中，可驗證獎勵的強化學習（RL with Verifiable Rewards, 簡稱 RLVR）技術頻頻突破，尤其是“一題強化學習”（RL on One Example）在多個任務中表現亮眼，引發了廣泛討論。

但與此同時，一個現實難題也隨之而來：

哪怕只使用一個樣本，RL的訓練也往往需要上百小時的A100GPU支撐，資源成本極高；而訓練過程的高度不穩定，也給復現和實際部署帶來了極大障礙；相比之下，傳統的監督式微調（SFT）雖然計算負擔小，但在低數據量下極易過擬合，效果難以保證。

有沒有一種方法，不依賴復雜的反饋信號，也不需要成千上萬的數據樣本，就能有效激發LLM中已蘊藏的推理能力？

加拿大滑鐵盧大學TIGER Lab的華人學者團隊提出了一種名為One-Shot Critique Fine-Tuning（One-Shot CFT）的新方法。

本質上，這也是一種監督學習，只不過與傳統SFT的“模仿答案”不同，CFT訓練模型“逐步分析判斷一個答案的好壞”。在這個過程中，模型能接觸到多樣的推理路徑和錯誤類型，更貼近人類真實的學習方式。

一題、多解、多點評：One-Shot CFT如何工作？

One-Shot CFT的整體流程設計并不復雜，但背后的思想卻極具啟發性。

研究者首先選取一個具有代表性的任務問題（如數學推理題），然后利用多個主流開源模型（如MiMo、Qwen3、Phi-4等）生成多個不同版本的解答。這些答案再交由GPT-4、Claude等更強大的“點評者”模型進行點評，解釋每個答案的優劣。

最終，研究者將這些點評作為監督信號，訓練目標模型（如Qwen2.5、LLaMA3.2等），讓其從“批判答案”中學習推理規律。

整個過程只需要一題數據 + 多個解答 + 多個點評，便能完成微調。而令人驚訝的是，完整訓練僅需約5個GPU小時，遠遠低于RL方法的資源消耗,而且One-Shot CFT在多個領域均展現了驚人的效果。

數學與邏輯雙線突破，超越RLVR與小規模SFT

在實驗中，研究團隊圍繞數學和邏輯推理兩大方向展開驗證，使用主流基準任務（如MATH-500、OlympiadBench、AMC、BBEH等）進行全面評測。

在數學任務上，Qwen2.5-Math-7B僅用一題進行CFT微調后，準確率即提升+15%，不僅超越了RLVR框架下的One-Example RL表現，甚至超過了在DeepScaleR上使用4萬多個訓練樣本的全監督微調模型。

在BBEH邏輯推理任務中，包括因果推理、歧義消解等子任務也獲得了+10~16%的準確率增幅，表現出極強的跨任務遷移能力。

更重要的是，實驗表明One-Shot CFT的效果對具體任務和種子選擇不敏感，具有良好的穩定性和復現性。

“點評”憑什么比“答案”更有用？

One-Shot CFT的顯著效果，歸因于三個核心機制：

首先，它強調批判性學習。傳統SFT是讓模型去模仿參考答案，而CFT是讓模型理解“一個答案為何正確或錯誤”，其學習信號更具深度；

其次，它引入了多視角輸入。一個任務下生成多個答案，每個答案再生成多個點評，等于用一個問題模擬出多種推理路徑與錯誤類型，這種多樣性非常接近人類的學習方式；

第三，CFT的訓練信號具有強泛化性。與RL或SFT中的獎勵信號不同，點評語言往往包含更通用的邏輯判斷規則，因此能更自然地遷移至新任務中，降低過擬合風險。

這一機制的有效性也被多項ablation study所驗證：無論更換問題、模型、甚至點評風格，CFT訓練的提升幅度都能保持在穩定區間內。

一題五小時，人人可復現：低門檻、強效果的新選擇

相比RL動輒幾十甚至上百GPU小時的訓練需求，One-Shot CFT的“低成本”屬性無疑讓它具備了更強的落地潛力。

• 訓練只需5 GPU小時，一張A100也能輕松搞定；
• 無需RL框架與獎勵模型，訓練與推理過程更透明、易調試；
• 全流程開源，包括訓練腳本、模型參數、數據集等，極大降低復現門檻。

對個人研究者、資源有限的實驗室，甚至初創團隊而言，One-Shot CFT提供了一種極具性價比的推理能力增強方案。

論文地址：https://arxiv.org/abs/2506.03295
項目主頁：https://tiger-ai-lab.github.io/One-Shot-CFT/
Hugging Face 數據集與模型合集：https://huggingface.co/collections/TIGER-Lab/one-shot-cft-683fbb4d2bcf698dbea8fb21
GitHub 倉庫：https://github.com/TIGER-AI-Lab/One-Shot-CFT