中科大、中興提出新后訓練范式：小尺寸多模態模型，成功復現R1推理
本文第一作者為鄧慧琳，中國科學技術大學碩博連讀四年級，研究方向為多模態模型視覺理解、推理增強（R1強化學習）、異常檢測。在TAI、TASE、ICCV等期刊和頂會發表論文。
近年來，隨著大型語言模型（LLMs）的快速發展，多模態理解領域取得了前所未有的進步。像 OpenAI、InternVL 和 Qwen-VL 系列這樣的最先進的視覺-語言模型（VLMs），在處理復雜的視覺-文本任務時展現了卓越的能力。
然而，這些成就主要依賴于大規模模型擴展（>32B 參數），這在資源受限的環境中造成了顯著的部署障礙。因此，如何通過有效的后訓練（post-training）范式來縮小小規模多模態模型與大規模模型之間的性能差距，是亟待解決的問題。
目前，VLM 的主流訓練方法是監督微調（SFT），即使用人工標注或 AI 生成的高質量數據對模型進行有監督訓練。但這種方法在小模型上存在兩個關鍵問題：
- 域外泛化能力不足（Out-of-Domain generalization collapse）：容易過擬合訓練數據，在未見過的場景時性能顯著下降。
- 推理能力有限（shallow reasoning abilities）：傾向于淺層模式匹配，而非真正的理解和推理。這導致模型雖能應對相似問題，但難以處理需要深度思考的復雜問題。
圖 1. 實驗結果分析。 (a) SFT 與 RL 方法性能對比：通過對比域內和域外性能，實驗證實了強化學習方法在各類視覺任務中具有更強的 OOD 泛化能力。 (b) "磚墻"現象分析：在小規模 VLMs 中觀察到：面對復雜樣本時出現訓練不穩定性，模型最終收斂到次優解。我們提出的課程強化學習方法采用難度感知的獎勵設計，確保模型能力從基礎任務到復雜推理任務的穩步提升。
通過系統實驗，我們發現基于強化學習的訓練方法在提升模型域外泛化性方面具有獨特優勢。
然而，在實踐中我們觀察到一個顯著的「磚墻」（Brick Wall）現象：小規模模型在簡單任務上快速進步，但在復雜任務上遇到瓶頸，甚至導致已掌握能力的退化。這種現象表現為訓練過程的劇烈震蕩，最終導致模型收斂到次優解。
為突破這一瓶頸，我們從課程學習（Curriculum Learning, CL）中汲取靈感。課程學習是一種將模型逐步暴露于遞增復雜任務的訓練策略。我們提出了課程式強化學習后訓練范式（Curr-ReFT），確保模型能力從基礎任務到復雜推理任務的穩步提升。
這一創新方法能夠幫助小型 VLMs 突破性能瓶頸，在保持部署友好性的同時，實現與大規模模型相媲美的推理能力。
- 論文標題： Boosting the Generalization and Reasoning of Vision Language Models with Curriculum Reinforcement Learning
- 論文鏈接：https://arxiv.org/pdf/2503.07065
- 開源鏈接：
- https://github.com/ding523/Curr_REFT（代碼）https://huggingface.co/datasets/ZTE-AIM/Curr-ReFT-data（數據）https://huggingface.co/ZTE-AIM/3B-Curr-ReFT（模型權重）https://huggingface.co/ZTE-AIM/7B-Curr-ReFT（模型權重）
工作概述
在中小尺寸多模態大模型上，我們成功復現了 R1，并提出了一種創新的后訓練范式 Curr-ReFT。通過結合課程強化學習和基于拒絕采樣的自我改進方法，我們顯著提升了視覺語言模型（VLM）的推理能力和泛化能力。
理論與實驗分析
- 強化學習的重塑能力：我們證明了基于規則的強化學習能夠有效重塑多模態/CV 任務的訓練方案，從傳統的精調轉向強化精調。
- 提升推理與泛化能力：實驗結果顯示，強化學習方法顯著提升了 VLM 在分布外數據上的表現。
創新框架
- Curr-ReFT：我們提出了一種新型后訓練范式，結合課程強化學習和自我改進策略。在 Qwen2.5-VL-3B 和 Qwen2.5-VL-7B 模型中驗證了其有效性。
全面評估
在多個自建數據集和權威基準測試上進行對比實驗，驗證了模型的通用表現，結果表明 7B 模型甚至超越了最新的 InternVL2.5-26B 和 38B 模型。
具體方法
圖 2. 所提出的 Curr-ReFT 后訓練范式整體框架。Curr-ReFT 包含兩個連續的訓練階段：1.課程強化學習：通過與任務復雜度匹配的獎勵機制，逐步提升任務難度。2.基于拒絕采樣的自我改進：維持 LLM 模型的基礎能力。
Curr-ReFT 包含兩個連續的訓練階段：
- 課程強化學習：通過難度感知的獎勵設計確保模型能力的穩步提升，從基礎的視覺感知逐步過渡到復雜的推理任務。
- 基于拒絕采樣的自我改進：通過從高質量的多模態和語言樣本中進行選擇性學習，維持 VLMs 的基礎能力。
圖 3. 訓練數據組織架構圖。 (a) 課程強化學習的三階段漸進式響應格式示例。展示了任務從簡單到困難的遞進過程，呈現不同階段的響應格式變化。 (b) 拒絕采樣 SFT 階段使用的數據來源分布。
Stage1：課程強化學習（Curriculum Reinforcement Learning）
課程學習（Curriculum Learning，CL）作為一種教學式訓練策略，其核心思想是讓模型循序漸進地接觸復雜度遞增的任務。
針對強化學習中普遍存在的訓練不穩定性和收斂性問題，我們創新性地將課程學習與 GRPO 相結合，突破了傳統基于樣本難度評估的局限，轉而關注任務層面的漸進式學習。
本研究的關鍵創新點在于設計了難度感知的獎勵機制，該機制與任務的自然進階路徑相匹配，具體包括三個遞進階段：
- 二元決策階段（Binary Decision）
- 多項選擇階段（Multiple Choice）
- 開放式回答階段（Open-ended Response）
這一課程強化學習（Curr-RL）框架通過精確校準任務復雜度對應的獎勵機制，成功實現了視覺感知和數學推理任務的穩定優化過程。
Stage2：拒絕采樣自我增強（Rejected Sample based Self-improvement）
數據準備過程涉及對綜合數據集的系統采樣。我們使用 GPT-4-O 作為獎勵模型，從多個維度評估生成的響應，評估標準包括：準確性、邏輯一致性、格式規范性、語言流暢度。
所有響應在 0-100 分范圍內進行量化評估。得分超過 85 分的響應及其對應的問題會被納入增強數據集。最終整理的數據集包含 1,520 個高質量樣本，涵蓋多個領域：數學、科學、通用場景的通用知識。數據分布如下：
1、數學領域（共 700 條數據）：
- 多模態數據（300 條）：
- Geometry3K_MathV360K（100 條）
- Geo170k_qa（100 條）
- Geomverse（100 條）
- 純文本數據：
- SK1.1 數學題（400 條）
2、科學領域（共 320 條數據）：
- 多模態數據（220 條）：
- Scienceqa_cauldron（100 條）
- Scienceqa_nona_context（120 條）
- 純文本數據：
- SK1.1 科學題（100 條）
3、通識領域（共 500 條多模態數據）：
- Illava_cot_100k（300 條）
- Visual7w（100 條）
- VSR（100 條）
實驗結果
為了驗證我們的模型在多模態數學推理任務中的表現，我們進行了廣泛的實驗，并在多個基準數據集上進行了測試。以下是實驗部分的詳細介紹：
實驗設置
1、 Visual Datasets
我們構建了一個全面的評估框架，涵蓋視覺檢測、視覺分類和多模態數學推理三個主要任務，以評估強化學習對視覺語言模型的有效性和泛化能力。
- 視覺檢測：使用 RefCOCO 和 RefGta 數據集。
- 視覺分類：采用 RefCOCO、RefCOCOg 和 Pascal-VOC 數據集。
- 多模態數學推理：結合 Math360K、Geo170K 和 CLEVER-70k-Counting 數據集。
2、Benchmarks
我們在多個權威基準數據集上評估了模型的表現，包括：
- MathVisa：綜合數學基準。
- MATH：高中競賽級別數學問題。
- AI2D：小學科學圖表及相關問題。
- MMVet 和 MMBench：復雜推理和多模態能力評估。
實驗結果
我們展示了使用課程強化微調（Curr-ReFT）訓練的模型在多模態任務上的顯著性能提升，特別是在跨領域泛化能力和復雜推理任務方面。
與傳統的監督微調（SFT）方法相比，我們的方法不僅提高了準確率，還增強了模型處理未見過的數據的能力。以下表格展示了不同訓練方法在域內和域外數據集上的性能對比。具體包括傳統監督微調（SFT）和強化學習（RL）兩種方法：
通過這些實驗結果可以看出，強化學習訓練（RL）方法在提高模型的域內和域外表現方面具有顯著優勢，尤其是在處理未見過的數據時，能夠保持較高的準確率。
Visual Datasets 上不同方法模型的測試結果如下：
為了驗證 Curr-ReFT 的泛化性以及使用后不會削弱模型在其他領域的推理能力，我們在多模態領域多個 Benchmark 數據集上進行驗證。Benchmarks 上不同方法模型的測試結果如下（評測集裁判模型使用 GPT-3.5）：
總結
本研究聚焦于提升小規模視覺-語言模型（VLMs）在推理能力和域外（OOD）泛化性能兩個關鍵方面的表現。通過實證研究，我們發現強化學習不僅能有效提升模型的推理能力，更在視覺任務中展現出超出預期的泛化性能提升。
基于這一重要發現，我們提出了創新性的課程式強化學習微調（Curr-ReFT）后訓練范式。該方法巧妙地融合了漸進式課程學習與拒絕采樣策略。Curr-ReFT 通過兩個關鍵機制：
- 任務復雜度的漸進式提升
- 高質量樣本的選擇性學習 成功實現了模型性能的顯著提升。
