首個多模態統一CoT獎勵模型來了，模型、數據集、訓練腳本全開源

2025-05-14 08:51:00

UnifiedReward-Think 展示了獎勵模型的未來方向 —— 不僅僅是一個 “打分器”，而是一個具備認知理解、邏輯推理與可解釋輸出能力的智能評估系統。

在多模態大模型快速發展的當下，如何精準評估其生成內容的質量，正成為多模態大模型與人類偏好對齊的核心挑戰。然而，當前主流多模態獎勵模型往往只能直接給出評分決策，或僅具備淺層推理能力，缺乏對復雜獎勵任務的深入理解與解釋能力，在高復雜度場景中常出現 “失真失準”。

那么，獎勵模型是否也能具備像人類一樣的深度思考能力？

近日，騰訊混元與上海 AI Lab、復旦大學、上海創智學院聯合提出全新研究工作 UnifiedReward-Think，構建出首個具備長鏈式推理能力的統一多模態獎勵模型，首次讓獎勵模型在各視覺任務上真正 “學會思考”，實現對復雜視覺生成與理解任務的準確評估、跨任務泛化與推理可解釋性的大幅提升。

論文題目: Unified Multimodal Chain-of-Thought Reward Model through Reinforcement Fine-Tuning
項目主頁：https://codegoat24.github.io/UnifiedReward/think
論文鏈接：https://arxiv.org/pdf/2505.03318
GitHub：https://github.com/CodeGoat24/UnifiedReward
模型：https://huggingface.co/collections/CodeGoat24/unifiedreward-models-67c3008148c3a380d15ac63a
數據集：https://huggingface.co/collections/CodeGoat24/unifiedreward-training-data-67c300d4fd5eff00fa7f1ede

當前的多模態獎勵模型大多只能對結果進行 “表面判斷”，缺乏深度推理與可解釋的決策依據，難以支撐對復雜視覺任務的精準評估。

該工作研究團隊提出關鍵問題：是否可以引入 “長鏈式思考”（Chain-of-Thought, CoT）機制，賦予獎勵模型更強的推理能力？

挑戰在于，當前缺乏高質量的多模態 CoT 獎勵推理數據，傳統 SFT 等訓練范式難以直接教會模型掌握推理過程。

他們認為，多模態大模型本身具備深層、多維度的推理潛力，關鍵在于設計一套高效訓練范式去激發并強化獎勵模型的 “思考能力”。

該研究提出一套新穎的 “三階段” 訓練框架，分為 “激發 → 鞏固 → 強化”，層層推進模型的推理進化：

階段一：冷啟動激發（Cold Start）

使用僅 5K 圖像生成任務的高質量 CoT 獎勵推理數據，讓模型學會基本的推理格式與結構。實驗表明，這一階段就能激發模型在多個視覺任務中的推理能力。

階段二：拒絕采樣鞏固（Rejection Sampling）

利用冷啟動后的模型在各視覺任務的泛化能力，對大規模多模態偏好數據進行推理，通過拒絕采樣剔除邏輯錯誤樣本，強化模型對正確思維鏈的推理模式。

階段三：GRPO 強化（Group Relative Policy Optimization）

針對推理錯誤樣本，引入 GRPO 強化學習機制，引導模型探索多樣化推理路徑，從錯誤中學習，逐步收斂到正確邏輯思考。

UnifiedReward-Think 在多個圖像生成與理解任務中進行了系統評估，結果表明該模型具備多項突破性能力：

定量實驗：長鏈推理帶來全面性能飛躍

定量結果表明

消融實驗：三階段訓練策略缺一不可

該工作進行了系統的消融實驗，驗證三階段訓練范式中每一步的獨立貢獻：

冷啟動階段：模型學會了 CoT 推理的結構，但對獎勵預測的準確性仍較有限；
拒絕采樣階段：通過篩除推理錯誤樣本，顯著提升了模型對 “正確思維鏈” 的偏好，有效增強了模型的穩定性與泛化性；
GRPO 階段：提升幅度最大，模型聚焦于錯誤推理樣本，通過多路徑推理探索，逐步收斂至更精確的推理過程，體現出該階段對 “推理糾錯” 的關鍵作用。
無推理路徑的 GRPO 版本效果顯著下降。我們進一步驗證：若去除 CoT 推理、讓獎勵模型僅對最終答案進行 GRPO 強化，雖然略優于 baseline，但提升比較有限。說明僅優化結果遠不足以驅動深層推理能力的形成。

結論：顯式建模思維鏈推理路徑，是強化獎勵模型泛化與魯棒性的關鍵。GRPO 訓練階段之所以有效，根源在于 “強化正確推理過程”，而非僅僅是 “強化正確答案”。