Perception, Reason, Think, and Plan: A Survey on Large Multimodal Reasoning Models

2025-05-08｜HIT, Shenzhen|??79

???http://arxiv.org/abs/2505.04921v1????
????https://huggingface.co/papers/2505.04921????
????https://github.com/HITsz-TMG/Awesome-Large-Multimodal-Reasoning-Models???

研究背景與意義

• 智能推理的核心地位：推理作為智能行為的核心，賦予人工智能系統(tǒng)在多變、不確定及多模態(tài)環(huán)境中做出決策、歸納總結(jié)及跨領(lǐng)域泛化的能力。隨著AI應(yīng)用場景的復(fù)雜化，推理能力成為實(shí)現(xiàn)魯棒性和適應(yīng)性的關(guān)鍵。
• 多模態(tài)推理模型的興起：大型多模態(tài)推理模型（LMRMs）通過融合文本、圖像、音頻和視頻等多種模態(tài)，實(shí)現(xiàn)全面感知、精準(zhǔn)理解和深度推理，成為推動(dòng)AI智能化發(fā)展的重要方向。
• 研究現(xiàn)狀與挑戰(zhàn)：從最初的模塊化感知驅(qū)動(dòng)系統(tǒng)到現(xiàn)今語言中心的統(tǒng)一框架，模型推理能力不斷提升，但依然面臨泛化能力不足、推理深度有限及缺乏自主行為等挑戰(zhàn)。
• 研究目標(biāo)：本文旨在系統(tǒng)梳理多模態(tài)推理模型的發(fā)展路徑，提出四階段的演進(jìn)路線圖，并展望原生多模態(tài)推理模型（N-LMRMs）的未來發(fā)展，為下一代多模態(tài)智能系統(tǒng)設(shè)計(jì)提供理論和實(shí)踐指導(dǎo)。

研究方法與創(chuàng)新

• 技術(shù)路線概述：研究系統(tǒng)劃分為四個(gè)階段：

感知驅(qū)動(dòng)的模塊化推理，基于任務(wù)特定的模塊設(shè)計(jì)；

語言中心的短時(shí)推理，利用多模態(tài)鏈?zhǔn)剿季S（MCoT）實(shí)現(xiàn)顯式推理步驟；

語言中心的長時(shí)推理，融合跨模態(tài)推理鏈和強(qiáng)化學(xué)習(xí)，實(shí)現(xiàn)深度思考與計(jì)劃；

原生多模態(tài)推理模型，構(gòu)建統(tǒng)一的多模態(tài)感知、生成與智能代理體系。

• 創(chuàng)新點(diǎn)詳解：

階段一：感知驅(qū)動(dòng)模塊化設(shè)計(jì)采用卷積神經(jīng)網(wǎng)絡(luò)（CNN）、長短時(shí)記憶網(wǎng)絡(luò)（LSTM）等傳統(tǒng)架構(gòu)，通過神經(jīng)模塊網(wǎng)絡(luò)（NMN）、層次共注意力（HieCoAtt）等機(jī)制，實(shí)現(xiàn)視覺與文本的分層對齊與融合，推動(dòng)任務(wù)定制型推理模塊的發(fā)展。

階段二：語言中心短時(shí)推理利用大型多模態(tài)語言模型（MLLMs）和鏈?zhǔn)剿季S（CoT）技術(shù)，將隱式推理轉(zhuǎn)化為顯式的多步推理過程，提升模型的上下文理解和邏輯推理能力。引入結(jié)構(gòu)化推理和外部工具增強(qiáng)推理范圍和深度。

階段三：語言中心長時(shí)推理融合視覺、聽覺與語言多模態(tài)信息，構(gòu)建跨模態(tài)推理鏈，支持復(fù)雜任務(wù)的分解與規(guī)劃。通過強(qiáng)化學(xué)習(xí)等方法增強(qiáng)模型的適應(yīng)性和自主規(guī)劃能力，代表模型如OpenAI的o1系列和DeepSeek-R1。

階段四：原生多模態(tài)推理模型展望提出統(tǒng)一多模態(tài)表示空間，支持多樣數(shù)據(jù)類型的無縫融合與生成，強(qiáng)化模型與動(dòng)態(tài)環(huán)境的交互能力，實(shí)現(xiàn)多模態(tài)智能代理的主動(dòng)認(rèn)知和長時(shí)規(guī)劃，推動(dòng)AI系統(tǒng)向更高層次智能邁進(jìn)。

理論基礎(chǔ)與對比：本文基于認(rèn)知科學(xué)中系統(tǒng)1（快速直覺）與系統(tǒng)2（慢速思考）理論，結(jié)合Transformer架構(gòu)的深度學(xué)習(xí)技術(shù)，系統(tǒng)總結(jié)了多模態(tài)推理模型從模塊化到端到端統(tǒng)一的演進(jìn)過程，明確指出當(dāng)前語言中心模型的局限，為原生多模態(tài)模型的提出提供堅(jiān)實(shí)理論支撐。

實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析

• 實(shí)驗(yàn)設(shè)計(jì)：通過對比分析超過540篇相關(guān)文獻(xiàn)，結(jié)合視覺問答（VQA）、視覺常識(shí)推理（VCR）、多模態(tài)理解與生成等多種任務(wù)和數(shù)據(jù)集，系統(tǒng)評估不同階段模型的性能表現(xiàn)及適用場景。實(shí)驗(yàn)涵蓋模型架構(gòu)、推理鏈長度、跨模態(tài)融合效果、強(qiáng)化學(xué)習(xí)優(yōu)化等多個(gè)維度。
• 結(jié)果分析：

階段一模型在特定任務(wù)上表現(xiàn)穩(wěn)定，但泛化能力和推理深度受限。

階段二模型通過多模態(tài)鏈?zhǔn)剿季S顯著提升了推理的連貫性和可解釋性，但仍偏向短時(shí)、反應(yīng)式推理。

階段三模型在長時(shí)推理、規(guī)劃和適應(yīng)性方面展現(xiàn)出更高的智能水平，尤其在開放環(huán)境中的任務(wù)表現(xiàn)接近人類水平。

強(qiáng)化學(xué)習(xí)的引入有效提升了模型的魯棒性和自主決策能力。

原生多模態(tài)模型的初步實(shí)驗(yàn)顯示出在多樣模態(tài)融合和動(dòng)態(tài)環(huán)境交互上的巨大潛力，標(biāo)志著未來研究的重要方向。

• 統(tǒng)計(jì)顯著性與多場景表現(xiàn)：多項(xiàng)基準(zhǔn)測試表明，隨著模型階段的遞進(jìn)，推理準(zhǔn)確率和任務(wù)完成度呈顯著提升，特別是在復(fù)雜、多步驟、多模態(tài)融合任務(wù)中表現(xiàn)突出。

結(jié)論與展望

• 總結(jié)貢獻(xiàn)：本文全面梳理了大型多模態(tài)推理模型的發(fā)展歷程，提出了從感知驅(qū)動(dòng)模塊化推理到語言中心長時(shí)推理，再到原生多模態(tài)推理模型的四階段路線圖。系統(tǒng)分析了各階段代表模型的架構(gòu)創(chuàng)新、推理機(jī)制及性能表現(xiàn)，填補(bǔ)了當(dāng)前領(lǐng)域?qū)Χ嗄B(tài)推理全景式理解的空白。
• 分析局限：現(xiàn)有模型多依賴語言中心架構(gòu)，限制了多樣模態(tài)的深度融合與生成能力。推理過程多為靜態(tài)鏈?zhǔn)剑狈εc動(dòng)態(tài)環(huán)境的實(shí)時(shí)交互和適應(yīng)。訓(xùn)練數(shù)據(jù)的多樣性和質(zhì)量、模型的計(jì)算效率及可解釋性仍是挑戰(zhàn)。
• 方法展望：未來研究將聚焦原生多模態(tài)推理模型，構(gòu)建統(tǒng)一的多模態(tài)表示與生成框架，強(qiáng)化模型的主動(dòng)認(rèn)知與長時(shí)規(guī)劃能力。結(jié)合模擬環(huán)境中的閉環(huán)訓(xùn)練，推動(dòng)模型具備真實(shí)世界的適應(yīng)性和智能代理特性。同時(shí)，需發(fā)展更豐富的多模態(tài)數(shù)據(jù)集和更完善的評估基準(zhǔn)，促進(jìn)理論與應(yīng)用的深度融合。

通過這些努力，下一代多模態(tài)推理系統(tǒng)有望實(shí)現(xiàn)更高層次的智能，推動(dòng)人工智能在復(fù)雜現(xiàn)實(shí)場景中的廣泛應(yīng)用。

On Path to Multimodal Generalist: General-Level and General-Bench

2025-05-07｜NUS, NTU, ZJU, KAUST, PKU, HFUT, U Rochester, NJU, WHU, SJTU|??55

???http://arxiv.org/abs/2505.04620v1????
????https://huggingface.co/papers/2505.04620????
????https://generalist.top/???

研究背景與意義

隨著大型語言模型（LLMs）如ChatGPT和LLaMA的出現(xiàn)，NLP領(lǐng)域迎來了革命性進(jìn)展，這些模型作為通用智能體，能夠處理廣泛的語言任務(wù)，極大地推動(dòng)了人工通用智能（AGI）的實(shí)現(xiàn)。人類智能本質(zhì)上是多模態(tài)的，涵蓋語言、視覺、聽覺等多種感知方式，這促使研究者開發(fā)多模態(tài)大型語言模型（MLLMs），即多模態(tài)通用智能體。當(dāng)前，MLLMs已從單一模態(tài)理解發(fā)展到跨模態(tài)理解、生成乃至編輯，支持多種復(fù)雜任務(wù)，顯示出向AGI邁進(jìn)的潛力。

然而，現(xiàn)有的評估方法多停留在單任務(wù)性能對比，忽視了多模態(tài)智能體應(yīng)具備的跨任務(wù)、跨模態(tài)的協(xié)同效應(yīng)（synergy）。簡單地將多個(gè)單一任務(wù)專家模型集成并不能實(shí)現(xiàn)真正的多模態(tài)通用智能。本文提出的“General-Level”框架，基于協(xié)同效應(yīng)評估多模態(tài)智能體的綜合能力，旨在更準(zhǔn)確地反映模型向AGI演進(jìn)的真實(shí)進(jìn)展。同時(shí)，構(gòu)建了覆蓋700余任務(wù)、涉及圖像、視頻、音頻、3D及語言等多模態(tài)的“General-Bench”大規(guī)模評測基準(zhǔn)，填補(bǔ)了現(xiàn)有評測工具的局限，推動(dòng)多模態(tài)智能體的系統(tǒng)性發(fā)展。

研究方法與創(chuàng)新

本文創(chuàng)新性地提出了基于協(xié)同效應(yīng)的五級分類體系“General-Level”，系統(tǒng)劃分多模態(tài)通用智能體的能力等級，核心在于評估模型在不同任務(wù)和模態(tài)間的知識(shí)遷移與增強(qiáng)能力。具體方法包括：

• 協(xié)同效應(yīng)定義與量化：將協(xié)同效應(yīng)細(xì)分為任務(wù)間、理解與生成間、以及模態(tài)間的協(xié)同，逐級遞進(jìn)，體現(xiàn)智能體綜合能力的提升。
• 層級評分機(jī)制：結(jié)合多模態(tài)任務(wù)的表現(xiàn)與超越單一任務(wù)專家的能力，設(shè)計(jì)數(shù)學(xué)嚴(yán)謹(jǐn)?shù)脑u分體系，確保評分的單調(diào)性和公平性，避免簡單任務(wù)數(shù)量堆砌的偏差。
• 多模態(tài)任務(wù)覆蓋與權(quán)重均衡：針對不同模態(tài)任務(wù)數(shù)量不均的現(xiàn)象，采用模態(tài)內(nèi)均權(quán)策略，防止某一模態(tài)任務(wù)過多導(dǎo)致評分偏頗，促進(jìn)模型在多模態(tài)間均衡發(fā)展。
• 協(xié)同效應(yīng)的松弛假設(shè)：為解決實(shí)際中難以獨(dú)立評估任務(wù)間聯(lián)合分布的問題，提出以超越專家模型表現(xiàn)作為協(xié)同效應(yīng)的間接證據(jù)，簡化計(jì)算同時(shí)保持評估的科學(xué)性。

該方法突破了傳統(tǒng)單任務(wù)評估的局限，強(qiáng)調(diào)模型內(nèi)在的泛化與遷移能力，推動(dòng)多模態(tài)智能體向真正的通用人工智能邁進(jìn)。

實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析

實(shí)驗(yàn)部分基于“General-Bench”基準(zhǔn)，涵蓋圖像、視頻、音頻、3D及語言等多模態(tài)，包含700余任務(wù)和超過32萬實(shí)例，系統(tǒng)評測了100余個(gè)領(lǐng)先的MLLM系統(tǒng)。主要實(shí)驗(yàn)設(shè)計(jì)與分析如下：

• 多模態(tài)專家與通用模型對比：評測涵蓋專注單一模態(tài)的專家模型與支持多模態(tài)的通用模型，驗(yàn)證協(xié)同效應(yīng)對模型性能的影響。
• 層級評分應(yīng)用：根據(jù)General-Level框架，計(jì)算各模型在不同協(xié)同效應(yīng)層級的得分，分析模型在任務(wù)融合、理解生成協(xié)同及模態(tài)融合方面的表現(xiàn)。
• 統(tǒng)計(jì)顯著性與多場景表現(xiàn)：采用標(biāo)準(zhǔn)統(tǒng)計(jì)方法，驗(yàn)證模型性能差異的顯著性，確保結(jié)果的穩(wěn)健性；并在多種實(shí)際應(yīng)用場景下測試模型的泛化能力。
• 關(guān)鍵發(fā)現(xiàn)：大部分現(xiàn)有MLLM缺乏跨任務(wù)和跨模態(tài)的協(xié)同能力，甚至頂尖模型如GPT-4V未能達(dá)到最高協(xié)同等級，顯示實(shí)現(xiàn)真正AGI的巨大挑戰(zhàn)。多數(shù)模型僅能支持有限的多模態(tài)任務(wù)，且未能通過非語言模態(tài)提升語言智能。

結(jié)論與展望

本文提出的General-Level框架及General-Bench基準(zhǔn)，為多模態(tài)通用智能體的評估提供了科學(xué)且細(xì)致的標(biāo)準(zhǔn)，強(qiáng)調(diào)協(xié)同效應(yīng)作為衡量模型智能水平的核心指標(biāo)。實(shí)驗(yàn)結(jié)果揭示當(dāng)前多模態(tài)模型在協(xié)同能力上的不足，指出未來研究需重點(diǎn)突破任務(wù)間、理解與生成間及模態(tài)間的深度融合與協(xié)同。

未來工作將聚焦于：

• 提升跨模態(tài)知識(shí)遷移能力，實(shí)現(xiàn)非語言模態(tài)對語言智能的反向促進(jìn)，推動(dòng)模型達(dá)到更高協(xié)同等級。
• 拓展多模態(tài)任務(wù)與格式支持，增加更多復(fù)雜、細(xì)粒度的任務(wù)，促進(jìn)模型多樣化能力發(fā)展。
• 優(yōu)化模型架構(gòu)與訓(xùn)練策略，強(qiáng)化端到端聯(lián)合訓(xùn)練，提升模型對多模態(tài)信息的內(nèi)在融合與理解。
• 持續(xù)完善評測基準(zhǔn)，引入更多現(xiàn)實(shí)應(yīng)用場景，確保評測結(jié)果的廣泛適用性和指導(dǎo)意義。

該研究為多模態(tài)通用智能體的系統(tǒng)研發(fā)奠定了堅(jiān)實(shí)基礎(chǔ)，有望加速AGI的實(shí)現(xiàn)進(jìn)程。

X-Reasoner: Towards Generalizable Reasoning Across Modalities and Domains

2025-05-06｜Microsoft|??8

???http://arxiv.org/abs/2505.03981v1????
????https://huggingface.co/papers/2505.03981????
????https://github.com/microsoft/x-reasoner???

研究背景與意義

• 問題定義與現(xiàn)狀近年來，語言模型在推理能力上取得顯著進(jìn)展，尤其是專有模型如OpenAI的GPT-4展現(xiàn)了強(qiáng)大的多模態(tài)推理能力。然而，現(xiàn)有開源研究多聚焦于文本單一模態(tài)的推理，且評測多局限于數(shù)學(xué)和通用領(lǐng)域任務(wù)，缺乏對推理能力跨模態(tài)、跨領(lǐng)域泛化性的深入探討。
• 挑戰(zhàn)與目標(biāo)多模態(tài)推理通常依賴于專門構(gòu)建的多模態(tài)數(shù)據(jù)集，限制了模型的泛化能力。本文提出核心問題：推理能力是否可以通過通用領(lǐng)域的文本后訓(xùn)練實(shí)現(xiàn)跨模態(tài)和跨領(lǐng)域的泛化？目標(biāo)是設(shè)計(jì)一種僅基于通用文本數(shù)據(jù)的后訓(xùn)練策略，培養(yǎng)具備廣泛適用性的推理能力，降低多模態(tài)和領(lǐng)域特定數(shù)據(jù)的依賴。
• 意義解決該問題不僅具有理論價(jià)值，揭示推理能力的本質(zhì)和遷移機(jī)制，也具備實(shí)際意義，通過利用豐富且易獲取的通用文本數(shù)據(jù)，實(shí)現(xiàn)高效且通用的多模態(tài)推理模型訓(xùn)練，推動(dòng)開源多模態(tài)模型的發(fā)展。

研究方法與創(chuàng)新

• 技術(shù)描述本文提出了X-REASONER，一種基于7B參數(shù)規(guī)模視覺語言模型的后訓(xùn)練方案，完全依賴通用領(lǐng)域文本數(shù)據(jù)。訓(xùn)練分兩階段：

1. 監(jiān)督微調(diào)（SFT）：利用蒸餾的長鏈?zhǔn)剿季S（Long Chain-of-Thought）推理軌跡，進(jìn)行結(jié)構(gòu)化推理能力的顯式學(xué)習(xí)。
2. 強(qiáng)化學(xué)習(xí)（RL）：采用帶有可驗(yàn)證獎(jiǎng)勵(lì)的強(qiáng)化學(xué)習(xí)，基于數(shù)學(xué)文本任務(wù)進(jìn)一步提升模型推理準(zhǔn)確性和泛化能力。

• 創(chuàng)新點(diǎn)
• 文本驅(qū)動(dòng)的多模態(tài)泛化：首次系統(tǒng)驗(yàn)證僅通過通用文本后訓(xùn)練，模型即可獲得跨模態(tài)（視覺+語言）和跨領(lǐng)域（如醫(yī)學(xué)）強(qiáng)泛化推理能力。
• 數(shù)學(xué)作為泛化“錨點(diǎn)”：數(shù)學(xué)任務(wù)因其復(fù)雜的結(jié)構(gòu)化推理特點(diǎn)，被證明是促進(jìn)推理泛化的關(guān)鍵領(lǐng)域。
• 強(qiáng)結(jié)合SFT與RL：結(jié)合SFT的穩(wěn)定性與RL的優(yōu)化能力，實(shí)現(xiàn)了推理性能和泛化性的最佳平衡。
• 強(qiáng)制退出機(jī)制：針對長鏈?zhǔn)剿季S訓(xùn)練中模型可能出現(xiàn)的無止境思考問題，設(shè)計(jì)了基于最大長度的強(qiáng)制停止策略，提升了生成可靠性和任務(wù)準(zhǔn)確率。
• 理論基礎(chǔ)研究基于推理能力可視為結(jié)構(gòu)化知識(shí)和邏輯模式的學(xué)習(xí)，長鏈?zhǔn)剿季S蒸餾與強(qiáng)化學(xué)習(xí)相結(jié)合，有效捕獲和優(yōu)化推理策略，促進(jìn)跨任務(wù)、跨模態(tài)、跨領(lǐng)域的知識(shí)遷移。

實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析

• 實(shí)驗(yàn)設(shè)計(jì)

數(shù)據(jù)集：通用領(lǐng)域OpenThoughts-114k（數(shù)學(xué)、科學(xué)、編碼推理）、數(shù)學(xué)文本數(shù)據(jù)Orz-57k、醫(yī)學(xué)文本MedQA及多模態(tài)醫(yī)學(xué)圖像問答等。

評測任務(wù)：涵蓋通用文本推理（MMLU-Pro、GSM8K）、多模態(tài)推理（MMMU系列、MathVista）、醫(yī)學(xué)文本及多模態(tài)推理任務(wù)。

訓(xùn)練細(xì)節(jié)：SFT階段4個(gè)epoch，RL階段約56小時(shí)訓(xùn)練，使用40GB A100 GPU集群。

• 結(jié)果分析

跨模態(tài)泛化：X-REASONER在多模態(tài)任務(wù)上顯著優(yōu)于同規(guī)模多模態(tài)訓(xùn)練模型，證明文本訓(xùn)練足以學(xué)習(xí)泛化推理模式。

跨領(lǐng)域泛化：模型在醫(yī)學(xué)文本和多模態(tài)醫(yī)學(xué)任務(wù)中表現(xiàn)出強(qiáng)勁的遷移能力，且通過醫(yī)學(xué)文本繼續(xù)訓(xùn)練的X-REASONER-MED進(jìn)一步刷新多個(gè)醫(yī)學(xué)基準(zhǔn)的SOTA。

方法對比：SFT提升推理結(jié)構(gòu)化能力，RL進(jìn)一步優(yōu)化準(zhǔn)確率，二者結(jié)合效果最佳。數(shù)學(xué)數(shù)據(jù)訓(xùn)練的RL模型在跨領(lǐng)域表現(xiàn)優(yōu)于醫(yī)學(xué)數(shù)據(jù)訓(xùn)練，顯示數(shù)學(xué)推理的泛化錨點(diǎn)作用。

消除文本捷徑影響：去除僅靠文本解決的樣本后，X-REASONER仍保持性能優(yōu)勢，驗(yàn)證其真實(shí)的多模態(tài)推理能力。

穩(wěn)定性改進(jìn)：強(qiáng)制退出機(jī)制有效減少無終止生成，提升任務(wù)最終準(zhǔn)確率。

結(jié)論與展望

• 研究貢獻(xiàn)總結(jié)本文系統(tǒng)驗(yàn)證了通用領(lǐng)域文本后訓(xùn)練能夠培養(yǎng)出具備跨模態(tài)、跨領(lǐng)域泛化能力的推理模型，提出了結(jié)合長鏈思維蒸餾的監(jiān)督微調(diào)與基于數(shù)學(xué)任務(wù)的強(qiáng)化學(xué)習(xí)的高效訓(xùn)練方案，成功構(gòu)建了X-REASONER及其醫(yī)學(xué)專用變體X-REASONER-MED，均在多個(gè)文本及多模態(tài)推理基準(zhǔn)上實(shí)現(xiàn)或超越了現(xiàn)有SOTA。
• 局限性分析

模型規(guī)模受限于7B參數(shù)，未驗(yàn)證更大規(guī)模模型的效果。

僅基于Qwen-VL系列模型，缺少多樣化模型架構(gòu)驗(yàn)證。

評測任務(wù)主要為選擇題和數(shù)學(xué)推理，缺少開放式生成、交互式對話等更廣泛應(yīng)用場景的測試。

訓(xùn)練過程依賴大量計(jì)算資源，實(shí)際應(yīng)用可能受限。

• 未來展望

探索更大規(guī)模及多樣化模型架構(gòu)，驗(yàn)證訓(xùn)練策略的普適性。

結(jié)合多模態(tài)及領(lǐng)域特定數(shù)據(jù)進(jìn)行持續(xù)微調(diào)，進(jìn)一步提升專用領(lǐng)域推理能力。

拓展評測范圍至開放式、多輪交互等復(fù)雜推理場景。

優(yōu)化訓(xùn)練效率，降低計(jì)算資源需求，推動(dòng)技術(shù)普及。

綜上，X-REASONER代表了一種創(chuàng)新且高效的通用文本驅(qū)動(dòng)多模態(tài)推理訓(xùn)練范式，揭示了文本監(jiān)督在多模態(tài)推理泛化中的核心作用，為未來多模態(tài)智能系統(tǒng)的發(fā)展提供了堅(jiān)實(shí)基礎(chǔ)。

本文轉(zhuǎn)載自???AI研究前瞻???，作者：胡耀淇