RoboRefer: Towards Spatial Referring with Reasoning in Vision-Language Models for Robotics

2025-06-04｜BUAA, PKU, BAAI|??32

??http://arxiv.org/abs/2506.04308v1???
???https://huggingface.co/papers/2506.04308???
???https://zhoues.github.io/RoboRefer/??

研究背景與意義

• 問題定義與現狀

空間指稱是機器人理解并與三維物理世界交互的基礎能力。盡管現有預訓練視覺語言模型（VLMs）在二維視覺任務上表現優異，但它們在復雜三維場景的空間理解和動態推理方面仍存在顯著不足，尤其是在處理多步驟空間推理時能力有限。

• 挑戰與目標

當前方法通常依賴昂貴的三維重建或將深度視為二維圖像輸入，導致模態干擾和性能下降。此外，缺乏大規模支持多步驟空間推理的數據集，限制了模型的推理能力和泛化能力。本研究旨在構建一個3D感知的視覺語言模1型，能夠實現精準的單步空間理解與泛化強的多步驟空間推理，推動機器人在復雜環境中的高效空間指稱。

研究方法與創新

• 模型架構設計

RoboRefer采用獨立的RGB和深度編碼器，避免了模態干擾問題，且深度編碼器通過監督微調（SFT）專門強化空間感知能力。此設計保證了預訓練圖像編碼器的穩定性，同時提升了對深度信息的利用效率。

• 訓練策略創新

采用兩階段訓練：

a.監督微調（SFT），結合大規模RefSpatial數據集，強化模型的單步空間理解能力，并通過顯式的多步驟推理注釋提供初步的推理能力。

b.強化微調（RFT），引入基于多步驟推理過程的度量敏感獎勵函數，顯著提升模型對復雜空間指稱任務的推理精度和泛化能力。

• 數據集構建

RefSpatial數據集融合了2D網絡圖像、3D實體視頻和模擬環境數據，涵蓋31種豐富的空間關系，支持單步及多步驟空間推理。該數據集不僅規模龐大（2.5M樣本，20M問答對），還包含詳細的推理過程注釋，填補了現有數據集在多步驟空間指稱任務上的空白。

• 理論基礎與優勢

通過分離編碼器和分階段訓練策略，有效解決了模態干擾和推理泛化難題。度量敏感的獎勵設計使模型能夠在推理過程中逐步優化中間步驟的準確性，提升了復雜空間指稱的整體性能。

實驗設計與結果分析

• 實驗設計

評估涵蓋單步空間理解（CV-Bench、BLINK等）、多步驟空間指稱（RefSpatial-Bench）以及機器人操作和導航任務。對比了多種最新視覺語言模型和空間專家模型，驗證了RoboRefer在不同任務和輸入模態（RGB與RGB-D）下的表現。

• 關鍵結果

a.SFT階段的RoboRefer在單步空間理解任務中達到了89.6%的平均成功率，超越了多項現有頂尖模型。

b.RFT階段進一步提升性能，在多步驟空間指稱的RefSpatial-Bench上，平均準確率領先第二名Gemini-2.5-Pro達17.4%。

c.在未見過的空間關系組合上，RFT模型表現優于SFT，顯示出更強的泛化能力。

d.機器人實地測試中，RoboRefer成功執行復雜的空間指稱任務，實現了動態環境下的精準操控和導航，且響應速度快，執行效率高。

• 統計與多場景表現

實驗覆蓋室內外多樣場景，涉及多機器人平臺（UR5機械臂、G1人形機器人），結果顯示模型具有良好的跨場景和跨任務適應性，且深度信息的引入顯著提升了三維空間理解能力。

結論與展望

• 貢獻總結

本文提出了RoboRefer——首個結合獨立深度編碼器及強化微調的3D感知視覺語言模型，實現了從精準單步空間理解到泛化多步驟空間推理的跨越。構建了大規模高質量的RefSpatial數據集及相應基準測試，推動了空間指稱領域的數據資源發展。實驗充分驗證了方法的有效性及其在機器人實際任務中的應用潛力。

• 局限性分析

盡管取得顯著進展，模型在極端復雜場景和實時推理速度上仍有提升空間。數據集雖大，但仍需擴展更多樣化的環境和任務類型以增強泛化。強化學習階段計算資源需求較高，限制了更大模型的訓練。

• 未來展望

未來研究可探索更高效的多模態融合機制和輕量級推理架構，以支持實時復雜環境下的空間指稱。擴展數據集至更多實際應用場景，結合多傳感器信息融合，提升模型的魯棒性和適應性。同時，進一步深化對多步驟空間推理機制的理解，推動機器人智能交互能力邁向更高水平。

Surfer-H Meets Holo1: Cost-Efficient Web Agent Powered by Open Weights

2025-06-03｜H, Alphabetical|??27

??http://arxiv.org/abs/2506.02865v1???
???https://huggingface.co/papers/2506.02865???
???https://www.hcompany.ai/??

研究背景與意義

• 問題定義與現狀概述：當前大型語言模型（LLMs）在推理和問題解決方面表現卓越，但受限于靜態預訓練數據，無法實時執行動作或獲取最新信息，限制了其在動態網絡環境中的應用能力。
• 挑戰指出：傳統增強LLMs的工具使用能力依賴于預定義接口，擴展性受限；而直接通過圖形用戶界面（GUI）與軟件交互的新范式尚面臨復雜界面元素定位和任務執行的挑戰。
• 目標闡明：本文旨在開發一個成本效益高且通用的視覺語言模型（VLM）驅動的網頁代智能體urfer-H，結合新穎的Holo1模型和WebClick基準，實現高效、準確的網頁與信息提取，推動智能代理在真實網絡環境中的實用性。

研究方法與創新

• 技術架構描述：Surfer-H由策略模塊（policy）、定位器（localizer）和驗證器（validator）三部分組成，協同作用于網頁截圖，實現動作決策、界面元素定位及答案驗證，支持多輪交互和反饋機制。
• 創新點突出：

a.Holo1模型家族：專為網頁導航和信息提取任務設計的輕量級VLM，融合多樣化訓練數據（真實網頁、合成界面、代理行為軌跡等），實現跨界面泛化和精確定位。

b.多模態訓練策略：結合視覺、語言與行為軌跡數據，采用離線強化學習和行為克隆，提升模型對復雜網頁狀態的理解和決策能力。

c.WebClick基準：首次引入專門針對網頁UI元素定位的公開數據集，涵蓋多樣化網頁和日歷等復雜組件，推動定位技術標準化評測。

• 優勢解釋與對比：

       a.Holo1在多個公開及新建基準上超越同規模競品，兼具性能與成本優勢。

       b.Surfer-H結合Holo1實現了WebVoyager任務中92.2%的最優準確率，同時保持較低推理成本，優于現有主流系統。

實驗設計與結果分析

• 實驗設計：

a.在多項UI定位基準（Screenspot系列、GroundUI-Web及WebClick）上評測Holo1不同規模模型，比較同類先進模型表現。

b.在WebVoyager綜合任務集上，測試Surfer-H結合不同策略、定位器和驗證器模塊的性能，統計成功率與推理成本，分析嘗試次數對效果的影響。

c.評估模型在不同訓練數據組合下的泛化能力，特別是跨域與專域任務的表現差異。

• 結果分析：

      a.Holo1-3B與7B在定位準確率上均領先競品，7B模型表現更優，體現良好擴展性。

      b.Surfer-H搭載Holo1策略和GPT-4o驗證器，在10次嘗試內達成92.2%準確率，成本僅為主流競品的四分之一，呈現Pareto最優解。

      c.純Holo1驅動的驗證器雖然降低成本，但性能有所下降，表明驗證任務復雜，需更大模型能力支持。

      d.訓練包含豐富代理軌跡數據顯著提升模型在未見任務上的表現，驗證了跨域與專域結合訓練的必要性。

結論與展望

• 貢獻總結：

a.本文提出的Surfer-H及Holo1模型家族實現了高效、精準的網頁代理系統，填補了現有LLM在動態網頁交互中的空缺。

b.新引入的WebClick基準為網頁UI定位提供了標準化評測工具，促進相關領域研究進步。

c.通過多模態、大規模、多樣化訓練數據及模塊化設計，兼顧了性能和成本，推動智能代理技術向實際應用邁進。

• 局限性分析：

      a.驗證模塊性能仍有提升空間，表明復雜任務的多模態推理和反饋機制需要更強模型支持。

      b.訓練數據雖豐富，但仍依賴于合成及代理軌跡，真實世界多樣性和動態變化可能帶來挑戰。

• 未來展望：

      a.進一步優化驗證模塊，探索更高效的多模態推理策略，提升整體系統魯棒性。

      b.拓展訓練數據覆蓋更多實際場景和動態網頁，增強模型泛化能力。

      c.推動開放源代碼與數據集共享，促進社區合作，加速智能網頁代理技術的發展與應用普及。

VideoMathQA: Benchmarking Mathematical Reasoning via Multimodal Understanding in Videos

2025-06-05｜MBZUAI, UC Merced, Google, ANU, Link?ping U|??21

??http://arxiv.org/abs/2506.05349v1???
???https://huggingface.co/papers/2506.05349???
???https://mbzuai-oryx.github.io/VideoMathQA??

研究背景與意義

• 問題定義與挑戰

傳統數學推理研究多集中于靜態圖像或文本環境，然而視頻中數學推理面臨獨特挑戰：需要解析細粒度的視覺信息，準確識別手寫或數字文本，并整合分散且非線性出現的語音提示。成功的推理不僅依賴感知能力，更需在豐富且嘈雜的多模態信息流中精準篩選并整合關鍵上下文細節。

• 現有研究不足

現有數學推理基準多局限于靜態圖像或文本，缺乏對動態、時序和多模態信息的綜合評估。視頻問答領域雖有進展，但未針對數學問題的多模態、多步驟推理進行深入探討，且多依賴合成數據或狹窄任務，缺乏細致推理注釋，難以判斷模型是否真正理解。

• 研究目標

本文旨在通過引入VideoMathQA基準，系統評估模型在視頻中進行跨模態、時序延展的深度數學推理能力。該基準覆蓋10個數學領域，視頻時長從數秒到數小時，結合視覺、語音和文本信息，設計三大推理場景：直接問題解決、概念遷移和深度教學理解，輔以細粒度推理步驟注釋，實現對模型推理過程的精細診斷。

研究方法與創新

• 技術框架

VideoMathQA構建了一個包含420對真實視頻-問題對的多模態數學推理數據集。視頻涵蓋多種教學資源，包括白板講解、數字幻燈片、動畫圖表等，問題設計需模型跨越視覺、語音及文本模態，進行多步驟推理。每個問題配備4-10步專家標注的推理軌跡，支持細粒度評估。

• 創新點詳解

a.多模態時序推理挑戰：視頻中數學信息非線性展開，要求模型具備動態視覺理解（高分辨率幀OCR）、語音文本對齊及跨模態聯合推理能力，突破傳統靜態圖像或文本基準的局限。

b.三類推理任務設計：涵蓋直接觀察推理、概念遷移應用和長時多步驟教學理解，全面模擬真實教學場景下的數學思維過程。

c.細粒度推理注釋與評估機制：通過專家分階段標注推理步驟，模型不僅需給出最終答案，更需展現合理的推理路徑，支持中間推理質量和錯誤類型的深入分析。

d.多樣化數學領域與視頻時長：覆蓋幾何、統計、拓撲、圖論等10大領域，視頻長度從10秒至1小時，兼顧短期感知與長期依賴能力評估。

e.嚴格的視頻篩選與標注流程：結合自動篩選與專家人工復核，確保視頻內容富含時序動態與多模態信息，問題設計避免依賴單一模態，保證數據質量和挑戰性。

• 優勢比較

相較于現有視頻問答及數學推理基準，VideoMathQA突破了靜態與單模態限制，強調多模態信息的時序整合和深層推理，提供了更具挑戰性的評測平臺和更豐富的推理注釋，填補了視頻數學推理領域的空白。

實驗設計與結果分析

• 實驗設置

評測涵蓋30款模型，包括5個專有多模態大模型（如Claude-3.7-sonnet、GPT-4o、Gemini系列）及25個開源模型，參數規模從數十億到數百億不等。采用多種評估策略：多項選擇題（MCQ）、多二元選擇（MBin）、鏈式思維推理（CoT）及步驟級推理質量評估。

• 關鍵發現

a.模型性能整體較低：所有模型在VideoMathQA上的表現均遠低于理想水平，表明視頻數學推理的復雜性顯著超出現有模型能力。

b.多模態融合與時序推理難點突出：模型常因遺漏關鍵幀、符號或語音細節而推理失敗，顯示出對長時序多模態信息整合的不足。

c.模型規模與架構影響顯著：總體上，模型規模越大性能越好，尤其是在CoT推理設置中表現更佳；但新穎架構和訓練策略能使小模型超越舊大型模型，說明質量與規模同等重要。

d.專有模型與開源模型差距縮小：最新開源模型在多項指標上已接近甚至超越部分專有模型，顯示開源生態快速進步。

e.字幕信息提升性能：提供字幕輔助輸入顯著提升模型理解和推理效果，體現多模態信息互補價值。

f.細粒度推理評估揭示缺陷：步驟級評估顯示模型推理過程多存在邏輯跳躍和錯誤，提示未來改進方向應聚焦推理鏈條的完整性和準確性。

結論與展望

• 研究貢獻總結

VideoMathQA首次系統構建了一個涵蓋多模態、多時序、跨領域的數學視頻推理基準，設計了三大核心推理任務，配備細致的推理步驟注釋和多維度評估指標。通過廣泛模型評測，揭示了當前多模態大模型在視頻數學推理中的顯著不足和挑戰。

• 局限性分析

盡管數據集涵蓋廣泛數學領域與視頻類型，但樣本總量有限，且標注成本高昂限制了規模擴展。模型評估主要依賴現有公開及專有模型，尚未涵蓋所有可能的多模態融合與推理架構。推理步驟注釋雖細致，但對復雜推理的自動評估仍存在困難。

• 未來展望

a.數據集擴展與多樣化：未來可擴展更多數學領域與教學資源，豐富問題類型，提升數據規模和多樣性。

b.模型架構創新：推動設計更高效的多模態時序推理模型，強化長時依賴捕捉與跨模態信息融合。

c.推理解釋性與可驗證性：加強模型推理鏈的透明度和可解釋性，結合細粒度注釋推動自動化推理質量評估。

d.跨學科應用探索：將此類多模態數學推理技術推廣至教育輔助、智能輔導及科學研究等領域，促進人工智能與教育教學的深度融合。

綜上，VideoMathQA為視頻數學推理領域提供了首個系統化、多維度的評測平臺，推動了多模態理解與復雜推理技術的發展，未來有望成為推動智能數學教育和科學計算的重要基石。

AV-Reasoner: Improving and Benchmarking Clue-Grounded Audio-Visual Counting for MLLMs

2025-06-05｜NJU|??19

??http://arxiv.org/abs/2506.05328v1???
???https://huggingface.co/papers/2506.05328???
???https://av-reasoner.github.io??

研究背景與意義

• 研究背景：當前多模態大語言模型（MLLMs）在視頻理解領域取得了顯著進展，但在精細化任務如計數方面表現依然有限。計數任務要求模型具備精確的時空定位能力，能夠跨幀或場景識別并累積目標實例，這對模型的視覺、聽覺和語言對齊能力提出了嚴峻挑戰。
• 存在問題：現有計數基準測試多為短視頻，查詢類型封閉，缺乏線索注釋，且多聚焦單一模態，限制了模型綜合推理能力的評估。
• 研究意義：提出了CG-AV-Counting，一個涵蓋497個長視頻、1027個多模態問題及5845條線索注釋的計數基準，支持黑盒（端到端）與白盒（推理過程）雙重評估，填補了長視頻多模態計數評測的空白，推動多模態計數能力的全面提升。

研究方法與創新

• 技術描述：基于Ola-Omni模型，提出AV-Reasoner，通過結合GRPO強化學習算法和課程學習策略，訓練模型逐步掌握音視頻理解、時空定位及計數能力。訓練涵蓋多數據集的問答（AVQA）、時空定位（AVTG、ARIG）和計數任務，設計了多樣化的可驗證獎勵函數（格式正確性、IoU、相對MAE等）以引導模型生成結構化且準確的輸出。
• 創新點：

a.引入細粒度線索注釋，支持白盒評估，提升計數任務的可解釋性。

b.設計分階段課程學習和階段回顧機制，緩解任務間遺忘，促進技能的穩定遷移和累積。

c.利用強化學習優化模型在多模態計數任務中的推理策略，而非僅依賴標注數據，增強模型的泛化能力。

• 優勢解釋：該方法突破了傳統依賴大量計數標注數據的限制，通過任務相關性的能力遷移和策略優化，顯著提升了模型在復雜長視頻多模態計數任務中的表現，且具備良好的跨任務適應性和輸出格式控制能力。
• 與現有方法對比：相比以往短視頻、單模態或無線索注釋的基準，CG-AV-Counting提供更豐富的多模態、多目標計數場景，AV-Reasoner在多個音視頻理解和計數基準上均實現了領先性能，充分體現了強化學習與課程學習結合的優勢。

實驗設計與結果分析

• 實驗設計：評測涵蓋黑盒長視頻端到端計數、參考區間計數及白盒推理計數，使用準確率、偏差一計準確率、平均絕對誤差、均方根誤差及白盒計數評分（結合定位與計數準確性）等多維指標，全面衡量模型性能。
• 結果分析：

a.所有模型在計數任務上均遠低于人類水平，表明該任務的挑戰性。

b.關閉源模型普遍優于開源模型，Gemini 2.5 Pro/Flash表現最佳，顯示多模態融合的潛力。

c.開源音視頻模型未必優于視覺單模態模型，原因在于音視頻對齊不佳和缺乏針對性訓練。

c.AV-Reasoner通過GRPO訓練和課程學習顯著提升計數準確率和推理質量，尤其在白盒評測中表現出更強的因果解釋能力。

e.采用顯式推理輸出的模型版本在部分任務表現更優，驗證了推理過程的透明性對性能的促進作用。

• 統計顯著性：提升幅度覆蓋多個基準和指標，且通過多輪訓練與樣本篩選機制保證結果的穩定性和泛化性。
• 多場景表現：模型在涵蓋體育、生活記錄、幽默、教程等十余類長視頻中均表現出較強的適應能力，驗證了方法的廣泛適用性。

結論與展望

• 總結貢獻：本文提出了首個支持多模態長視頻計數的細粒度線索基準CG-AV-Counting，設計了結合強化學習與課程學習的AV-Reasoner模型，有效提升了MLLM在復雜計數任務中的性能和解釋能力，推動了多模態計數研究向更高精度和更強泛化邁進。
• 局限分析：當前模型在跨域泛化和音視頻對齊方面仍存在不足，計數任務中對精確時空定位和多模態融合的需求尚未完全滿足，推理輸出格式控制仍需進一步優化。
• 未來展望：

a.加強音視頻同步與多模態特征融合技術，提升模型對動態環境的感知能力。

b.探索更多樣化的訓練策略和獎勵設計，促進模型推理能力的進一步增強。

c.拓展基準數據集規模和多樣性，涵蓋更多實際應用場景，推動模型實用化。

d.深入研究模型推理過程的可解釋性與可控性，提升模型在實際部署中的可靠性和透明度。

本文轉載自??AI研究前瞻??，作者：胡耀淇