小學數學題，大模型集體不及格！達摩院推出新基準VCBench
大模型做數學題的能力很強，可是它們真的能夠理解基本的數學原理嗎？
拿小學生的數學題進行測試，人類平均得分為93.30%，而大模型的表現讓人意外：
閉源模型中Gemini2.0-Flash（49.77%）、Qwen-VL-Max（47.03%）、Claude-3.7-Sonnet（46.63%）的綜合表現最佳，但仍未突破50%準確率。
why？
因為大模型可能并不能真正理解基本數學元素和視覺概念。
現有的視覺數學基準測試主要集中在知識導向的評估上，容易受到大型語言模型中預先嵌入的知識的影響。
上述結論來自達摩院推出的新基準VCBench——這是一個專為評估具備顯式視覺依賴性的多模態數學推理任務而設計的綜合基準。
該基準主要面向小學 1-6 年級的數學問題，即并不涉及復雜的數學或幾何推理，但高度依賴于顯式的視覺依賴性的問題。
解決這種問題，需要模型識別和整合圖像中的視覺特征，并理解不同視覺元素之間的關系。
△論文標題：Benchmarking Multimodal Mathematical Reasoning with Explicit Visual Dependency
VCBench現已全面開源，代碼可見文末。
強調vision-centric而非knowledge-centric
與以往側重知識評估的基準不同，VCBench更強調視覺為核心的評測。
它主要針對無需專業知識、而是依賴于對數學圖像和概念的常見感知推理的問題。
這種方法與兒童的學習路徑相符——他們首先掌握的是視覺推理能力，隨后才逐步獲取領域特定的知識。
聚焦多圖推理
VCBench聚焦于多圖（interleave）的問題輸入形式，每個問題平均包含3.9張圖像，顯著高于現有的多圖Benchmark。
這種設計要求模型能夠顯式地整合來自多幅圖像的視覺線索，并推理這些元素如何相互作用，這更符合現實世界中的情境——信息往往分散在多個視覺輸入之中。
全面評估純視覺推理的多種能力
VCBench全面地評估了純視覺推理的多種能力，涵蓋了六大核心認知領域：時間與日歷、空間與位置感、幾何與形狀、物體與運動、推理與觀察以及組織與模式。
此外，它還評估了五種不同的認知能力：時間推理、幾何推理、邏輯推理、空間推理以及模式識別。
綜合實驗分析結果
在VCBench的綜合實驗測試中，人類平均得分93.30%，顯著優于所有AI模型，表明當前任務對人類而言可解，但對AI系統仍具挑戰性；
閉源模型中Gemini2.0-Flash（49.77%）、Qwen-VL-Max（47.03%）、Claude-3.7-Sonnet（46.63%）表現最佳，但仍未突破50%準確率；
開源模型表現整體趨勢低于閉源模型，且表現參差不齊，可能與架構差異、多模態整合程度或訓練數據質量有關；
大模型在推理、找規律一類問題上表現較好，但在空間幾何表現很差，說明在由小學數學題構建的評測基準中，大模型的邏輯推理能力是過剩的，但是視覺和幾何感知則嚴重不足。
單圖實驗對照結果
VCBench的一個核心目標是評估模型多圖像依賴的推理能力，但為了驗證模型是否真正具備跨圖像組合推理（compositional reasoning）而非依賴單圖優化，需引入單圖實驗作為對照。
如下圖所示，將文字和圖片整合成一張大圖。
單圖和多圖結果對比表明，除專為多圖設計的模型外，大多數模型在單圖場景下表現顯著優于多圖（平均提升42.3%）。
例如，Emu2-Chat單圖性能飆升281.5%，Qwen-VL-Max提升21.3%，說明常規模型更擅長從孤立圖像提取信息，但缺乏跨圖像關聯和時序推理等關鍵能力。
思維鏈（CoT）對模型性能的影響分析
VCBench團隊在三個閉源模型上對比了加入CoT以后對模型性能的影響，得到如下結論：
1、在需要多步邏輯推理的任務中（如模式識別、幾何推理），CoT能帶來顯著性能提升（如Qwen-VL-Max在reasoning任務上提升40%），說明通過顯式分解推理步驟，幫助模型更好地整合視覺和語言信息，減少邏輯跳躍錯誤。
2、效果具有任務依賴性：對感知型任務（如日歷讀取、方向判斷）效果有限甚至產生干擾。這類任務更依賴直接視覺感知而非分步推理，CoT的中間步驟反而可能降低效率。
錯誤類型分布分析
錯誤類型可分為以下5種：
- 視覺感知錯誤：模型對視覺內容的誤讀或未能準確感知；
- 計算錯誤：算術計算過程中的失誤；
- 上下文誤讀：模型錯誤解讀文本內容；
- 邏輯錯誤：推理過程中的出錯；
- 答案整合錯誤：未能直接回答問題或提供多個相互沖突的答案。
VCBench團隊對四個頂尖模型的所有錯題進行了手動錯誤分類，從而能夠精準識別每個模型在不同錯誤類別中的相對弱點。
通過分析，得到了如下結論：
1、視覺感知錯誤在所有模型中占比最高，是當前多模態模型最薄弱的環節。所有模型的視覺感知錯誤占比均超過50%，其中Gemini2-Flash高達62%。這表明基礎視覺理解能力仍是當前多模態模型的主要瓶頸。
2、計算錯誤（4-7%）和上下文誤解錯誤率普遍較低（3-6%），其中Gemini2-Flash（3%）和Claude（4%）表現最佳，而QVQ（6%）略高，可能反映其存在過度推理傾向。
3、邏輯推理能力在不同模型之間存在顯著差異。Claude的邏輯錯誤率最高（33%），這反映了其推理穩定性在本基準中欠佳。
4、答案整合方面，GPT-4o的答案整合錯誤率最高（23%），可能因其探索性推理產生多個答案而犧牲了響應規范性。
論文鏈接：http://arxiv.org/abs/2504.18589數據倉庫：https://huggingface.co/datasets/cloudcatcher2/VCBench代碼：https://github.com/alibaba-damo-academy/VCBench網頁：https://alibaba-damo-academy.github.io/VCBench/
