MLLM真能看懂數學嗎？MathVerse來了次摸底測評，放出當天登熱榜
1、背景
在大算力的數字化時代下，大語言模型（LLM）以其令人矚目的發展速度，正引領著技術的潮流。基于它們強大的文本理解和生成能力，各大研究機構正在探索如何將這些能力擴展至視覺領域，構建一個能夠理解和生成多模態內容的超級智能體 —— 多模態大語言模型（MLLMs）。
在追求通用視覺性能的道路上，社區內已經涌現出眾多精心設計的測評 benchmark。它們通常使用貼近日常生活的自然圖片作為樣例，為 MLLMs 的視覺能力提供全面的評估，如 MME、MMBench 等。然而，要深入了解 MLLMs 的 “思維” 和 “推理” 能力，僅憑通用視覺性能的測評遠遠不夠。多模態數學題求解能力，才是衡量它們深度認知和邏輯推理能力的真正試金石。
盡管如此，目前領域內依然缺少針對 MLLM 數學解題能力的測評 benchmark。現有的少數嘗試，如 GeoQA、MathVista 和 MMMU，通過深入分析，仍然存在一定的問題和偏差。鑒于此，我們推出一個全新的測評 benchmark——MathVerse，旨在深入探究 MLLMs 是否真正具備解讀和解答多模態數學題的能力，為未來的技術發展提供獨特的見解。
- 論文：https://arxiv.org/pdf/2403.14624.pdf
- 主頁：https://mathverse-cuhk.github.io/
- 代碼：https://github.com/ZrrSkywalker/MathVerse
- 數據集：https://huggingface.co/datasets/AI4Math/MathVerse
- 題目：MATHVERSE: Does Your Multi-modal LLM Truly See the Diagrams in Visual Math Problems??
值得一提的是，這項研究在當日的 HuggingFace Daily Paper 中排名第一，并在推特上引發了廣泛的討論，瀏覽量高大 10K+。
2、關鍵發現
然而，通過全面觀察和分析，我們發現當前多模態數學 benchmark 中存在的三個關鍵問題：
MLLM
?
在測評中是否真正 “看到” 了數學圖像？這是關于準確評估視覺數學問題解決能力最基本的問題。圖 1（a）展示了當前 benchmark 中的三個示例。我們觀察到，它們的題目文本中包含了大量與圖像內容重復的信息（以紅色高亮顯示）。這種冗余可能無意中為 MLLM 提供了一條捷徑，使它們在解決問題時主要通過閱讀文本，而不是解讀圖表。我們假設從圖 1（b）的實驗中得到了支持。我們對每個 benchmark 隨機抽樣的 40 個問題，移除了這種冗余文本，挑戰 MLLM 僅從視覺輸入中捕獲相應的信息。結果顯示，大多數 MLLM 的準確率顯著下降（藍色柱子），甚至低于不將圖表作為輸入時的得分（灰色柱子）。這一結果表明，MLLM 在解決這些問題時，主要依賴于文本線索，而非真正去理解視覺圖像本身，并且，在不輸入圖像的情況下，甚至可以得到更高的評分。鑒于此，我們展示了當前的視覺數學 benchmark 可能不足以全面評估 MLLM 的真正多模態數學推理能力。
僅通過 MLLM 回答的最終答案來評估是否公平？
大多數現有的多模態 benchmark 直接將模型輸出與真值進行比較，以得出二元評估結果（“正確” 或者 “錯誤”）。雖然這種方法對于通用的視覺問答情境可能足夠，但在需要復雜逐步推理的數學問題中卻顯得過于武斷。在圖 2 中，我們展示了三個不同模型的輸出。盡管它們最終都得到了錯誤的答案，但它們在中間推理過程中展現了不同程度的精確性。僅將這些輸出歸類為 “錯誤”，未能捕捉到 MLLMs 推理質量的細微差別。
它們是否能夠全面并且專注的體現出 MLLM 的數學推理能力？
GeoQA 僅僅包含了平面幾何數學題，從而限制了對更廣泛數學能力的評估，例如函數和立體幾何。相反，MathVista 加入了廣泛的輔助任務（自然圖像、統計圖表）來擴展范圍，但這些并不直接評估 MLLM 的專業數學技能。此外，MMMU 中的數學問題具有大學級別的復雜度，需要廣泛的領域特定知識，這可能阻礙 MLLMs 充分展示它們的推理能力。
3、MathVerse Benchmark
數據組成和統計
?
MathVerse 測評數據集收集了 2612 個多模態數學題，并人工標注構造了多達 15672 個測試樣本，廣泛涵蓋了 3 個主要題目類型和 12 個子類，例如平面幾何、立體幾何和函數。經過團隊細致檢查與標注，MathVerse 高質量數據可以為 MLLM 提供一個魯棒且全面的能力測評。
如何體現 MLLM 的數學圖像理解能力？
我們首先根據題目中文本和圖像的信息關聯，如下圖所示，定義了 3 種不同的文本類別：
- a.描述信息，Descriptive Information（DI，紅色高亮部分）指的是圖像中可直接觀察出的內容。它描繪了基本圖形組成、幾何形狀和空間布局。此類文本信息對于圖像而言是重復性的，因此被視為解決問題的冗余信息。
- b.隱含屬性，Implicit Property（IP，藍色高亮部分）指的是那些需要更強的視覺感知能力才能從圖像中辨識出來的屬性。它代表著解決問題所需的較強視覺條件，如線條之間的平行性和垂直性、三角形之間的相似性和全等性、函數的種類和周期性。
- c.基本條件，Essential Condition（EC，綠色高亮部分）指的是題目中給定的具體數值，它們是推導解決方案不可或缺的條件，并且不能從視覺圖表中直接得出，例如角度、長度的精確值和函數表達式。
基于以上三種文本信息的定義，我們將每道多模態數學題通過人工標注，系統地移除問題中的不同文本信息，并逐步將關鍵元素融入到圖表中，拓展為 6 個不同的題目版本，如下圖所示。這種方法可以逐漸減少文本中提供的信息量，從而越來越有力地迫使 MLLM 從視覺輸入中捕獲數學條件。通過比較 MLLM 在不同題目版本之間的得分，我們可以很清晰的評估它們的真實視覺理解能力。
如何細致評估 MLLM 的中間解題步驟？
與一般情景下的視覺問題回答相比，MLLM 解決數學問題的過程需要細膩、逐步的鏈式推理（Chain-of-Thought，CoT）。為此，我們提出了一種 CoT 評估策略，以細致的評估它們的視覺數學鏈式推理能力。我們的 CoT 策略通過分別提示 GPT-4 和 GPT-4V 進行兩個階段的測評：關鍵步驟提取（Key-step Extraction）和多步評分（Multi-step Scoring）。如下圖所示：
這種評估策略不僅關注最終答案的正確性，而且更加重視解題過程中的邏輯連貫性和推理深度。通過這種方法，我們能夠更加精準地揭示 MLLM 在解決復雜數學問題時的真實能力，尤其是它們如何一步步構建問題解決方案的能力。這對于理解 MLLMs 的思維方式、推理能力，以及它們如何處理和解釋視覺與數學信息的綜合能力至關重要。
實驗與結論
我們在 MathVerse benchmark 上測評了 17 個現有的 MLLM，如下表所示。其中 “CoT-E” 代表使用了我們提出的 CoT 測評策略，而 “w/o” 代表了直接進行二元對錯的測評結果。
基于測評，我們可以得出以下結論：
- MLLM 更依賴于文本信息去解題，而不是觀察數學圖像。
- 除 GPT-4V 和 ShareGPT4V 之外，大部分 MLLM 在沒有圖像輸入的情況下，僅僅通過文本竟然可以獲得更高的得分，證明如今低質量的視覺編碼對于解題來說起到了負面的作用。
- MLLM 很難從圖像中準確的解讀出題目中的基本條件和問題。
- 閉源模型的多模態數學解題能力要比開源模型更好。
- 通過比較 G-LLaVA 和 LLaVA-1.5，使用數學訓練數據進行模型微調可以提升特定的解題能力，但是也會降低其泛化能力。
- CoT 測評相比二元測評可以更全面的體現模型的邏輯推理能力。
本文轉自 機器之心 ，作者：機器之心
