近期，隨著多模態大模型（LMM） 的能力不斷進步，評估 LMM 性能的需求也日益增長。與此同時，在中文環境下評估 LMM 的高級知識和推理能力的重要性更加突出。

在這一背景下，M-A-P 開源社區、港科大、滑鐵盧大學、零一萬物等聯合推出了面向中文大規模多學科多模態理解和推理基準 CMMMU（Chinese Massive Multi-discipline Multimodal Understanding and Reasoning），用于評估基本模型在中文各種任務中的專家級多模式理解能力。

CMMMU 涵蓋 6 個大類學科，包括藝術、商業、健康和醫學、科學、人文與社會科學、技術與工程，跨越 30 多個細分領域學科。下圖給出了每個細分領域學科的一個題目示例。CMMMU 是第一個在中文背景下的多模態基準，也是現有少數的考察 LMM 復雜理解和推理能力的多模態基準之一。

數據集構建

數據采集

數據采集分為三個階段，第一階段由研究者們為每一個科目收集滿足版權許可要求的題目來源（網頁或者書籍），同時避免題源重復，然后第二階段，研究者們將題源轉發給眾包標注者以進行進一步的標注。所有的標注者都是本科生或更高的學位，以確保他們可以驗證標注的問題和相關的解釋。在標注過程中，研究者要求標注者嚴格遵循標注原則，比如過濾掉不用圖片就能回答的問題、盡可能地過濾掉使用相同圖像的問題與不需要專家知識來回答的問題等。最后第三階段，研究者為了平衡數據集中每一科目題目數量，對問題收集較少的科目專門進行補充。

數據集清洗

為了進一步提高 CMMMU 的數據質量，研究者們遵循嚴格的數據質量控制協議。首先，每個問題都由至少一位論文作者手工驗證。其次，考慮到數據污染問題，他們也過濾掉了在不借助 OCR 的情況下，幾個 LLM 也可以回答出的問題。

數據集概覽

CMMMU 由 12K 個題目組成，分為少樣本開發集、驗證集和測試集。少樣本開發集包括每個學科 5 個左右的題目，驗證集抽樣出 900 個題目，測試集包括 11K 題目。題目中的圖片包括病理圖、樂譜圖、電路圖、化學結構圖等等，共 39 種類型。他們根據邏輯難度而不是智力難度將數據分為簡單 (30%)、中等 (58%) 和困難 (12%) 三種難度。更多題目統計信息在表 2 和表 3 中展示。

實驗

團隊測試了多種主流的中英文雙語 LMM 以及幾個 LLM 在 CMMMU 上的表現。其中包含了閉源和開源模型。評估過程使用 zero-shot 設置，而不是微調或者 few-shot 設置，以檢查模型的原始能力。LLM 還加入了圖片 OCR 結果 + text 作為輸入的實驗。所有的實驗都是在 NVIDIA A100 圖形處理器上進行的。

主要結果

表 4 展示了實驗結果：

一些重要發現包括：

- CMMMU 比 MMMU 更具挑戰性，且這是在 MMMU 已經非常具有挑戰性的前提下。  

GPT-4V 在中文語境下的準確率僅為 41.7% ，而在英語語境下的準確率為 55.7% 。這表明，現有的跨語言泛化方法甚至對于最先進的閉源 LMM 都不夠好。

- 與 MMMU 相比，國內具有代表性的開源模型與 GPT-4V 之間的差距相對較小。  

Qwen-VL-Chat 和 GPT-4V 在 MMMU 上的差異為 13.3% ，而 BLIP2-FLAN-T5-XXL 和 GPT-4V 在 MMMU 上的差異為 21.9% 。令人驚訝的是，Yi-VL-34B 甚至將 CMMMU 上開源雙語 LMM 和 GPT-4V 之間的差距縮小到了 7.5% ，這意味著在中文環境下，開源雙語 LMM 與 GPT-4V 相當，這在開源社區中是一個有希望的進步。

- 在開源社區中，追求中文專家多模態人工通用智能 (AGI) 的游戲才剛剛開始。  

團隊指出，除了最近發布的 Qwen-VL-Chat、 Yi-VL-6B 和 Yi-VL-34B 外，所有來自開源社區的雙語 LMM 只能達到與 CMMMU 的frequent choice 相當的精度。

對不同題目難度和題型的分析

- 不同題目類型

Yi-VL 系列、 Qwen-VL-Plus 和 GPT-4V 之間的差異主要還是因為它們回答選擇題的能力不同。

不同題目類型的結果如表 5 所示：

- 不同題目難度

結果中值得注意的是，最好的開源 LMM (即 Yi-VL-34B) 和 GPT-4V 在面對中等和困難的問題時存在較大的差距。這進一步有力地證明，開源 LMM 和 GPT-4V 之間的關鍵差異在于在復雜條件下的計算和推理能力。

不同題目難度的結果如表 6 所示：

錯誤分析

研究者們仔細分析了 GPT-4V 的錯誤答案。如下圖所示，錯誤的主要類型有感知錯誤、缺乏知識、推理錯誤、拒絕回答和注釋錯誤。分析這些錯誤類型是理解當前 LMM 的能力和局限性的關鍵，也可以指導未來設計和培訓模型的改進。

- 感知錯誤 (26%) : 感知錯誤是 GPT-4V 產生錯誤示例的主要原因之一。一方面，當模型無法理解圖像時，會引入對圖像基本感知的偏差，從而導致不正確的響應。另一方面，當模型遇到特定領域知識、隱含意義或不明確的公式中的歧義時，它往往表現出特定領域的知覺錯誤。在這種情況下，GPT-4V 傾向于更多地依賴基于文本信息的回答 (即問題和選項) ，優先考慮文本信息而不是視覺輸入，從而導致理解多模態數據的偏差。

- 推理錯誤 (26%) : 推理錯誤是 GPT-4V 產生錯誤例子的另一個主要因素。在模型正確地感知到圖像和文本所傳達的意義的情況下，在解決需要復雜邏輯和數學推理的問題時，推理過程中仍會出現錯誤。通常，這種錯誤是由于模型較弱的邏輯和數學推理能力造成的。

- 缺乏知識 (22%) : 缺乏專業知識也是 GPT-4V 錯誤作答的原因之一。由于 CMMMU 是評價 LMM 專家 AGI 的基準，因此需要不同學科和子領域的專家級知識。因此，將專家級知識注入 LMM 也是可以努力的方向之一。

- 拒絕回答 (12%) : 模型拒絕回答也是一種常見的現象。通過分析，他們指出模型拒絕回答問題的幾個原因: (1) 模型未能從圖像中感知到信息；(2) 是涉及宗教問題或個人現實生活信息的問題，模型會主動回避；(3) 當問題涉及性別和主觀因素時，模型避免直接提供答案。

- 其錯誤：其余的錯誤包括文本理解錯誤 (7%)、標注錯誤 (2%) 和答案提取錯誤 (5%)。這些錯誤是由于復雜的結構跟蹤能力、復雜的文本邏輯理解、響應生成的局限性、數據標注的錯誤以及答案匹配提取中遇到的問題等多種因素造成的。

結論

CMMMU 基準測試標志著高級通用人工智能 (AGI) 開發的重大進展。CMMMU 的設計是為了嚴格評估最新的大型多模態模型 (LMMs) ，并測試基本的感知技能，復雜的邏輯推理，以及在特定領域的深刻專業知識。該研究通過比較中英雙語語境下 LMM 的推理能力，指出其中的差異。這種詳盡的評估對于判定模型水平與各個領域經驗豐富的專業人員的熟練程度的差距至關重要。