本篇總結(jié)了多模態(tài)大模型的評測任務和指標。

目前多模態(tài)大型語言模型（MLLMs）的研究主要集中在模型架構(gòu)和訓練方法上，但用于評估這些模型的基準測試的分析還比較少。

另外目前評測可能還存在三大問題：

• 目標不一致：每個模態(tài)、基準測試都有不同的目標，導致研究領(lǐng)域碎片化。
• 任務飽和：多樣化目標驅(qū)動的任務激增，這種飽和使得很難辨別真正創(chuàng)新或有影響力的基準測試，導致寶貴的資源被忽視或利用不足。
• 指標演變與差異：曾經(jīng)推出發(fā)一些設(shè)計良好的指標受到基準測試快速演變和頻繁更新的阻礙。

大家在評估哪些多模態(tài)大模型適用于自己的任務時，可能也會存在多方面的考慮，本篇對論文《A Survey on Multimodal Benchmarks: In the Era of Large AI Models》進行了一個解讀與快速總結(jié)，讓大家對多模態(tài)大模型評測內(nèi)容有個快速的了解，可以在實際挑選的時候，有意識地去評估模型的相關(guān)能力。

一、理解任務 

1. 視覺感知

視覺感知能力涉及提取顯著特征和準確識別和解釋視覺元素（例如，多個對象、文本信息和復雜的情感或隱含線索）

- 細粒度感知

• 多類識別：識別圖像中是否存在某些對象。
• 對象屬性：識別對象的特定屬性，如顏色、紋理和狀態(tài)。
• 對象計數(shù)：確定圖像中特定對象的實例數(shù)量。
• 對象位置：表示對象相對于圖像的位置。由于上下文在對象檢測中的重要性，CODE基準測試通過上下文豐富的環(huán)境更好地評估模型，增強了任務設(shè)計。
• 空間關(guān)系：推理兩個或多個對象之間的空間關(guān)系。
• 光學字符識別（OCR）：識別查詢區(qū)域內(nèi)的文本。

- 高階感知

• 情感識別：從圖像中識別情感表達。
• 含義理解：給定圖像和一組多項選擇問題，具有固定的可能答案，模型必須選擇最能解釋圖像的視覺隱含含義或價值的正確答案。
• 美學理解：通過問題從圖像中識別美學屬性（例如，內(nèi)容和主題），然后提供美學描述，最后通過數(shù)量分數(shù)進行美學評估。

- 綜合感知

目前主要是下面三個方向：

• 引入相對ICL準確性和相對魯棒性，用于多選QA，以衡量上下文學習和魯棒性，強調(diào)超越隨機猜測的改進；
• 引入通用智能準確性（GIA）指標，利用驗證性因子分析來驗證MLLMs的認知結(jié)構(gòu)與人類智能的一致性；
• 引入多模態(tài)增益（MG）衡量視覺輸入的改進，以及多模態(tài)泄漏（ML）檢測意外的數(shù)據(jù)暴露，確保公平比較。

2. 上下文理解

- 上下文依賴理解

給定一個查詢和一個帶有兩種不同上下文的圖像，MLLMs需要生成正確的響應。因此為了更好地衡量在不同上下文中識別的能力，設(shè)計了上下文意識指標。

- 多圖像理解

通常結(jié)合多圖像輸入任務，如動作識別和圖表理解。舉例來說，可以用于復雜任務的監(jiān)控和解密圖像序列中對象的位置變化。使用模型提取和標準化AI生成的描述中的對象和行為關(guān)鍵詞，將這些列表與人類基準進行比較以評估準確性。

- 長上下文理解

這項任務通過在長無關(guān)圖像和文本語料庫（haystack）中準確找到相應的信息來評估MLLM的長上下文理解能力。例如，模型必須定位由給定標題描述的特定子圖像；在文本任務中，模型從密集的多模態(tài)上下文中提取7位密碼，而在圖像任務中，識別并檢索嵌入在圖像中的文本，需要OCR能力。

- 交錯圖像-文本理解

給定交錯的圖像-文本內(nèi)容（例如，上下文示例），模型必須有效地響應查詢（例如，QA或字幕格式）

引入了交錯圖像-文本理解任務，其中模型不僅基于更長的圖像-文本序列回答問題，還識別與響應相關(guān)的特定圖像索引。

- 空間-時間感知

涉及檢索、排序和計數(shù)插入到視頻序列中的視覺（信息）“針”，挑戰(zhàn)模型準確處理和分析長上下文視頻中的空間和時間信息。

3. 特定模態(tài)理解

- 長視頻理解

以事件為導向的長視頻理解，并提出了層次化任務分類法，包括原子事件理解（例如，事件描述）、復合事件理解（例如，時間推理）和整體理解（例如，上下文推理）

- 綜合視頻理解

任務涵蓋三個不同的層次：視頻專有理解、基于先驗知識的問題回答和理解與決策。

另外強調(diào)技能（記憶、抽象、物理、語義）和推理類型（描述性、解釋性、預測性、反事實性）在視頻、音頻和文本模態(tài)上的跨模態(tài)評估任務。

- 音頻理解

關(guān)注六個維度的分類任務——內(nèi)容、說話者、語義、退化、副語言學和音頻處理——使用指令調(diào)整來評估模型處理已見和未見場景的能力。另外結(jié)合了基礎(chǔ)和基于聊天的音頻任務的層次化評估，涵蓋所有音頻類型。

- 3D理解

引入了兩個新任務：部件感知點定位和部件感知點定位字幕。

• 在部件感知點定位中，根據(jù)用戶指令預測部件級別的分割掩模。在
• 部件感知點定位字幕中，生成一個詳細的字幕，包括部件級別的描述，每個描述對應一個分割掩模。

另外也有通過NeRF權(quán)重解釋3D場景的幾何和逼真表示的任務。

- 全模態(tài)理解

評估模型識別來自不同模態(tài)的輸入實體的共同點的能力，挑戰(zhàn)它從四個給定選項中選擇最合適的答案。

任務強調(diào)視覺定位，并引入了多模態(tài)通用信息提取的概念，涉及跨文本、圖像、音頻和視頻輸入提取和關(guān)聯(lián)信息，確保實體和事件準確鏈接到它們對應的模態(tài)。

二、推理任務

1. 關(guān)系推理

關(guān)系推理任務可以廣泛分為三種主要類型：

第一種類型側(cè)重于預測關(guān)系，包括實體之間還是模式之間。

• 以實體為中心的任務涉及檢測對象及其成對關(guān)系，
• 以模式為中心的任務，旨在從給定的視覺模式中推斷關(guān)系，以預測后續(xù)模式。召回率和準確性分別用于評估以實體為中心和以模式為中心的任務。

第二類涉及空間中心關(guān)系，如地面空間推理，3D空間定位和細粒度空間推理。像基于IoU（交并比）的準確性這樣的指標用于評估性能。

第三類涉及時間中心關(guān)系，如基于不同視頻片段回答問題，或執(zhí)行時間和語言定位。這些任務的常見評估指標包括準確性、BLEU、BERT分數(shù)和召回率。最后，以比較為中心的任務側(cè)重于在對象、場景或情境之間進行相對比較。準確性用于評估。

2. 多步推理

多步推理任務可以廣泛分為兩種主要類型：基于規(guī)則的任務和思維鏈（CoT）任務。

在基于規(guī)則的任務中，期望應用預定義的規(guī)則或推斷底層模式來解決問題。例如，在尋找數(shù)學謎題中缺失值的任務中，模型必須從給定的信息中推斷出控制規(guī)則。

CoT任務強調(diào)模型將問題分解為一系列邏輯的、順序的步驟的能力。例如模型識別關(guān)鍵圖像區(qū)域并通過問題逐步推理，提供了中間邊界框和推理注釋以促進評估。

3. 反思推理

反思推理任務可以廣泛分為三種類型：反事實思維、分析性提問和知識編輯。

第一種反事實VQA 中，MLLMs被要求通過基于給定事實的假設(shè)場景生成答案，從而評估它們執(zhí)行反事實推理的能力。例如，一個典型的問題可能會問“如果地面是干的，人們戴著太陽帽而不是舉著傘，天氣可能會是什么？”。

第二種分析性提問這方面，現(xiàn)有工作主要集中在問答上，而分析性提問，包括提問和評估技能很大程度上沒有探索。

第三種類型的任務，知識編輯，評估MLLMs更新知識的能力，特別是當面對過時或不準確的信息時。例如，引入了一跳和多跳推理任務，用于知識編輯。知識編輯的指標更為微妙，包括可靠性、普遍性、局部性、可移植性和一致性等措施。

三、生成任務

1. 面向能力

- 交錯圖像-文本生成

給定包含文本和圖像的提示，此任務旨在評估模型在模態(tài)間生成連貫、交錯內(nèi)容的能力。

例如基于給定問題的交錯圖像-文本生成，模型僅基于給定的問題生成交錯內(nèi)容，而不提供初始圖像信息，推動模型推理和預測結(jié)果；

或?qū)Ｗ⒂诠适骂I(lǐng)域，涉及任務如多模態(tài)故事延續(xù)和多模態(tài)故事生成。前者專注于用文本和圖像擴展給定的敘述，而后者挑戰(zhàn)模型從頭開始創(chuàng)建整個敘述序列，無縫整合文本和視覺內(nèi)容。此任務的主要評估方向是生成的交錯圖像和文本的連貫性和一致性；

或者利用模型評估交錯圖像-文本內(nèi)容中的實體和風格一致性。通過采用思維鏈方法，BingChat逐步檢測和分析常見主題和視覺風格因素，如色彩調(diào)色板和氛圍，以生成最終的定量分數(shù)

- 代碼生成

涉及從各種格式的輸入創(chuàng)建編程代碼，如文本和圖像，甚至更復雜的網(wǎng)頁。旨在整合MLLMs的優(yōu)勢，它們可以理解和處理多樣化數(shù)據(jù)類型，促進將復雜的、多方面的規(guī)范轉(zhuǎn)換為可執(zhí)行代碼。

任務從網(wǎng)頁圖像生成HTML代碼，通過將代碼轉(zhuǎn)換回圖像并與ground-truth進行比較，專注于視覺保真度，而不是傳統(tǒng)的代碼級指標。

或強調(diào)功能性和視覺準確性，通過整合傳統(tǒng)的代碼執(zhí)行檢查與使用GPT-4v和詳細文本匹配指標的高級視覺評估，提供超出標準代碼通過率的全面評估。

- 指令遵循

要求MLLMs生成嚴格遵循給定指令或指令的輸出。

例如查詢輸入通常結(jié)合了定義目標和格式的任務指令，以及提供多模態(tài)上下文的特定任務實例。對于每個指令收集了指令條件字幕，這些字幕不僅提供圖像的一般描述，還強調(diào)與給定指令相關(guān)的特定信息。

- 幻覺

視覺幻覺（VH）指的是在視覺問答期間模型生成關(guān)于圖像的錯誤細節(jié)的實例，包括錯誤的前提、上下文不足和解釋視覺數(shù)據(jù)，幻覺發(fā)生在模型提供錯誤答案時，適當?shù)捻憫獞撌恰拔也恢馈薄?/p>

可以通過測量模型響應中幻覺對象的頻率來評估幻覺。

為了提高可信度并解決MLLMs中的幻覺，BEfore-AFter幻覺數(shù)據(jù)集（BEAF）引入了四個關(guān)鍵指標：真理解（TU）、無知（IG）、固執(zhí)己見（SB）和猶豫不決（ID）

TU評估模型是否正確回答了關(guān)于移除對象的問題；

• IG在給出錯誤答案時測量無知；
• SB評估模型堅持初始答案的傾向；
• SBp和SBn表示一致的“是”或“否”響應；
• ID跟蹤與移除對象無關(guān)的問題的答案的不必要變化。

- 安全性

安全性任務確保MLLMs的響應不會導致有害或非法的結(jié)果。LLM需要從安全回答、謹慎回答或拒絕回答中選擇。

對于毒性評估可以提供了輸入，如NSFW圖像（例如，暴力或露骨內(nèi)容）與字幕查詢配對，以評估模型傾向于生成有害響應的趨勢。

對于越獄，它涉及測試模型對旨在繞過安全協(xié)議的提示的抵抗力（例如，帶有嵌入文本截圖的圖像詢問非法查詢），并衡量模型是否以不違反安全指南的方式適當響應。

- 可信度

任務通過提供圖像與事實性或誤導性文本查詢配對的輸入來評估MLLMs，并評估它們響應的準確性。

例如專注于面部反欺騙和面部偽造檢測任務，要求MLLMs根據(jù)不同模態(tài)（例如，RGB、深度圖、紅外圖像）的挑戰(zhàn)性輸入，準確識別真實與假面部。

此外還可以引入了多屬性思維鏈范式，通過分析多個屬性（例如，形狀、顏色、紋理）來增強推理，以實現(xiàn)更可靠和全面的決策。

- 健壯性

MLLMs被給予圖像，并被要求回答正面問題以評估視覺理解，并回答誤導性問題以測試對欺騙性提示的健壯性，從多個選擇中選擇正確答案。

根據(jù)模型的響應如何專注于本質(zhì)的核心特征，同時忽略不相關(guān)、誤導性的偶然特征，評估其對跨模態(tài)偶然偏見的抵抗力。

2. 面向模態(tài)

- 僅文本

應用傳統(tǒng)的圖像字幕指標，例如ROUGE和METEOR，以及基于LLM的評估。

- 僅視覺

Inception Score（IS）和CLIP分數(shù)這樣的指標衡量與地ground truth的視覺保真度和多樣性。

為了評估風格一致性和重建準確性，采用像結(jié)構(gòu)相似性指數(shù)度量（SSIM）和峰值信噪比（PSNR）這樣的指標。

- 跨模態(tài)

確保不同模態(tài)間內(nèi)容一致性和敘事連貫性至關(guān)重要，跟交錯圖像-文本生成比較類似。

利用MLLMs評估圖像和文本之間的連貫性或一致性，通過檢查風格、實體、內(nèi)容趨勢等。

四、應用任務

1. 交互式?jīng)Q策制定智能體

這個任務將環(huán)境和智能體被建模為部分可觀察的馬爾可夫決策過程（POMDP）：E = (S, A, ?, T)

智能體接收狀態(tài)st ∈ S的部分觀察ot ∈ ?，采取行動at ∈ A，并根據(jù)函數(shù)T : S × A → S轉(zhuǎn)換到新狀態(tài)，旨在完成像網(wǎng)頁導航或信息檢索這樣的任務。

2. 具身決策制定智能體

該任務概述任務目標的語言指令以及進行人類水平的規(guī)劃，根據(jù)視覺輸入確定下一個合適的行動。這種視覺輸入由顯示過去幀的視頻序列組成，這些幀跟蹤任務進展，最后一幀代表當前的自我中心視圖。

3. 機器人應用

對模型響應進行判斷，將模型的響應分類為“A”（正確），“B”（錯誤）或“C”（不確定）。

4. 自動駕駛

引入圖形視覺問答（GVQA），其中推理任務被構(gòu)建為問題-答案對內(nèi)的有向圖，與傳統(tǒng)的自動駕駛視覺問答不同，GVQA利用問題-答案之間的邏輯依賴關(guān)系來增強回答過程。

本篇文把目前多模態(tài)大模型的評測方向和指標進行了一個羅列總結(jié)，大家可以在挑選大模型的時候基于自己想要完成的任務，進行特定方向的評測~

參考文獻

[1] A Survey on Multimodal Benchmarks: In the Era of Large AI Models

文轉(zhuǎn)載自公眾號瓦力算法學研所，作者：喜歡瓦力的卷卷

原文鏈接：??https://mp.weixin.qq.com/s/FtcTO-2AKOddLiO453yBGg??