團(tuán)隊(duì)的共同一作林之秋（Zhiqiu Lin）是卡內(nèi)基梅隆大學(xué)的博士研究生，由Deva Ramanan教授指導(dǎo)，專注于視覺-語言大模型的自動評估與優(yōu)化。團(tuán)隊(duì)的馬紫晛（Zixian Ma）是華盛頓大學(xué)的博士研究生，由Ranjay Krishna教授指導(dǎo)，專注于視覺-語言大模型的評測以及與人的交互。

在諸如 MME、MMBench、MMMU 和 ScienceQA 等復(fù)雜的視覺問答（VQA）基準(zhǔn)上，GPT-4o、Qwen2-VL 等視覺語言模型已經(jīng)取得了顯著進(jìn)展。然而，這些模型真的理解自然圖像嗎？

近日，卡內(nèi)基梅隆大學(xué)與華盛頓大學(xué)的研究團(tuán)隊(duì)推出了 NaturalBench，這是一項(xiàng)發(fā)表于 NeurIPS'24 的以視覺為核心的 VQA 基準(zhǔn)。它通過自然圖像上的簡單問題——即自然對抗樣本（Natural Adversarial Samples）——對視覺語言模型發(fā)起嚴(yán)峻挑戰(zhàn)。

• ??論文鏈接: https://arxiv.org/abs/2410.14669
• ??網(wǎng)站: https://huggingface.co/datasets/BaiqiL/NaturalBench

視覺語言模型（VLMs），如 GPT-4o、BLIP-3、LLaVA-OneVision、Llama3.2-Vision、Molmo 和 Qwen2-VL，在 MMMU 和 MME 等復(fù)雜視覺問答（VQA）基準(zhǔn)上表現(xiàn)出色。這些基準(zhǔn)涵蓋了大學(xué)課程、常識推理、圖表理解，以及數(shù)學(xué)、編程、物理和時(shí)序預(yù)測等任務(wù)。

然而，研究團(tuán)隊(duì)發(fā)現(xiàn)，這些模型在應(yīng)對自然圖像中的簡單問題時(shí)仍存在不足。下圖展示了人類能輕松解答的 VQA 示例，但即使是最先進(jìn)的模型也常會出錯(cuò)，研究團(tuán)隊(duì)將這些問題稱為「自然對抗樣本」。

模型之所以能在以往流行的 VQA 基準(zhǔn)上表現(xiàn)出色，主要依賴于其過度的語言偏見（Language Bias）。為證明這一點(diǎn)，研究團(tuán)隊(duì)展示了六大基準(zhǔn)中的一些問題，即使不查看圖像也能作答。

例如，模型可以通過語言先驗(yàn)（Language Prior）回答諸如「馬薩諸塞州的首府是什么？」（「波士頓」）和「圖片中有黑色長頸鹿嗎？」（「否」）這樣的問題，而無需依賴圖像信息。

為了解決這一問題，NaturalBench 設(shè)計(jì)了配對任務(wù)，將兩幅圖片與兩個(gè)相反答案的問題匹配，以避免模型可以憑「盲猜」僥幸答對。

NaturalBench 數(shù)據(jù)集收集過程

NaturalBench 通過一個(gè)簡單的流程從 Flickr30K 等圖文數(shù)據(jù)集中構(gòu)建，具體步驟如下：

1. 找出 CLIP 無法正確匹配的圖文對。

2. 使用 ChatGPT 為每個(gè)圖文對生成相反答案的問題。

通過避免對圖像或問題進(jìn)行非自然干擾，NaturalBench 生成了自然的對抗樣本。這些樣本基于自然圖像提出的問題，人類可以輕松理解并回答，但對模型來說卻極具挑戰(zhàn)性。

通過該流程及人工質(zhì)檢，研究團(tuán)隊(duì)最終收集了 10,000 個(gè)高質(zhì)量 VQA 樣本，用于可靠評估視覺語言模型。

NaturalBench 實(shí)驗(yàn)結(jié)果

基于 NaturalBench 中「兩張圖片 + 兩個(gè)問題」配對的格式，研究團(tuán)隊(duì)提出了更可靠的視覺為中心評估指標(biāo) ——Group Accuracy (G-Acc)。只有當(dāng)模型正確回答一個(gè)樣本中的所有四個(gè)（圖片、問題）組合時(shí)，才能得一分。

研究人員發(fā)現(xiàn)了以下重要的實(shí)驗(yàn)結(jié)論：

1、先前的 VQA 基準(zhǔn)存在盲猜問題：流行的 VQA 基準(zhǔn)，（如 MME 和 ScienceQA）可以通過微調(diào)不具視覺能力的 GPT-3.5 來解決，其表現(xiàn)甚至超過了經(jīng)過視覺微調(diào)的 LLaVA-1.5。然而，在 NaturalBench 上，這種「盲猜」模型只能得到零分！

這表明，當(dāng)前的視覺語言模型可能在視覺問答任務(wù)上依賴強(qiáng)大的語言盲猜能力「渾水摸魚」。

2、當(dāng)前開源模型的表現(xiàn)有限：研究團(tuán)隊(duì)對 53 個(gè)視覺語言模型進(jìn)行了測試，結(jié)果顯示，大多數(shù)開源模型（如 BLIP-3、Cambrian-1、LLaVA-OneVision、Llama3.2-Vision、Molmo 和 Qwen2-VL）的得分僅比隨機(jī)水平高 10%-20%。即使是經(jīng)過視覺微調(diào)的 GPT-4o，其表現(xiàn)仍比人類低 50%。

這表明，目前的視覺語言模型在自然圖像的視覺理解能力上還有巨大提升空間。

NaturalBench 實(shí)驗(yàn)討論

研究人員對提升視覺語言模型的方向進(jìn)行了探討，并發(fā)現(xiàn)兩個(gè)重點(diǎn)：

1、讓大模型不再「盲選」：大多數(shù)模型失敗的關(guān)鍵在于，無論圖像內(nèi)容如何，它們總是盲目選擇相同的選項(xiàng)。在 GPT-4o 出錯(cuò)的問題中，超過 80% 是因?yàn)槟Ｐ驮谌魏螆D像下都選擇了同一答案（如「是」）。研究人員發(fā)現(xiàn)，糾正這一傾向后，模型性能可提升兩到三倍！

研究團(tuán)隊(duì)采用了一種基于評分的評估方式（VQAScore），通過調(diào)整同一問題下兩個(gè)不同選項(xiàng)的得分差，確保模型在回答「是」和「否」時(shí)的比例保持一致。僅憑這一簡單調(diào)整，像 GPT-4o 這樣的強(qiáng)大模型的表現(xiàn)幾乎翻了兩倍！

這意味著 NaturalBench 可以作為一個(gè)糾正模型偏見的基準(zhǔn)，幫助減少模型的盲猜行為和幻覺問題。

2、大模型仍需提升組合性思維（compositional reasoning）能力：NaturalBench 的大部分問題要求模型同時(shí)具備多種視覺技能（compositional reasoning），包括對象（object）、屬性（attribute）、關(guān)系（relation）和邏輯（logic）等維度。

為此，研究團(tuán)隊(duì)為 NaturalBench 中的每個(gè)問題標(biāo)注了 1 到 8 個(gè)技能標(biāo)簽，對組合推理能力進(jìn)行了細(xì)致評估。結(jié)果表明，即便是 GPT-4o，在空間關(guān)系、邏輯推理等方面仍有顯著的提升空間。

NaturalBench 對動態(tài)評測（Dynamic Evaluation）的意義

傳統(tǒng)機(jī)器學(xué)習(xí)模型在靜態(tài)基準(zhǔn)上追平人類表現(xiàn)通常需要多年，例如 MNIST 用了 15 年，ImageNet 用了 7 年。然而，由于當(dāng)前大模型大量使用互聯(lián)網(wǎng)數(shù)據(jù)，數(shù)據(jù)集泄露使新基準(zhǔn)在數(shù)月內(nèi)就可能過時(shí)。因此，近期研究提倡動態(tài)評估（Dynamic Evaluation），常見的方法是通過人機(jī)協(xié)作（human-and-model-in-the-loop）收集對抗樣本。

例如，Adversarial NLI 和 Dynabench 要求標(biāo)注者不斷設(shè)計(jì)難題使模型出錯(cuò)，而 Adversarial VQA 讓標(biāo)注者為圖片反復(fù)生成問題，直到模型失敗。

相比之下，NaturalBench 不針對特定 VQA 模型，且只需標(biāo)注者一次性驗(yàn)證，大大提高了動態(tài)基準(zhǔn)構(gòu)建的效率。研究團(tuán)隊(duì)還使用先進(jìn)的 LongCLIP 等模型，從 DOCCI 和 XM3600 數(shù)據(jù)集中收集了更復(fù)雜且多語種的 VQA 樣本，證明了 NaturalBench 在未來大模型的動態(tài)評估中具有廣泛的適用性。

最后，NaturalBench 數(shù)據(jù)集已經(jīng)開源：https://huggingface.co/datasets/BaiqiL/NaturalBench/ 

期待未來更加強(qiáng)大的視覺語言模型問世！