大模型的“5年高考3年模擬”數(shù)學(xué)題來(lái)了，還是加強(qiáng)強(qiáng)強(qiáng)版！

微軟、加州大學(xué)洛杉磯分校（UCLA）、華盛頓大學(xué)（UW）聯(lián)合打造全新多模態(tài)數(shù)學(xué)推理基準(zhǔn)數(shù)據(jù)集。

名為“MathVista”。

涵蓋各種題型共6141個(gè)問(wèn)題，來(lái)源于28個(gè)現(xiàn)有的多模態(tài)數(shù)據(jù)集和3個(gè)新標(biāo)注的數(shù)據(jù)集。

這下想要知道一個(gè)大模型數(shù)學(xué)水平怎么樣，直接讓它來(lái)做這份試卷。

12個(gè)最新的大模型已經(jīng)搶先體驗(yàn)了一把試題難度。

一份112頁(yè)的詳細(xì)評(píng)測(cè)報(bào)告連同數(shù)據(jù)集一起發(fā)布。

報(bào)告顯示，面對(duì)MathVista中豐富的任務(wù)類(lèi)型、推理方式和圖像類(lèi)型，即使是當(dāng)前最先進(jìn)的GPT-4V做起來(lái)都有“挫敗感”，準(zhǔn)確率為49.9%，和人類(lèi)還有10.4%的差距。

Bard排名第二，準(zhǔn)確率為34.8%，差距再次拉大。

此外，報(bào)告中還深入分析了GPT-4V在自我驗(yàn)證、自洽性和多輪對(duì)話(huà)能力的研究潛力等。

詳細(xì)內(nèi)容我們接著往下看。

MathVista基準(zhǔn)數(shù)據(jù)集

數(shù)學(xué)推理能力被視為實(shí)現(xiàn)AGI關(guān)鍵一步。除了傳統(tǒng)的純文字場(chǎng)景，許多數(shù)學(xué)研究和應(yīng)用還涉及到豐富的圖形內(nèi)容。

然而，大模型在視覺(jué)場(chǎng)景下的數(shù)學(xué)推理能力尚未被系統(tǒng)地研究。

因此，微軟聯(lián)合加州大學(xué)洛杉磯分校（UCLA）和華盛頓大學(xué)（UW）共同開(kāi)發(fā)了這一多模態(tài)數(shù)學(xué)推理基準(zhǔn)數(shù)據(jù)集——MathVista，聚焦于視覺(jué)場(chǎng)景下的數(shù)學(xué)問(wèn)答任務(wù)。

正如上文提到的，MathVista包含6141個(gè)數(shù)學(xué)問(wèn)題，來(lái)自于28個(gè)現(xiàn)有數(shù)據(jù)集和3個(gè)新標(biāo)注數(shù)據(jù)集。

其中三個(gè)新標(biāo)注的數(shù)據(jù)集是IQTest、FunctionQA和PaperQA，各有特色。

IQTest側(cè)重于智力測(cè)試題，F(xiàn)unctionQA專(zhuān)注于函數(shù)圖形的推理，而PaperQA則關(guān)注于對(duì)文獻(xiàn)中的圖表進(jìn)行深入理解，有效地彌補(bǔ)了現(xiàn)有數(shù)據(jù)集的不足。

此外，MathVista覆蓋了兩種主要的任務(wù)類(lèi)型：多選題（占比55.2%）和數(shù)值型開(kāi)放題（占比44.8%）。

包括五大任務(wù)類(lèi)別：圖形問(wèn)答（FQA）、幾何解題（GPS）、數(shù)學(xué)應(yīng)用題（MWP）、教材問(wèn)答（TQA）和視覺(jué)問(wèn)答（VQA）。

這些任務(wù)類(lèi)別代表了當(dāng)前數(shù)學(xué)推理領(lǐng)域的前沿挑戰(zhàn)。

細(xì)分來(lái)看，MathVista定義了數(shù)學(xué)推理的七大能力領(lǐng)域，包括算術(shù)、統(tǒng)計(jì)、代數(shù)、幾何、數(shù)值常識(shí)、科學(xué)和邏輯。

這些領(lǐng)域涵蓋了數(shù)學(xué)推理的核心要素，體現(xiàn)了MathVista在數(shù)學(xué)認(rèn)知范圍的全面覆蓋。

在圖像類(lèi)型的多樣性方面，MathVista也展現(xiàn)了其獨(dú)特的廣度和深度。

該數(shù)據(jù)集包含了十余種不同的圖像類(lèi)型。

從自然圖像到幾何圖表 ：

從抽象場(chǎng)景到合成場(chǎng)景：

以及各種圖形、圖表和繪圖：

這種豐富的圖像類(lèi)型不僅增加了數(shù)據(jù)集的復(fù)雜性，也為多模態(tài)大模型在處理不同類(lèi)型的視覺(jué)信息時(shí)提供了全面的挑戰(zhàn)。

全面量化評(píng)估

研究報(bào)告中，首次對(duì)當(dāng)前大型模型在視覺(jué)場(chǎng)景下的數(shù)學(xué)推理能力進(jìn)行了全面量化評(píng)估。

報(bào)告中使用的MathVista數(shù)據(jù)集分為兩個(gè)子集：minitest和test。

minitest子集含有1000個(gè)問(wèn)題，主要用于快速評(píng)估模型性能。

而test子集則包含剩余的5141個(gè)問(wèn)題，旨在進(jìn)行模型的標(biāo)準(zhǔn)化評(píng)估，為了避免測(cè)試數(shù)據(jù)污染，該子集的答案標(biāo)簽數(shù)據(jù)不對(duì)外公開(kāi)。

模型評(píng)估過(guò)程分為三個(gè)關(guān)鍵階段：生成回答、抽取答案和計(jì)算分?jǐn)?shù)。

在生成回答階段，根據(jù)測(cè)試問(wèn)題的類(lèi)型，研究團(tuán)隊(duì)使用了特定的模板來(lái)引導(dǎo)模型輸出答案。

考慮到當(dāng)前大型模型通常以對(duì)話(huà)形式輸出長(zhǎng)文本回答，報(bào)告中的實(shí)驗(yàn)設(shè)計(jì)了一個(gè)基于GPT-4的答案抽取器。

這個(gè)抽取器通過(guò)幾個(gè)實(shí)例提示GPT-4，從模型的長(zhǎng)文本回答中抽取出符合題目類(lèi)型的短答案。這種方法有效地克服了傳統(tǒng)人工評(píng)估的高成本問(wèn)題和基于規(guī)則的答案抽取可能導(dǎo)致的不準(zhǔn)確性。

隨后，這些抽取出來(lái)的短文本答案被用于計(jì)算模型的總體準(zhǔn)確率以及在不同子分類(lèi)別下的準(zhǔn)確率。

大模型們表現(xiàn)如何？

實(shí)驗(yàn)在testmini子集上評(píng)估了12種大模型：包括ChatGPT、GPT-4和Claude-2三個(gè)大語(yǔ)言模型，以及LLaVA、LLaMA-Adapter、miniGPT-4、Bard和GPT-4V等九種多模態(tài)大模型。

對(duì)于大語(yǔ)言模型，實(shí)驗(yàn)設(shè)計(jì)了兩種形式：

第一種只利用問(wèn)題的文字信息；

第二種是使用圖片的Captioning描述和OCR文作為外部增強(qiáng)信息。

此外，實(shí)驗(yàn)還完成了兩種隨機(jī)基準(zhǔn)和人類(lèi)表現(xiàn)基準(zhǔn)。

實(shí)驗(yàn)結(jié)果顯示，當(dāng)前的大模型在MathVista上的整體表現(xiàn)仍有待提升。

表現(xiàn)最佳的GPT-4V模型達(dá)到了49.9%的準(zhǔn)確率，但這與人類(lèi)的60.3%表現(xiàn)相比還有顯著差距。

其次是Bard模型，準(zhǔn)確率為34.8%，而目前最好的開(kāi)源模型LLaVA的準(zhǔn)確率則為26.1%。

這些數(shù)據(jù)表明，大模型在視覺(jué)背景下的數(shù)學(xué)推理能力還有很大的提升空間。

有趣的是，當(dāng)結(jié)合圖像OCR和Captioning信息時(shí)，大語(yǔ)言模型GPT-4的表現(xiàn)（33.9%）接近于多模態(tài)模型Bard（34.8%）。這一發(fā)現(xiàn)顯示，通過(guò)適當(dāng)?shù)?strong>工具增強(qiáng)，大型語(yǔ)言模型在多模態(tài)領(lǐng)域具有巨大的潛力。

實(shí)驗(yàn)還對(duì)主要模型在不同數(shù)學(xué)推理能力和圖像類(lèi)型子類(lèi)上的表現(xiàn)進(jìn)行了量化評(píng)估。

結(jié)果顯示，GPT-4V在諸如代數(shù)、幾何和科學(xué)領(lǐng)域的推理能力上，以及在處理表格、函數(shù)圖、幾何圖像、散點(diǎn)圖和科學(xué)圖形等圖像類(lèi)型時(shí)，其表現(xiàn)接近甚至超過(guò)了人類(lèi)。

在test子集的評(píng)估中，實(shí)驗(yàn)比較了最佳的兩個(gè)大語(yǔ)言模型（CoT/PoT GPT-4）和最好的開(kāi)源大型多模態(tài)模型（LLaVA），提供了一個(gè)全面的模型性能概覽。

下面是更為詳細(xì)的分析。

Bard在MathVista中的表現(xiàn)

在MathVista上的評(píng)估顯示，Bard模型的總體表現(xiàn)緊隨GPT-4之后。通過(guò)具體案例分析，報(bào)告發(fā)現(xiàn)Bard模型經(jīng)常產(chǎn)生所謂的“幻覺(jué)現(xiàn)象”，即在生成的答案中引入了問(wèn)題文本和圖片中不存在的信息。

此外，Bard在進(jìn)行數(shù)學(xué)運(yùn)算時(shí)也容易出現(xiàn)錯(cuò)誤。

例如，在下面的例子中，Bard在簡(jiǎn)化分式8/10的過(guò)程中犯了計(jì)算錯(cuò)誤。這種問(wèn)題突顯了模型在處理數(shù)學(xué)問(wèn)題時(shí)的局限性。

GPT-4在MathVista上的表現(xiàn)

雖然GPT-4本質(zhì)上是一種語(yǔ)言模型，但通過(guò)工具增強(qiáng)（例如OCR文字和captioning描述的結(jié)合），它在MathVista上的性能可以達(dá)到與多模態(tài)模型Bard相當(dāng)?shù)乃?/strong>。

具體來(lái)說(shuō)，當(dāng)引入這些圖片的OCR文字和Captioning描述作為輔助輸入信息時(shí)，GPT-4能夠成功解決許多多模態(tài)數(shù)學(xué)問(wèn)題。這一發(fā)現(xiàn)顯示了GPT-4在多模態(tài)問(wèn)題處理方面的潛力。

然而，GPT-4對(duì)這些增強(qiáng)信息的準(zhǔn)確性有著極高的依賴(lài)性。

如果這些OCR文字或Captioning描述存在錯(cuò)誤或不準(zhǔn)確性，GPT-4在推理過(guò)程中就很容易走向錯(cuò)誤的方向，從而導(dǎo)致不正確的結(jié)果。

這一點(diǎn)凸顯了在使用工具增強(qiáng)大型語(yǔ)言模型時(shí)，輸入信息質(zhì)量的重要性。

GPT-4V在MathVista上的全方位分析

GPT-4V作為目前最先進(jìn)的多模態(tài)大模型，對(duì)其能力的深入分析對(duì)未來(lái)的研究具有重要意義。報(bào)告通過(guò)大量實(shí)例詳盡分析了GPT-4V在不同維度的能力，特別是在自我驗(yàn)證、自洽性和多輪對(duì)話(huà)方面的巨大潛力。

• 代數(shù)推理能力：

在MathVista的代數(shù)問(wèn)題中，GPT-4V展現(xiàn)了理解圖像中函數(shù)并推斷其性質(zhì)的出色能力，甚至超過(guò)了其他大型模型和人類(lèi)。但在處理低分辨率圖像和多函數(shù)圖像時(shí)，GPT-4V仍面臨挑戰(zhàn)。

• 數(shù)值計(jì)算能力：

MathVista中的算術(shù)問(wèn)題不僅需要準(zhǔn)確的基礎(chǔ)運(yùn)算，還需理解多樣化視覺(jué)場(chǎng)景。如下圖所示，GPT-4V在此方面相比現(xiàn)有模型表現(xiàn)出顯著的提升。

• 幾何推理能力：

在幾何推理方面，GPT-4V在MathVista上的表現(xiàn)與人類(lèi)相當(dāng)。在以下兩個(gè)例子中，無(wú)論是小學(xué)難度還是高年級(jí)難度的問(wèn)題，GPT-4V均能給出正確答案，并附有詳細(xì)解釋。

• 邏輯推理能力：

在MathVista的邏輯推理問(wèn)題中，模型需從抽象圖形中推導(dǎo)出數(shù)字或形狀的隱含規(guī)律。GPT-4V在這方面遇到了挑戰(zhàn)，其準(zhǔn)確率僅為21.6%，僅略高于隨機(jī)猜測(cè)的8.1%。

• 數(shù)值常識(shí)推理能力：

MathVista中的數(shù)值常識(shí)推理涉及日常物品和名人知識(shí)。這類(lèi)問(wèn)題對(duì)大型模型是一大挑戰(zhàn)。例如，下圖所示的問(wèn)題中，只有GPT-4V能正確理解圖像中的光學(xué)錯(cuò)覺(jué)現(xiàn)象。

然而，某些情況下，例如識(shí)別燒杯的最大容量，GPT-4V與Bard模型均表現(xiàn)不佳。

• 科學(xué)推理能力：

在MathVista的科學(xué)推理問(wèn)題上，GPT-4V顯著優(yōu)于其他大型模型。它經(jīng)常能準(zhǔn)確解析涉及特定科學(xué)領(lǐng)域的圖中信息，并進(jìn)行后續(xù)推理。

然而，某些基本概念的應(yīng)用，如相對(duì)運(yùn)動(dòng)，仍是GPT-4V的弱點(diǎn)。

• 統(tǒng)計(jì)推理能力：

GPT-4V在理解MathVista中的各種圖表、繪圖和圖形方面展現(xiàn)出強(qiáng)大的統(tǒng)計(jì)推理能力。它能準(zhǔn)確解答涉及圖表分析的數(shù)學(xué)問(wèn)題，超過(guò)了其他大型模型。

GPT-4V的自我驗(yàn)證能力探究

自我驗(yàn)證（self-verification）是一種社會(huì)心理學(xué)概念，其核心觀點(diǎn)是個(gè)體希望他人按照他們自我感知的方式來(lái)理解他們。這導(dǎo)致個(gè)體主動(dòng)采取行動(dòng)，確保他人能看到他們的穩(wěn)定狀態(tài)（Talaifar & Swann, 2020）。

在實(shí)驗(yàn)中，研究人員表示GPT-4V顯示出了一種類(lèi)似的自我驗(yàn)證能力。

這種能力體現(xiàn)在GPT-4V能夠在推理過(guò)程中自主檢查自身的行為，并主動(dòng)糾正可能的錯(cuò)誤。

值得注意的是，這種自我驗(yàn)證能力不同于僅依賴(lài)外部反饋或多輪對(duì)話(huà)來(lái)改進(jìn)模型輸出。

例如，在某些情況下，GPT-4V能夠在單次輸出中自行審核一組候選答案，從而識(shí)別出符合所有給定條件的有效答案。

在以下多步推理問(wèn)題中，GPT-4V顯示出了顯著的能力。它不僅能夠進(jìn)行連貫的推理，還能驗(yàn)證關(guān)鍵步驟的有效性。

特別是在遇到無(wú)效的中間結(jié)果時(shí)，如發(fā)現(xiàn)得出的長(zhǎng)度為負(fù)數(shù)，GPT-4V能夠主動(dòng)檢測(cè)并識(shí)別這些錯(cuò)誤。這種能力使得GPT-4V在識(shí)別問(wèn)題后，能夠嘗試采用不同的方法來(lái)解決問(wèn)題，從而優(yōu)化其推理過(guò)程。

GPT-4V的自洽性應(yīng)用及其局限性

自洽性（self-consistency）是在大型語(yǔ)言模型中廣泛使用的一種技術(shù)，目的是提升模型在處理復(fù)雜推理任務(wù)時(shí)的準(zhǔn)確性。這種方法通常包括采樣多種推理路徑，并選擇出現(xiàn)頻次最高的答案作為最終解。

研究人員的實(shí)驗(yàn)驗(yàn)證了自洽性技術(shù)在提高GPT-4V在MathVista上的性能方面的有效性。

實(shí)驗(yàn)表明，自洽性對(duì)于糾正GPT-4V在視覺(jué)感知和計(jì)算中的錯(cuò)誤，以及減少幻覺(jué)現(xiàn)象方面起到了顯著作用。

然而，實(shí)驗(yàn)也揭示了自洽性的局限性。特別是在GPT-4V難以正確理解復(fù)雜的視覺(jué)場(chǎng)景的情況下，自洽性的改善效果并不顯著。

這表明，盡管自洽性是一種有效的提升方法，但它的成功在很大程度上還是依賴(lài)于模型對(duì)視覺(jué)信息的基本理解能力。

GPT-4V在MathVista上的多輪對(duì)話(huà)能力

微軟的報(bào)告最后探討了GPT-4V在MathVista上進(jìn)行多輪人機(jī)互動(dòng)對(duì)話(huà)的能力。

實(shí)驗(yàn)結(jié)果表明，GPT-4V擅長(zhǎng)在多輪對(duì)話(huà)中有效地利用用戶(hù)提供的提示來(lái)優(yōu)化其推理過(guò)程。

這包括根據(jù)用戶(hù)的引導(dǎo)來(lái)糾正視覺(jué)感知上的誤解，修正推理邏輯中的不一致，更正相關(guān)領(lǐng)域的知識(shí)，甚至在人類(lèi)的協(xié)助下理解和處理極其復(fù)雜的圖表問(wèn)題。

主要華人作者簡(jiǎn)介

Pan Lu

Pan Lu是加州大學(xué)洛杉磯分校（UCLA）的博士生，是UCLA自然語(yǔ)言處理實(shí)驗(yàn)室（NLP Group）和視覺(jué)、認(rèn)知、學(xué)習(xí)和自主中心（VCLA）的成員。

在此之前，他在清華大學(xué)獲得計(jì)算機(jī)科學(xué)碩士學(xué)位。他曾在微軟和艾倫人工智能研究院進(jìn)行過(guò)實(shí)習(xí)。

他是ScienceQA和Chameleon等工作的作者。他曾榮獲亞馬遜博士獎(jiǎng)學(xué)金、彭博社博士獎(jiǎng)學(xué)金和高通創(chuàng)新獎(jiǎng)學(xué)金。

Tony Xia

Tony Xia是斯坦福大學(xué)計(jì)算機(jī)系的碩士生。此前，他在加州大學(xué)洛杉磯分校獲得計(jì)算機(jī)本科學(xué)位。

Jiacheng Liu

Jiacheng Liu是華盛頓大學(xué)的博士生，從事常識(shí)推理、數(shù)學(xué)推理和文本生成的研究。

此前，他在伊利諾伊香檳分校取得本科學(xué)位。他曾獲高通創(chuàng)新獎(jiǎng)學(xué)金。

Chunyuan Li

Chunyuan Li是微軟雷德蒙德研究院的首席研究員。

此前，他在杜克大學(xué)獲得了機(jī)器學(xué)習(xí)博士學(xué)位，師從Lawrence Carin教授。他曾擔(dān)任過(guò)NeurIPS、ICML、ICLR、EMNLP和AAAI的領(lǐng)域主席，以及IJCV的客座編輯。

他是LLaVA、Visual Instruction Tuning和Instruction Tuning等工作的作者。

Hao Cheng

Hao Cheng是微軟雷德蒙德研究院的高級(jí)研究員，同時(shí)也是華盛頓大學(xué)的兼職教授。

此前，他在華盛頓大學(xué)獲得了博士學(xué)位。他是2017年Alexa Prize冠軍團(tuán)隊(duì)的主要成員。

論文地址：https://arxiv.org/abs/2310.02255
項(xiàng)目地址：https://mathvista.github.io/
HF數(shù)據(jù)集：https://huggingface.co/datasets/AI4Math/MathVista
數(shù)據(jù)可視化：https://mathvista.github.io/#visualization
Leaderboard：https://mathvista.github.io/#leaderboard