谷歌扳回一局！

在Gemini開放API不到一周的時間，港中文等機構就完成評測，聯合發布了多達128頁的報告，結果顯示：

在37個視覺理解任務上，Gemini-Pro表現出了和GPT-4V相當的能力。

在多模態專有基準MME上，Gemini-Pro的感知和認知綜合表現則直接獲得了1933.4的高分，超越GPT-4V（1926.6）。

此前，CMU測評發現Gemini-Pro的綜合能力居然和GPT-3.5差不多。

現在，在多模態這個一大主推的賣點上，Gemini-Pro可算是扳回一局。

那么具體如何？

測評報告一共128頁，咱們就挑重點來看。

Gemini-Pro的首份多模態能力報告來了

這份測評主要是對Gemini-Pro的視覺理解能力進行評估。

一共涵蓋基礎感知、高級認知、挑戰性視覺任務和各種專家能力四大領域，在37個細分任務項上進行定性比較。

定量評估則在專為多模態大語言模型專門設計的評測基準MME上展開。

首先來看定量測試結果。

MME上綜合表現比GPT-4V強

MME基準包含兩大類任務。

一個是感知，涵蓋目標存在性判斷、物體計數、位置關系、顏色判斷、OCR識別、海報識別、名人識別、場景識別、地標識別和藝術品識別等。

一個是認知，涵蓋常識推理、數值計算、文本翻譯和代碼推理等。

結果如下：

可以看到Gemini-Pro和GPT-4V可謂“各有所長”。

而計分顯示，Gemini-Pro的總分為1933.4，比GPT-4V（1926.6）要高那么一點點。

具體來看：

1、Gemini-Pro在文本翻譯、顏色/地標/人物識別、OCR等任務中表現突出；

2、GPT-4V在名人識別任務上的得分為0，主要是因為拒絕回答名人相關的問題；

3、無論是Gemini還是GPT-4V在位置識別任務上表現都不佳，表明他們對空間位置信息不敏感；

4、開源模型SPHINX在感知任務上與GPT-4V以及Gemini平齊甚至更優，但認知和兩者有較大差距。

下面就是四大項任務上的定性結果了。

基礎感知

感知能力直接影響模型在高階任務中的能力，因為它決定了模型獲取和處理原始視覺輸入的準確性和有效性。

報告中分別測試了模型的對象級感知能力、場景級感知能力和基于知識的感知能力。

具體一共10個細分任務：

鑒于篇幅有限，我們在此只展示其中5個：

1、空間關系

都不分左右。但GPT-4V可以通過上下文少樣本學習這項任務，然后做出正確回答。

2、物體計數

簡單樣例整體還OK，但復雜一點的全軍覆沒。不過在數NBA籃球運動員時，Gemini-Pro的答案已經相當接近了（正確為42個）。

3、視覺錯覺

左側樣例中，兩個梨實際上具有相同的亮度。Gemini Pro正確識別，而GPT-4V和SPHNIX被欺騙。

4、場景理解

模型都能夠描繪場景中的關鍵視覺元素。相比之下，GPT-4V顯示出優越的性能，描述更加詳細，并且幻覺的實例也更少。

5、視頻場景理解

從視頻中抽取三個時刻的關鍵幀，Gemini Pro能夠將不同幀的信息整合成一個連貫的場景描述。

而GPT-4V只是逐幀描述圖像的內容。相比之下，SPHNIX的描述并沒有表現出對圖像序列的全面理解。

高級認知

這類任務需要模型進行深入的推理、解決問題和決策。

在此，報告中分別測試了模型的富含文本的視覺推理能力、抽象視覺推理能力、解決科學問題能力、情感分析能力、智力游戲能力。具體包括13項細分任務，同樣限于篇幅我們只展示其中幾項。

1、代碼生成

將結構化視覺內容轉換為相應的代碼是多模態大模型的一項重要技能，在此分別測試了模型識別公式生成LaTex代碼和識別網頁生成HTML代碼的能力。

Gemini Pro和GPT-4V在公式識別上表現出更好的結果，但仍然會錯誤識別一些小字符或符號。

三個模型的識別網頁生成相應HTML代碼的能力仍然存在很大的改進空間。

2、抽象視覺刺激

對抽象視覺刺激和符號的理解和推理是人類智能的一項基本能力。GPT-4V展示了最好的抽象性能，提供了對象如何由形狀組成的詳細描述。Gemini Pro能識別一些簡單的抽象模式。

3、圖像情感分析

模型都可以很好地描繪視圖，并提供其中可能的情感。GPT-4V觀察是中立的，強調情緒是主觀的，同時給出了更全面的分析。Gemini Pro傾向于直接輸出情感偏好。

4、情感調節輸出

情感調節輸出是讓多模態大模型描述以預定義情感為條件的視覺上下文。

雖然Gemini Pro和GPT-4V能夠正確地將相應的情感注入到生成的文本中，但它們都遇到了幻覺問題。

5、數獨游戲

如果僅以圖像作為輸入，盡管Gemini Pro嘗試在輸出矩陣內提供答案，但無法正確識別空白位置，而GPT-4V和SPHNIX則無法進行第一步 光學字符識別。此外，給定相應的文本輸入，Gemini Pro和GPT-4V都可以給出正確的答案。

挑戰性視覺任務

評估多模態大模型在超出標準視覺問答范圍的各種具有挑戰性的視覺任務中的性能。

需要模型具有深厚的視覺感知和理解能力，評估這類表現將有助于深入了解模型在多領域應用的可行性。

報告中分別測試了模型在圖像視覺任務和時序視覺任務中的性能。具體包括以下7個細分任務：

在此我們展示3個。

1、指稱表達式理解

Gemini Pro和GPT-4V都能夠識別指稱對象的大致位置，但它們很難提供精確的坐標和框大小。而SPHNIX展示了提供引用對象的準確位置和大小的能力。

2、目標跟蹤

Gemini Pro和GPT-4V都能夠描繪出要跟蹤的目標的細節，但它們隨后兩幀圖像中提供了錯誤的邊界框。

3、視覺故事生成

任務要求模型完全理解圖像中的信息，并在生成的故事中對其進行邏輯組織。

Gemini Pro和SPHNIX提供了連貫的故事，但卻和沒有十分貼近漫畫劇情。

GPT-4V為每個插圖提供了精確的描述，卻未能根據任務要求將它們編織成一個有凝聚力的故事。

各種專家能力

專家能力衡量多模態大模型將其學到的知識和技能應用于不同專業領域的泛化能力。除了上述的感知和認知任務外，多模態大模型在專門和獨特場景下的魯棒性通常具有更實際的參考意義。也是7個細分任務：

在此我們同樣展示3個：

1、缺陷檢測

缺陷檢測需要高精度和對細節的關注。對于缺陷明顯的圖像，模型都可以提供正確答案，其中GPT-4V輸出更詳細的原因和描述。

對于下圖中的螺紋損壞的樣例，Gemini Pro給出了過于籠統的答案，SPHNIX錯誤地描述了外觀，而GPT-4V給出了標準答案。

2、經濟分析

報告展示了兩個用于回答問題的股價走勢圖。Gemini Pro擅長專家級金融知識，能夠給出正確答案。GPT-4V由于安全風險而沒有給出明確答案。SPHNIX由于缺乏相關訓練數據無法理解此類問題。

3、機器人運動規劃

機器人規劃要求機器人能夠確定如何在給定情況下采取行動以實現特定目標。

Gemini Pro和GPT-4V都可以提供有條理且詳細的步驟，并且GPT-4V似乎比Gemini Pro給出了更合理的決定，例如電池的安裝順序，但SPHNIX無法完成手機的組裝，說明其泛化能力有限。

總結評價：都是“半斤八兩”

鑒于其卓越的多模態推理能力，Gemini確實是GPT-4V的有力挑戰者。

在大多數情況下，與GPT-4V相比，Gemini的回答準確性具有競爭力，并展示了不同的回答風格和偏好。

GPT-4V傾向于生成對感知任務更詳細的描述，并為認知任務提供深入的分析和逐步的中間推理，而Gemini更喜歡對答案提供直接而簡潔的回應，這有助于用戶快速找到相關信息。

不過，兩個模型也存在一定的共性問題，比如空間感知能力不強，復雜OCR和抽象視覺理解不理想，推理過程可能存在不自洽結果，對提示設計的魯棒性不足……在很多情況下仍然陷入困境。

所以，從現階段成果來看，兩者都點“半斤八兩”的意思。

作者最后的結論就是：

大模型的多模態能力總的來說都還有很長的路要走。

具體往哪走？

三個方面：視覺表示編碼（細粒度外觀、空間關系感知）、多模態對齊（減輕幻覺、OCR準確性）以及模型推理能力（定量處理、邏輯一致性）。

關于Gemini Pro與GPT-4V、SPHNIX的更多評估比較，請查看原論文。