谷歌人機驗證已經攔不住AI了！

最新多模態大模型，能輕松找到圖中所有交通信號燈，還準確圈出了具體位置。

表現直接超越GPT-4V。

這就是由蘋果和哥倫比亞大學研究團隊帶來的多模態大模型“雪貂”（Ferret）。

它具備更強的圖文關聯能力，提升了大模型在“看說答”任務中的精確度。

比如下圖中非常細小的部件（region 1），它也可以分辨出來是避震。

GPT-4V沒能回答正確，在細小部分上的表現不佳。

所以，Ferret是如何做到的呢？

“點一點”圖像大模型都懂

Ferret解決的核心問題是讓引用（referring）和定位（grounding）兩方面空間理解能力更加緊密。

引用是指讓模型準確理解給定區域的語義，也就是指一個位置它能知道是什么。

定位則是給出語義，讓模型在圖中找到對應目標。

對于人類來說，這兩種能力是自然結合的，但是現有很多多模態大模型卻只會單獨使用引用和定位。

所以Ferret提出了一種新型的混合區域表示方法，能將離散坐標和連續特征聯合起來表示圖像中的區域。

這樣一來，模型就能分辨出邊界框幾乎一樣的對象。

比如下圖中兩個物體的情況，如果只用離散邊界框，模型會感到很“困惑”。和連續的自由形狀混合表示相結合，能很好解決這一問題。

為了提取多樣化區域的連續特征，論文提出了一種空間感知的視覺采樣器，能夠處理不同形狀之間的稀疏性差異。

因此，Ferret可以接受各種區域輸入，如點、邊界框和自由形狀，并理解其語義。

在輸出中，它可以根據文本自動生成每個定位對象的坐標。

為了實現這一目標，Ferret模型的架構包括圖像編碼器、空間感知的視覺采樣器和語言模型（LLM）等組成部分。

Ferret結合了離散坐標和連續特征，形成了一種混合區域表示。

這種表示方法旨在解決表示各種形狀和格式的區域的挑戰，包括點、邊界框和自由形狀。

離散坐標中每個坐標都被量化為一個目標框的離散坐標，這種量化確保了模型對不同圖像大小的魯棒性。

而連續特征則由空間感知視覺采樣器提取，它利用二進制掩碼和特征圖在ROI內隨機采樣點，并通過雙線性插值獲得特征。

這些特征經過一個由3D點云模型啟發的空間感知模塊處理后，被濃縮成一個單一的向量, 并映射到大型語言模型（LLM）進行下一步處理。

為了增強Ferret的能力，論文還創建了一個名為GRIT的數據集。

這個數據集包含1.1M個樣本，涵蓋了個體對象、對象之間的關系、特定區域的描述以及基于區域的復雜推理等四個主要類別。

GRIT數據集包括了從公共數據集轉換而來的數據、通過ChatGPT和GPT-4生成的指令調整數據，并額外提供了95K個困難的負樣本以提高模型的魯棒性。

實驗結果表明，該模型不僅在經典的引用和定位任務中表現出優越性能，而且在基于區域和需要定位的多模態對話中遠遠超過現有其他MLLM模型。

此外，研究還提出了Ferret-Bench，可以評估圖像局部區域的引用/定位、語義、知識和推理能力。

Ferret模型在LLaVA-Bench和Ferret-Bench上進行評估，在所有任務中都表現出色，特別是在需要指代和視覺grounding的三個新任務上，Ferret的表現很出色。

而且在描述圖像細節上有明顯提升，幻覺有明顯下降。

全華人團隊

Ferret大模型由蘋果AI/ML和哥倫比亞大學研究團隊共同帶來，全華人陣容。

有昊軒和張昊天為共同一作。

有昊軒現在為哥倫畢業大學計算機科學博士，畢業后將加入蘋果AI/ML團隊。2018年從西安電子科技大學本科畢業。

主要研究方向為視覺語言理解、文本-圖像生成和視覺語言。

張昊天現在為蘋果AI/ML團隊視覺智能研究員。

在加入蘋果之前，張昊天在華盛頓大學獲得博士學位，本科畢業于上海交通大學。

他是GLIP/GLIPv2的主要作者之一，GLIP曾獲得CVPR2022的Best Paper Award的提名。

此外團隊成員還包括甘哲、王子瑞、曹亮亮、楊寅飛等前谷歌和微軟的多位優秀的多模態大模型研究員。

論文地址：https://arxiv.org/abs/2310.07704