本文經AI新媒體量子位（公眾號ID:QbitAI）授權轉載，轉載請聯系出處。

字節(jié)大模型，BuboGPT來了。

支持文本、圖像、音頻三種模態(tài)，做到細粒度的多模態(tài)聯合理解。

答哪指哪，什么講了什么沒講，一目了然：

除了有“慧眼”，還有“聰耳”。人類都注意不到的細節(jié)BuboGPT能聽到：

Audio-1-chime-bird-breeze,量子位,20秒

前方高能！

三模態(tài)聯合理解，文字描述+圖像定位+聲音定位，一鍵搞定，準確判斷聲音來源：

Audio-7-dork-bark,量子位,6秒

別著急，還沒完！

即使音頻和圖像之間沒有直接關系，也可以合理描述兩者之間的可能關系，看圖辨音講故事也可以：

Audio-11-six-oclock,量子位,1分鐘

這么一看，BuboGPT干點活，夠“細”的。

研究人員表示：

MiniGPT-4，LLaVA和X-LLM等最近爆火的多模態(tài)大模型未對輸入的特定部分進行基礎性連接，只構建了粗粒度的映射。

而BuboGPT利用文本與其它模態(tài)之間豐富的信息且明確的對應關系，可以提供對視覺對象及給定模態(tài)的細粒度理解。

因此，當BuboGPT對圖像進行描述時，能夠指出圖中對象的具體位置。

BuboGPT：首次將視覺連接引入LLM

除了上面作者分享在YouTube的示例，研究團隊在論文中也展示了BuboGPT玩出的各種花樣。

活久見青蛙彈琴！這樣的圖BuboGPT也能準確描述嗎？

一起康康回答得怎么樣：

不僅能夠準確描述青蛙的姿勢，還知道手摸的是班卓琴？

問它圖片都有哪些有趣的地方，它也能把圖片背景里的東西都概括上。

BuboGPT“眼力+聽力+表達力測試”，研究人員是這樣玩的，大家伙兒先來聽這段音頻。

Audio-9-hair-dryer,量子位,5秒

再來看看BuboGPT的描述怎么樣：

圖片上的人的性別、聲音來源、圖片中發(fā)生的事情，BuboGPT都能準確理解。

效果這么好，是因為字節(jié)這次用了將視覺定位引入LLM的方法。

具體方法我們接著往下看。

BuboGPT的架構是通過學習一個共享的語義空間，并進一步探索不同視覺對象和不同模態(tài)之間的細粒度關系，從而實現多模態(tài)理解。

為探索不同視覺對象和多種模態(tài)之間的細粒度關系，研究人員首先基于SAM構建了一個現成的視覺定位pipeline。

這個pipeline由標記模塊（Tagging Module）、定位模塊（Grounding Module）和實體匹配模塊(Entity-matching Module)三個模塊組成。

流程大概是這樣嬸兒的：

首先，標記模塊是一個預訓練模型，可以生成與輸入圖像相關的多個文本標簽。

基于SAM的定位模塊進一步定位圖像上與每個文本標簽相關的語義掩?；蜻吔缈?。

然后，實體匹配模塊利用LLM的推理能力從標簽和圖像描述中檢索匹配的實體。

研究人員就是通過這種方式，使用語言作為橋梁將視覺對象與其它模態(tài)連接起來。

為了讓三種模態(tài)任意組合輸入都能有不錯的效果，研究人員采用了類似于Mini-GTP4的兩階段走訓練方案：

單模態(tài)預訓練和多模態(tài)指令調整。

具體而言，BuboGPT使用了ImageBind作為音頻編碼器，BLIP-2作為視覺編碼器，以及Vicuna作為預訓練LLM。

在單模態(tài)預訓練階段，在大量的模態(tài)-文本配對數據上訓練相應的模態(tài)Q-Former和線性投影層。

對于視覺感知，研究人員僅對圖像標題生成部分進行投影層的訓練，并且保持來自BLIP2的Q-Former固定。

對于音頻理解，他們同時訓練了Q-Former和音頻標題生成部分。

在這兩種設置下都不使用任何提示（prompt），模型僅接收相應的圖像或音頻作為輸入，并預測相應的標題（caption）。

△不同輸入的指令遵循示例

在多模態(tài)指令調整階段，構建了一個高質量的多模態(tài)指令數據集對線性投影層進行微調，包括：

• 圖像-文本：使用MiniGPT-4和LLaVa中的兩個數據集進行視覺指令調優(yōu)。 
• 音頻-文本：基于Clotho數據集構建了一系列表達性和描述性數據。 
• 音頻-圖像-文本：基于VGGSS數據集構建了<音頻，圖像，文本>三模態(tài)指導調優(yōu)數據對，并進一步引入負樣本來增強模型。

值得注意的是，通過引入負樣本“圖像-音頻對”進行語義匹配，BuboGPT可以更好地對齊，多模態(tài)聯合理解能力更強。

目前BuboGPT代碼、數據集已開源，demo也已發(fā)布啦，我們趕緊上手體驗了一把。

demo淺玩體驗

BuboGPT demo頁面功能區(qū)一目了然，操作起來也非常簡單，右側可以上傳圖片或者音頻，左側是BuboGPT的回答窗口以及用戶提問窗口：

上傳好照片后，直接點擊下方第一個按鈕來上傳拆分圖片：

就拿一張長城照片來說，BuboGPT拆成了這個樣子，識別出了山、旅游勝地以及城墻：

當我們讓它描述一下這幅圖時，它的回答也比較具體，基本準確：

可以看到拆分框上的內容也有了變化，與回答的文本內容相對應。

再來一張圖片，并帶有一段音頻，BuboGPT也正確匹配了聲音來源：

Audio-8-bicycle_bell,量子位,22秒

當然，它也會出現識別不成功，表述錯誤的情況，比如說下面這張圖中并沒有人，音頻也只是鐘聲，但它的描述和圖片似乎并不搭邊。

感興趣的家人趕緊親自上手試試～～

傳送門：
[1]https://bubo-gpt.github.io/
[2]https://huggingface.co/spaces/magicr/BuboGPT（demo）