自GPT多模態(tài)亮相以來(lái)，開源多模態(tài)大模型層出不窮。

在人工智能領(lǐng)域，融合多種模態(tài)的大規(guī)模模型已被廣大研究者和業(yè)界視為發(fā)展的主流方向，也被認(rèn)為是構(gòu)建通用AI助手的核心組件。

國(guó)內(nèi)外一些研究人員在GPT-4V未真正亮相期間，推出了一些代表作，如LLaVa, MiniGPT-4, Mplug-Owl等，這些開源模型在自然指令跟蹤和視覺(jué)推理能力方面展示了非常強(qiáng)大的性能。

但有一個(gè)問(wèn)題也一直困擾著眾多研究人員: 這些多模態(tài)大模型在能理解真實(shí)圖像的同時(shí)，也被嚴(yán)重的幻覺(jué)問(wèn)題所困擾：看圖說(shuō)瞎話，胡編亂造等問(wèn)題時(shí)常出現(xiàn)，對(duì)視覺(jué)摘要、推理等視覺(jué)語(yǔ)言任務(wù)產(chǎn)生了非常大的負(fù)面影響。

今年10月, 北卡教堂山、斯坦福、哥大、羅格斯等大學(xué)的研究人員系統(tǒng)分析了LVLMs中幻覺(jué)的三種成因, 并且提出了一個(gè)通用的解決方案LURE（LVLM Hallucination Revisor，幻覺(jué)修正器），通過(guò)重建一個(gè)包含更少幻覺(jué)的描述來(lái)糾正LVLM中的物體幻覺(jué)（object hallucination）問(wèn)題，可以與任意LVLM進(jìn)行無(wú)縫集成。

論文地址: https://arxiv.org/abs/2310.00754

代碼地址: https://github.com/YiyangZhou/LURE

LURE的設(shè)計(jì)基于對(duì)產(chǎn)生物體幻覺(jué)的關(guān)鍵因素，進(jìn)行嚴(yán)格統(tǒng)計(jì)分析，包括共現(xiàn)（某些物體在圖像中與其他物體一起頻繁出現(xiàn)）、不確定性（在LVLM解碼期間具有較高不確定性的物體）和物體位置（幻覺(jué)通常出現(xiàn)在生成文本的后面部分）。

研究人員在六個(gè)開源LVLM上對(duì)LURE進(jìn)行評(píng)估了，與之前的最佳方法相比，通用物體幻覺(jué)評(píng)估指標(biāo)提高了23%；在GPT和人工評(píng)估中，LURE始終名列前茅。

幻覺(jué)從哪來(lái)，為什么會(huì)產(chǎn)生這樣的幻覺(jué)？

研究人員對(duì)LVLMs產(chǎn)生幻覺(jué)的原因進(jìn)行了系統(tǒng)性的分析，可以歸結(jié)為如下三個(gè)因素：

1. 物體間的同現(xiàn)和假相關(guān)性

研究人員對(duì)不同對(duì)LVLMs對(duì)于訓(xùn)練集合中圖片相應(yīng)的描述統(tǒng)計(jì)發(fā)現(xiàn)，大部分幻覺(jué)的描述中的物體都會(huì)存在較高的共現(xiàn)分?jǐn)?shù)，也就是說(shuō)幻覺(jué)物體極大概率是經(jīng)常一起出現(xiàn)的物體。

例如：一張圖片中有草和天空，那么出現(xiàn)幻覺(jué)的描述中的幻覺(jué)物體大概率可能是樹木、鳥兒，因?yàn)檫@些物體在訓(xùn)練集合中經(jīng)常一起出現(xiàn)。

2. 解碼過(guò)程的不確定性

同時(shí)幻覺(jué)物體大概率是解碼過(guò)程中不太確定的物體，這種不確定性會(huì)導(dǎo)致模型在解碼過(guò)程中錯(cuò)誤選擇概率差不多且不太確定的物體，導(dǎo)致描述中出現(xiàn)了幻覺(jué)。

3、位置關(guān)系

同時(shí)研究人員觀察了大量的幻覺(jué)描述發(fā)現(xiàn)，幻覺(jué)集中出現(xiàn)在模型響應(yīng)圖像的描述的后半段，這可能是模型前面的輸出的錯(cuò)誤觸發(fā)了后續(xù)幻覺(jué)的滾雪球。

為了驗(yàn)證上述分析的可靠性，研究人員還對(duì)這三個(gè)因素對(duì)于幻覺(jué)的貢獻(xiàn)進(jìn)行了詳細(xì)的理論證明。

方法介紹

那么如何減少這樣的幻覺(jué)呢？

為了減少LVLMs幻覺(jué)，研究團(tuán)隊(duì)提出了首個(gè)多模態(tài)幻覺(jué)緩解方案LURE：基于上述分析的關(guān)鍵因素，LURE通過(guò)物體幻覺(jué)修正器，能與任意LVLM無(wú)縫銜接，對(duì)不準(zhǔn)確的描述進(jìn)行糾正。

訓(xùn)練流程

推理流程

實(shí)驗(yàn)及結(jié)果

效果怎么樣呢？

在六個(gè)開源的LVLMs上，LURE都證明了自己的有效性。

在各種評(píng)估指標(biāo)下，如CHAIR、GPT評(píng)估以及人類評(píng)估，它都能顯著減少至少23%的物體幻覺(jué)。

本文將MiniGPT-4 llama7B作為基準(zhǔn)模型用于訓(xùn)練LURE，然后集成于6個(gè)開源的LVLM，與其余減少幻覺(jué)的basline相比LURE能大幅降低模型輸出時(shí)的幻覺(jué)：

研究人員同時(shí)進(jìn)行了消融實(shí)驗(yàn)，證明了LURE算法適用于各種LVLMs

且不依賴于數(shù)據(jù)集本身所帶來(lái)的性能偏移。

此外之前分析的三個(gè)因素在LURE后處理之后都能有明顯的改善：

由于幻覺(jué)評(píng)估除了經(jīng)典的CHAIR，沒(méi)有其他評(píng)估指標(biāo)，研究人員還分析了傳統(tǒng)的機(jī)器翻譯指標(biāo)是否適用于幻覺(jué)的評(píng)估：

案例分析