GPT-4 近日開放了視覺模態(tài)（GPT-4V）。以 GPT-4V、谷歌 Bard 為代表的多模態(tài)大語言模型 (Multimodal Large Language Models, MLLMs) 將文本和視覺等模態(tài)相結(jié)合，在圖像描述、視覺推理等各種多模態(tài)任務(wù)中展現(xiàn)出了優(yōu)異的性能。然而，視覺模型長久以來存在對抗魯棒性差的問題，而引入視覺模態(tài)的 MLLMs 在實際應(yīng)用中仍然存在這一安全風(fēng)險。最近一些針對開源 MLLMs 的研究已經(jīng)證明了該漏洞的存在，但更具挑戰(zhàn)性的非開源商用 MLLMs 的對抗魯棒性還少有人探索。

為了更好地理解商用 MLLMs 的漏洞，清華朱軍教授領(lǐng)銜的人工智能基礎(chǔ)理論創(chuàng)新團(tuán)隊圍繞商用 MLLM 的對抗魯棒性展開了研究。盡管 GPT-4V、谷歌 Bard 等模型開放了多模態(tài)接口，但其內(nèi)部模型結(jié)構(gòu)和訓(xùn)練數(shù)據(jù)集仍然未知，且配備了復(fù)雜的防御機(jī)制。盡管如此，研究發(fā)現(xiàn)，通過攻擊白盒圖像編碼器或 MLLMs，生成的對抗樣本可以誘導(dǎo)黑盒的商用 MLLMs 輸出錯誤的圖像描述，針對 GPT-4V 的攻擊成功率達(dá)到 45%，Bard 的攻擊成功率達(dá)到 22%，Bing Chat 的攻擊成功率達(dá)到 26%。同時，團(tuán)隊還發(fā)現(xiàn)，通過對抗攻擊可以成功繞過 Bard 等模型對于人臉檢測和圖像毒性檢測等防御機(jī)制，導(dǎo)致模型出現(xiàn)安全風(fēng)險。

• 論文鏈接：https://arxiv.org/abs/2309.11751
• 代碼鏈接：https://github.com/thu-ml/ares/tree/attack_bard

圖 1：對抗攻擊多模態(tài)大模型示例，可以使模型產(chǎn)生錯誤預(yù)測或者繞過安全性檢測模塊

下圖展示了針對 Bard 的攻擊測試。當(dāng)輸入自然樣本圖片時，Bard 可以正確描述出圖片中的主體（“a panda’s face（一個熊貓的臉）”）；當(dāng)輸入對抗樣本時，Bard 會將該圖片的主體錯分類為 “a woman’s face（一個女人的臉）”。

對抗攻擊方法

MLLMs 通常使用視覺編碼器提取圖像特征，然后將圖像特征通過對齊后輸入大語言模型生成相應(yīng)的文本描述。因此該研究團(tuán)隊提出了兩種對抗攻擊 MLLMs 的方法：圖像特征攻擊、文本描述攻擊。圖像特征攻擊使對抗樣本的特征偏離原始圖像的特征，因為如果對抗樣本可以成功破壞圖像的特征表示，則生成的文本將不可避免地受到影響。另一方面，文本描述攻擊直接針對整個流程進(jìn)行攻擊，使生成的描述與正確的描述不同。

圖像特征攻擊：令  表示自然樣本， 表示替代圖像編碼器的集合，則圖像特征攻擊的目標(biāo)函數(shù)可以表示為：

其中，通過最大化對抗樣本 x 和自然樣本  的圖像特征之間的距離進(jìn)行優(yōu)化，同時還確保 x 和  之間的  距離小于擾動規(guī)模。

文本描述攻擊：令  表示替代 MLLMs 的集合，其中  可以在給定圖片 x ，文本提示 p 以及之前預(yù)測的詞  時，預(yù)測出下一個詞的概率分布，表示為 。因此，文本描述攻擊可以表述為最大化預(yù)測目標(biāo)句子 的對數(shù)似然：

值得注意的是文本描述攻擊是針對給定目標(biāo)句子的有目標(biāo)攻擊，而不是最小化真實描述的對數(shù)似然的無目標(biāo)攻擊，這是因為存在對圖像的多個正確描述。

攻擊方法：為了解決上述對抗樣本的優(yōu)化問題，該研究團(tuán)隊采用了自研的目前遷移性最好的對抗攻擊方法 Common Weakness Attack （CWA）[1]。

數(shù)據(jù)集：在 NIPS17 數(shù)據(jù)集 [2] 中隨機(jī)選取 100 張圖片作為自然樣本。

替代模型：對于圖像特征攻擊選用的替代模型為 ViT-B/16、CLIP 和 BLIP-2 的圖像編碼器；對于文本描述攻擊選用 BLIP-2、InstructBLIP 和 MiniGPT-4。

評價指標(biāo)：測量攻擊成功率來評估的魯棒性。認(rèn)為只有當(dāng)圖像中的主體被錯誤地預(yù)測時，攻擊才成功，其他錯誤的細(xì)節(jié)，如幻覺，物體計數(shù)，顏色或背景，被認(rèn)為是不成功的攻擊。

下圖分別展示了針對 GPT-4V、Bard、Bing Chat 上對抗樣本攻擊成功的示例。

圖 2：攻擊 GPT-4V 示例，將羚羊描述為手。

圖 3：攻擊 Bard 示例，將大熊貓描述為女人的臉

圖 4：攻擊 Bing Chat 示例，將白頭雕識別為貓和狗

圖 5：攻擊文心一言示例，將咖啡識別為手表

下表中展示了上述方法針對不同商用模型的攻擊成功率。可以看到，Bing Chat 存在很大的幾率拒絕回答帶有噪聲的圖像。整體上谷歌 Bard 的魯棒性最好。

表 1：針對商用多模態(tài)大模型的攻擊效果

針對 Bard 防御機(jī)制的攻擊

在該研究團(tuán)隊對 Bard 的評估中，發(fā)現(xiàn) Bard 部署了（至少）兩種防御機(jī)制，包括人臉檢測和毒性檢測。Bard 將直接拒絕包含人臉或有毒內(nèi)容的圖像（例如，暴力、血腥或色情圖像）。這些防御機(jī)制被部署以保護(hù)人類隱私并避免濫用。然而，對抗攻擊下的防御魯棒性是未知的。因此，該研究團(tuán)隊針對這兩種防御機(jī)制進(jìn)行了評估。

人臉檢測器攻擊：為了使 Bard 的人臉檢測器無法識別到對抗樣本中的人臉并輸出帶有人臉信息的預(yù)測，研究者針對白盒人臉檢測器進(jìn)行攻擊，降低模型對人臉圖像的識別置信度。攻擊方法仍然采用 CWA 方法，在 LFW 和 FFHQ 等數(shù)據(jù)集上進(jìn)行實驗。

下圖為人臉對抗樣本在 Bard 上攻擊成功的示例。總體上對 Bard 人臉檢測模塊的對抗攻擊成功率達(dá)到了 38%，即有 38% 的人臉圖片無法被 Bard 檢測到，并輸出對應(yīng)的描述。

圖 6：攻擊 Bard 的人臉檢測模型

毒性檢測器攻擊：為了防止提供對有毒圖像的描述，Bard 采用毒性檢測器來過濾掉此類圖像。為了攻擊它，需要選擇某些白盒毒性檢測器作為替代模型。該研究團(tuán)隊發(fā)現(xiàn)一些現(xiàn)有的毒性檢測器是預(yù)訓(xùn)練視覺模型 CLIP 上進(jìn)行微調(diào)得到的。針對這些替代模型的攻擊，只需要擾動這些預(yù)訓(xùn)練模型的特征即可。因此，可以采用與圖像特征攻擊完全相同的目標(biāo)函數(shù)。并使用相同的攻擊方法 CWA。

該研究團(tuán)隊手動收集了一組 100 張含有暴力、血腥或色情內(nèi)容的有毒圖像，對 Bard 的毒性探測器的攻擊成功率達(dá)到 36%。如下圖所示，毒性檢測器不能識別具有對抗性噪聲的毒性圖像。因此，Bard 為這些圖像提供了不適當(dāng)?shù)拿枋觥Ｔ搶嶒瀼娬{(diào)了惡意攻擊者利用 Bard 生成有害內(nèi)容的不合適描述的可能性。

圖 7：攻擊 Bard 的毒性檢測模型

討論與總結(jié)

上述研究表明，通過使用最先進(jìn)的基于遷移的攻擊來優(yōu)化圖像特征或文本描述的目標(biāo)，目前主流的商用多模態(tài)大模型也會被成功的欺騙誤導(dǎo)。作為大型基礎(chǔ)模型（例如，ChatGPT、Bard）已經(jīng)越來越多地被人類用于各種任務(wù)，它們的安全問題成為公眾關(guān)注的一個大問題。對抗攻擊技術(shù)還可以破壞 LLM 的安全與對齊，帶來更加嚴(yán)重的安全性問題。

此外，為保證大模型的安全性，需要針對性進(jìn)行防御。經(jīng)典的對抗訓(xùn)練方法由于計算成本較高，應(yīng)用于大規(guī)模預(yù)訓(xùn)練模型較為困難。而基于圖像預(yù)處理的防御更適合于大模型，可以通過即插即用的方式使用。一些最近的工作利用了先進(jìn)的生成模型（例如，擴(kuò)散模型）以凈化對抗擾動（例如，似然最大化 [3]），這可以作為防御對抗樣本的有效策略，但是總體來說如何提升大模型的魯棒性和抗干擾能力，仍然是一個開放的問題，尚有很大的探索和提升空間。