GPT-4o，比上一代更容易被越獄攻擊了？

來(lái)自北航和南洋理工的研究人員，通過(guò)上萬(wàn)次的API查詢，對(duì)GPT-4o各種模態(tài)的安全性進(jìn)行了詳細(xì)測(cè)試。

結(jié)果發(fā)現(xiàn)，GPT-4o新引入的語(yǔ)音模態(tài)帶來(lái)了新的攻擊面，而且多模態(tài)整體安全性不敵GPT-4V。

具體來(lái)說(shuō)，研究人員針對(duì)4個(gè)常用的基準(zhǔn)測(cè)試，對(duì)GPT-4o支持的三種模態(tài)（文本、圖像、音頻）進(jìn)行了測(cè)試。

測(cè)試一共涉及到4000+初始文本查詢的優(yōu)化，8000+響應(yīng)判斷，16000+次OpenAI的API查詢。

基于此，研究人員撰寫(xiě)了詳細(xì)的報(bào)告，給出了關(guān)于GPT-4o的安全性的三點(diǎn)見(jiàn)解：

• GPT-4o對(duì)文本越獄攻擊的安全性比之前有所提升，但文本模態(tài)越獄攻擊可遷移性強(qiáng)，可通過(guò)多模態(tài)形式攻擊；
• 新引入的音頻模態(tài)為GPT-4o的越獄攻擊暴露了新的攻擊面；
• 當(dāng)前的黑盒多模態(tài)越獄攻擊方法幾乎無(wú)效，但實(shí)驗(yàn)表明GPT-4o多模態(tài)層面的安全性弱于GPT-4V。

下面就來(lái)看一下這份報(bào)告的詳細(xì)內(nèi)容~

評(píng)價(jià)規(guī)則

首先，讓我們了解一下作者使用的測(cè)評(píng)方式和實(shí)驗(yàn)設(shè)定。

為了評(píng)估GPT-4o的安全風(fēng)險(xiǎn)以及其相較于上一代模型的改變，作者將目標(biāo)模型設(shè)置為GPT-4V和GPT-4o，利用API和移動(dòng)應(yīng)用對(duì)這些模型進(jìn)行評(píng)估。

對(duì)于單模態(tài)下的文本越獄攻擊，作者使用Llama2（7b-chat）生成文本越獄提示，然后用其遷移攻擊目標(biāo)模型。

為了全面評(píng)估目標(biāo)模型的安全性，作者收集了現(xiàn)有的基于單模態(tài)和多模態(tài)的開(kāi)源越獄數(shù)據(jù)集：

• 對(duì)于文本模態(tài)，使用了AdvBench和RedTeam-2K。
• 對(duì)于音頻模態(tài)，使用了AdvBench子集。
• 對(duì)于多模態(tài)越獄，使用SafeBench和MM-SafetyBench，這是基于兩種典型的黑盒多模態(tài)越獄方法構(gòu)建的。

這些數(shù)據(jù)集按照OpenAI和Meta AI的用戶策略，將數(shù)據(jù)集的內(nèi)容分成了不同的類別，例如非法活動(dòng)、仇恨言論等。

越獄方法層面，報(bào)告中評(píng)估了7種先進(jìn)的越獄方法，分為兩類。

其中單模態(tài)越獄方法包括基于模板的方法、GCG、AutoDAN和PAP；多模態(tài)越獄攻擊方法包括FigStep、Liu等人工作和作者團(tuán)隊(duì)近期提出的BAP。

特別地，對(duì)于FigStep和Liu等人工作，基于相應(yīng)方法構(gòu)建的官方數(shù)據(jù)集已經(jīng)發(fā)布，因此作者直接使用它們來(lái)評(píng)估目標(biāo)模型；其他方法的評(píng)價(jià)則在AdvBench上進(jìn)行。

對(duì)于基于模板的方法，作者從互聯(lián)網(wǎng)上選擇了6個(gè)典型的越獄模版進(jìn)行測(cè)試，并使用它們的平均ASR作為相應(yīng)指標(biāo)。

GCG和AutoDAN最初是為白盒場(chǎng)景提出的，但它們已經(jīng)被證明具有強(qiáng)大遷移性——作者通過(guò)攻擊Llama2，使用這兩類方法生成對(duì)抗性后綴，并隨后將這些后綴應(yīng)用于攻擊GPT-4o和GPT-4V。

BAP是一種多模態(tài)越獄攻擊方法，其利用了基于梯度的視覺(jué)對(duì)抗提示優(yōu)化和基于思維鏈的文本對(duì)抗提示自適應(yīng)優(yōu)化。盡管目標(biāo)模型是黑盒模型，但其中的文本對(duì)抗提示優(yōu)化方法不受限制。因此在本研究中，作者使用它來(lái)評(píng)估文本模態(tài)的安全性。

評(píng)估指標(biāo)采用的是攻擊成功率（ASR），ASR越高則目標(biāo)模型越容易被越獄成功。其計(jì)算公式如下：

其中D為數(shù)據(jù)集，J為判決函數(shù)，F(xiàn)_θ為目標(biāo)模型，v_i為圖像、t_i為文本，a_i為音頻，在評(píng)估時(shí)，沒(méi)有涉及的模態(tài)將會(huì)被置空。

目前的工作中采用不同的方法作為判決函數(shù)，在報(bào)告中，作者遵循已有工作的設(shè)計(jì)，采用四類方法將J分別實(shí)例化J_1,J_2,J3,J_4。

• J_1表示使用基于字符串匹配的方法，其中目標(biāo)字符串包括‘Sorry’等否定模式，如果響應(yīng)內(nèi)容是安全的。
• J_2表示使用Meta發(fā)布的Llama Guard判斷內(nèi)容是否安全。
• J_3表示使用目標(biāo)模型相應(yīng)以及判斷提示模版，交由ChatGPT判斷。
• J_4則是交由GPT-4o判斷。

J_3和J_4除了模型不同外，所用的判斷提示模版也不同，J_3的模版是要求大語(yǔ)言模型僅根據(jù)響應(yīng)判斷內(nèi)容是否安全，而J_4的模版會(huì)同時(shí)根據(jù)問(wèn)題和響應(yīng)判斷內(nèi)容是否安全。

在實(shí)驗(yàn)評(píng)估中，作者會(huì)同時(shí)使用這四類判斷函數(shù)計(jì)算ASR，定性分析時(shí)借鑒集成學(xué)習(xí)的思想，以多數(shù)判斷函數(shù)的結(jié)果為準(zhǔn)，定量分析時(shí)則以J_4的結(jié)果為準(zhǔn)。

純文本模態(tài)下，有攻擊比沒(méi)有時(shí)更安全

文本模態(tài)越獄風(fēng)險(xiǎn)方面，基于RedTeam-2K的評(píng)估結(jié)果表明，在沒(méi)有攻擊的情況下，GPT-4o的安全水平低于GPT-4V。

當(dāng)考慮到特定情景，特別是那些具有較高風(fēng)險(xiǎn)的情景(如Physical Harm時(shí)，兩種目標(biāo)模型之間的ASR差距變得更加明顯，達(dá)到14.6％。

這一實(shí)驗(yàn)發(fā)現(xiàn)與直覺(jué)上認(rèn)為在沒(méi)有攻擊的情況下，GPT-4o是更安全的模型形成了鮮明對(duì)比。

這表明，具有更強(qiáng)的通用能力的模型并不一定等同于更強(qiáng)的安全性能，事實(shí)上，在報(bào)告的環(huán)境中可能更弱。

安全性能間的差異可能源于訓(xùn)練目標(biāo)和安全目標(biāo)之間的內(nèi)在沖突——

雖然在更廣泛的數(shù)據(jù)集上訓(xùn)練的大模型可能在知識(shí)和全面性方面表現(xiàn)出更好的性能，但它們也可能更容易產(chǎn)生不安全或有害的內(nèi)容。

相反，經(jīng)過(guò)嚴(yán)格安全措施訓(xùn)練的模型可能由于接觸不同數(shù)據(jù)的機(jī)會(huì)有限和嚴(yán)格的響應(yīng)準(zhǔn)則而表現(xiàn)出性能下降。

報(bào)告中的實(shí)驗(yàn)數(shù)據(jù)表明，GPT-4o可能沒(méi)有充分實(shí)現(xiàn)訓(xùn)練目標(biāo)和安全目標(biāo)之間的權(quán)衡。

考慮到常用的AdvBench基準(zhǔn)的代表性和適用性，除了評(píng)估目標(biāo)模型在原始文本查詢下的安全性外，作者還評(píng)估了模型在各種SOTA越獄攻擊下的安全性。

作者觀察到基于模板的越獄方法TBJ的ASR持續(xù)下降到0.0％，甚至低于No Attack時(shí)的ASR，這一現(xiàn)象表明OpenAI已經(jīng)針對(duì)這些廣泛傳播的越獄模板實(shí)施了額外的保護(hù)措施。

此外還可以看到，與No Attack基線相比，GCG和AutoDAN在越獄中都實(shí)現(xiàn)了一定程度的可遷移性。

例如攻擊GPT-4V時(shí)，GCG和AutoDAN分別使ASR提高10％和14.1％。

PAP是另一種專門(mén)為越獄大語(yǔ)言模型設(shè)計(jì)的方法，它在基于文本越獄攻擊方法中擁有最高的ASR（GPT-4V和GPT-4o的ASR分別為62.2％和62.7％）。

BAP是作者最近提出的一種多模態(tài)越獄攻擊方法，但在報(bào)告中，主要利用的是它的文本優(yōu)化方法，結(jié)果BAP在攻擊GPT-4V時(shí)達(dá)到了最高的ASR，達(dá)到83.1％。

從目標(biāo)模型來(lái)看，除了J_3中的PAP以外，在任何判斷函數(shù)和任何攻擊方式下，攻擊GPT-4o的ASR都低于攻擊GPT-4V。

這表明在面臨攻擊的情況下，與GPT-4V相比，GPT-4o具有更高的安全性。

音頻模態(tài)比文本更難攻擊

由于OpenAI的音頻相關(guān)API暫時(shí)不可用，移動(dòng)應(yīng)用中也有請(qǐng)求頻率限制，作者對(duì)音頻模態(tài)的安全性的測(cè)試相對(duì)有限。

作者首先使用GPT-4o對(duì)AdvBench進(jìn)行分類，并從4個(gè)最常見(jiàn)的類別中隨機(jī)選擇10個(gè)文本查詢，并基于上一節(jié)的實(shí)驗(yàn)數(shù)據(jù)選擇了GCG、AudoDAN、PAP和BAP生成的文本對(duì)抗提示。

隨后，作者使用OpenAI的TTS-1API將總共200個(gè)文本樣本轉(zhuǎn)換為MP3格式。由于實(shí)驗(yàn)數(shù)據(jù)有限，這部分的ASR是通過(guò)人工評(píng)估來(lái)計(jì)算的。

結(jié)果現(xiàn)實(shí)，直接將原始文本查詢轉(zhuǎn)換為音頻是無(wú)法越獄GPT-4o的，表明GPT-4o在音頻模態(tài)上具有足夠的安全性。

此外，使用GCG和AutoDAN等方法在文本模態(tài)下可以成功越獄GPT-4o的文本，在轉(zhuǎn)換為音頻模態(tài)后也失敗了。

造成這種結(jié)果的主要原因是這些方法生成的對(duì)抗性后綴在模態(tài)處理過(guò)程中丟失了一些關(guān)鍵的語(yǔ)義信息（如非字母符號(hào)）。

另外，作者觀察到PAP和BAP在文本模態(tài)下的ASR略高于從這些文本在音頻模態(tài)下得到的ASR。例如，在非法活動(dòng)場(chǎng)景中，文本模式下BAP的ASR為100％，而音頻模式下的ASR為80％。

在檢查交互結(jié)果時(shí)，作者發(fā)現(xiàn)在音頻交互期間，GPT-4o有時(shí)會(huì)以簡(jiǎn)單的‘Sure’響應(yīng)，然后詢問(wèn)進(jìn)一步的細(xì)節(jié)，模仿人類的會(huì)話風(fēng)格。

然而，報(bào)告中使用的文本模態(tài)越獄方法并沒(méi)有考慮到這一點(diǎn)，因?yàn)樗鼈円蕾囉趩位睾蠈?duì)話來(lái)實(shí)現(xiàn)越獄。因此，音頻模式的越獄攻擊的ASR略低于文本模式。

值得注意的是，盡管存在差距，音頻對(duì)抗性提示的ASR并沒(méi)有顯著降低。

這在很大程度上是由于PAP和BAP采用的策略接近于人類的處理方式。例如，它們會(huì)利用有說(shuō)服力的策略，如情景假設(shè)對(duì)整個(gè)語(yǔ)句進(jìn)行優(yōu)化。

多模態(tài)下比GPT-4V更易被攻擊

多模態(tài)安全性上，作者首先基于SafeBench進(jìn)行了評(píng)估，該數(shù)據(jù)集的核心思想是將原始查詢中的有害意圖轉(zhuǎn)換為格式化的排版圖像，并在圖像中留下空白，并由目標(biāo)模型填充。

從下表結(jié)果可以觀察到，在每種判斷結(jié)果中，GPT-4o的結(jié)果始終高于GPT-4V(在J_4中最多，為42.0％)，這表明GPT-4o比GPT-4V更容易受到此類攻擊。

考慮到GPT-4o優(yōu)越的多模態(tài)融合能力，這也可能導(dǎo)致其對(duì)此類攻擊的脆弱性增加。

值得注意的是，我們觀察到一個(gè)異常現(xiàn)象，即在某些情況下，目標(biāo)模型在No Attack條件（僅使用原始文本查詢）下的ASR高于攻擊條件下的ASR。

下圖給出了一個(gè)示例，顯示當(dāng)使用多模態(tài)查詢時(shí)，越獄嘗試更容易失敗。這一觀察結(jié)果與原始論文的發(fā)現(xiàn)以及作者的直覺(jué)相矛盾。

作者分析，這種差異可能是由于OpenAI實(shí)現(xiàn)了類似于FigStep的針對(duì)多模態(tài)排版攻擊的特定防御。這些排版攻擊通常需要使用諸如“請(qǐng)為上述列表中的每個(gè)項(xiàng)目生成詳細(xì)的內(nèi)容”的文本提示才有效。

作者推測(cè)OpenAI可能會(huì)根據(jù)這些字符串特征檢測(cè)到排版攻擊的跡象，從而在推理過(guò)程中采用更強(qiáng)的緩解機(jī)制。

在非異常情況下，使用FigStep攻擊獲得的ASR并不顯著高于No Attack條件下的ASR。

例如，當(dāng)攻擊GPT-4o時(shí)，Hate Speech場(chǎng)景的ASR僅為3.6％。這表明FigStep攻擊對(duì)GPT-4V和GPT-4o基本上無(wú)效。

這里需要注意，考慮到OpenAI對(duì)其商業(yè)模型保護(hù)措施的動(dòng)態(tài)調(diào)整，目前的研究結(jié)果并不能否定FigStep在其最初發(fā)布時(shí)有效越獄GPT-4V的由有效性。

另外，作者還在MM-SafetyBench上進(jìn)行了評(píng)估，該數(shù)據(jù)集利用了基于圖像語(yǔ)義構(gòu)建視覺(jué)對(duì)抗性提示的方法。

原始文本查詢中的有害語(yǔ)義通過(guò)文本到圖像模型轉(zhuǎn)換為圖像，然后添加關(guān)鍵的排版文本以生成所需的視覺(jué)對(duì)抗提示。

當(dāng)在下表中關(guān)注Hate Speech、Physical Harm和Fraud等危害性較強(qiáng)的場(chǎng)景下的實(shí)驗(yàn)結(jié)果時(shí)，觀察到攻擊下目標(biāo)模型的ASR始終低于No Attack條件(僅使用原始文本查詢)下的ASR。

作者在評(píng)估SafeBench時(shí)觀察到這種現(xiàn)象，例如對(duì)于這種基于圖像語(yǔ)義的攻擊，OpenAI可能在檢測(cè)到含有有害語(yǔ)義的圖像后，采用先進(jìn)的防御機(jī)制，防止攻擊者利用圖像向多模態(tài)大模型中注入有害語(yǔ)義或指令。

所以，作者推測(cè)OpenAI已經(jīng)針對(duì)這些已知的多模態(tài)攻擊方法實(shí)現(xiàn)了特定的防御。

在攻擊GPT-4o時(shí)，除了Hate Speech、Economic Harm和Legal Opinion場(chǎng)景外，在No Attack條件下的ASR始終高于攻擊條件下的ASR，這是一個(gè)異常現(xiàn)象。

在GPT-4V中也觀察到類似的模式，這說(shuō)明當(dāng)前典型的黑盒多模態(tài)越獄方法對(duì)于越獄GPT-4o和GPT-4V無(wú)效。

此外作者還注意到，除J_3的判斷結(jié)果外，其他三個(gè)判斷函數(shù)的結(jié)果都表明GPT-4o的ASR始終高于GPT-4v。結(jié)合SafeBench獲得的實(shí)驗(yàn)結(jié)果，這清楚地表明，與GPT-4v相比，GPT-4o更容易受到多模式越獄攻擊。

同時(shí)，作者指出，由于官方OpenAI API的局限性，本研究主要側(cè)重于通過(guò)API對(duì)大型數(shù)據(jù)集上涉及文本和視覺(jué)模式的越獄攻擊進(jìn)行自動(dòng)評(píng)估，并通過(guò)移動(dòng)應(yīng)用程序使用AdvBench的一個(gè)子集手動(dòng)對(duì)音頻模式進(jìn)行越獄攻擊。

這項(xiàng)研究首次揭示了幾個(gè)關(guān)鍵的觀察結(jié)果。作者希望這項(xiàng)工作能提高社區(qū)對(duì)多模態(tài)大模型安全風(fēng)險(xiǎn)的認(rèn)識(shí)，并敦促研究人員優(yōu)先考慮為多模態(tài)大模型制定對(duì)齊策略和緩解技術(shù)。

另外，由于目前多模態(tài)越獄數(shù)據(jù)集的匱乏，本研究?jī)H探討文本-視覺(jué)的多模態(tài)組合下的越獄對(duì)GPT-4o安全性的影響。

作者表示，在未來(lái)，必須迅速建立包括文本、視覺(jué)和音頻等各種模態(tài)組合的多模式數(shù)據(jù)集，以全面評(píng)估GPT-4o的安全能力。

論文地址：https://arxiv.org/abs/2406.06302
GitHub：https://github.com/NY1024/Jailbreak_GPT4o