大語言模型應(yīng)用面臨的兩大安全威脅是訓(xùn)練數(shù)據(jù)泄漏和模型濫用（被應(yīng)用于網(wǎng)絡(luò)犯罪、信息操弄、制作危險(xiǎn)品等違法活動）。

本周內(nèi)，這兩大安全威脅相繼“暴雷”。

本周一，GoUpSec曾報(bào)道研究人員成功利用新的數(shù)據(jù)提取攻擊方法從當(dāng)今主流的大語言模型（包括開源和封閉，對齊和未對齊模型）中大規(guī)模提取訓(xùn)練數(shù)據(jù)。

本周四，Robust Intelligence和耶魯大學(xué)人工智能安全研究人員公布了一種機(jī)器學(xué)習(xí)技術(shù)，可以自動化方式，一分鐘內(nèi)越獄包括GPT-4在內(nèi)的主流大型語言模型(無論模型是否開源，是否對齊)。

沒有大語言模型能夠幸免

“這種（自動越獄）攻擊方法被稱為修剪攻擊樹(TAP)，可誘導(dǎo)GPT-4和Llama-2等復(fù)雜模型對用戶的查詢回復(fù)數(shù)百個包含有害、違規(guī)內(nèi)容或不安全響應(yīng)（例如：“如何在短短幾分鐘內(nèi)制造出一枚炸彈”。各主流模型的攻擊測試統(tǒng)計(jì)結(jié)果如下（GPT4的提示越獄成功率高達(dá)90%）：

測試結(jié)果表明，這個越獄漏洞在大語言模型技術(shù)中普遍存在，且沒有明顯的修復(fù)方法。

自動對抗性機(jī)器學(xué)習(xí)攻擊技術(shù)

目前，針對基于大語言模型的人工智能系統(tǒng)有多種攻擊策略，例如：

提示注入攻擊，即使用精心設(shè)計(jì)的提示誘導(dǎo)模型“吐出”違反其安全規(guī)則的答案。

人工智能模型也可能被設(shè)置后門（在觸發(fā)時(shí)生成不正確的輸出），其敏感訓(xùn)練數(shù)據(jù)會被提取或中毒。模型可能會與對抗性樣本“混淆”，即觸發(fā)意外（但可預(yù)測）輸出的輸入。

Robust Intelligence和耶魯大學(xué)研究人員發(fā)現(xiàn)的自動對抗性機(jī)器學(xué)習(xí)技術(shù)屬于對抗性樣本“混淆”攻擊，可突破大語言模型的安全護(hù)欄。

用魔法打敗魔法

研究人員解釋說：“（該方法）利用采用先進(jìn)的語言模型來增強(qiáng)人工智能網(wǎng)絡(luò)攻擊，該攻擊模型能不斷完善有害指令，使攻擊隨著時(shí)間的推移變得更加有效，最終導(dǎo)致目標(biāo)模型破防。”

“該流程涉及初始提示的迭代細(xì)化：在每一輪查詢中，攻擊模型都會對初始攻擊進(jìn)行改進(jìn)。該模型使用前幾輪的反饋來迭代出新的攻擊查詢。每種改進(jìn)的方法都會經(jīng)過一系列檢查，以確保其符合攻擊者的目標(biāo)，然后針對目標(biāo)系統(tǒng)進(jìn)行評估。如果攻擊成功，則該流程結(jié)束。如果沒有，它會迭代生成新的策略，直到成功為止。”

這種針對大語言模型的越獄方法是自動化的，可以用于開源和閉源模型，并且能通過最小化查詢數(shù)量進(jìn)行優(yōu)化，以盡可能隱蔽。

研究人員針對多種主流大語言模型（包括GPT、GPT4-Turbo和PaLM-2）測試了該技術(shù)，攻擊模型只用少量查詢就成功為80%的查詢找到有效的越獄提示，平均查詢數(shù)不到30次。

研究人員表示，該方法顯著改進(jìn)了此前使用可解釋提示來越獄黑盒大語言模型的自動化方法。”

大語言模型的安全競賽

人工智能軍備競賽已經(jīng)進(jìn)入白熱化階段，科技巨頭們每隔幾個月就會推出新的專業(yè)大語言模型（例如Twitter和Google近日先后發(fā)布的Grok和Gemini）爭奪人工智能市場的領(lǐng)導(dǎo)地位。

與此同時(shí)，大語言模型的“黑盒屬性”和“野蠻生長”導(dǎo)致其安全風(fēng)險(xiǎn)驟增，生成式人工智能技術(shù)已經(jīng)快速滲透到各種產(chǎn)品、服務(wù)和技術(shù)中，業(yè)務(wù)用例不斷增長，相關(guān)內(nèi)容安全和（針對AI和利用AI）網(wǎng)絡(luò)安全攻擊事件勢必將呈現(xiàn)爆發(fā)式增長。

網(wǎng)絡(luò)安全業(yè)界對大語言模型漏洞研究的“安全競賽”也已緊鑼密鼓地展開。例如，谷歌成立了專門針對人工智能的紅隊(duì)，并擴(kuò)大了其漏洞賞金計(jì)劃以覆蓋與人工智能相關(guān)的威脅。微軟還邀請漏洞獵人來探究在其產(chǎn)品線中集成Copilot的各種安全風(fēng)險(xiǎn)。

今年早些時(shí)候，黑客大會DEF CON的AI Village邀請了全球頂級的黑客和紅隊(duì)成員測試來自Anthropic、Google、Hugging Face、NVIDIA、OpenAI、Stability和Microsoft的大語言模型，發(fā)現(xiàn)這些模型普遍存在容易被濫用的漏洞（泄漏數(shù)據(jù)、編造和傳播謠言、用于實(shí)施監(jiān)控和間諜活動等）。