本文一作王勛廣是香港科技大學的在讀博士生，本科和碩士分別畢業于中國地質大學和哈爾濱工業大學，主要研究方向是大模型安全。通訊作者吳道遠，香港科技大學研究助理教授，研究方向包括大模型安全、區塊鏈和智能合約安全、移動系統和軟件安全。通訊作者王帥，香港科技大學長聘副教授。研究方向包括 AI 安全、軟件安全、數據隱私、逆向工程等。

最近一段時間，DeepSeek 可謂是風頭無兩。

在大家紛紛贊揚其超強性能的同時，也有媒體曝出 DeepSeek 的 R1 比其他 AI 模型更容易被越獄。

比如，此前賓夕法尼亞大學的研究者使用來自HarmBench數據集的50個有害提示對DeepSeek R1進行測試，這些提示涵蓋網絡犯罪、虛假信息和非法活動等領域。結果顯示，DeepSeek未能攔截任何一個有害請求，攻擊成功率達到驚人的100%。

這時如果有一個 AI 系統能像人類一樣具備自我保護意識，在面對 ' 欺騙 ' 時能夠當機立斷地識破陰謀 —— 這不再是科幻片中的場景。

近日，來自香港科技大學、南洋理工大學等機構的研究團隊最新成果讓這一設想成為現實。他們提出的 SelfDefend 框架，讓大語言模型首次擁有了真正意義上的 ' 自衛能力 '，能夠有效識別和抵御各類越獄攻擊，同時保持極低的響應延遲。

• 論文標題：SelfDefend: LLMs Can Defend Themselves against Jailbreaking in a Practical Manner
• 論文主頁：https://selfdefend.github.io/ 
• 論文鏈接：https://arxiv.org/abs/2406.05498
• GitHub 鏈接：https://github.com/selfdefend/Code

近年來，大語言模型（LLMs）在自然語言處理、信息檢索、圖像生成等多個領域展現出巨大潛力。然而，隨著 LLMs 的廣泛應用，如何確保其安全性成為了一個重要課題。尤其是 “越獄攻擊”（Jailbreaking），這種攻擊通過繞過 LLMs 的安全對齊機制，誘導模型生成有害內容，引發了廣泛關注。為了應對這一挑戰，香港科技大學、南洋理工等團隊聯合提出了一種名為 SelfDefend 的新型防御框架，該框架通過引入 “影子 LLM”（Shadow LLM）來并行檢測潛在的有害查詢，從而有效抵御多種越獄攻擊。

越獄攻擊的多樣性與防御挑戰

越獄攻擊的形式多種多樣，包括基于人工設計的攻擊、基于優化的攻擊、基于生成的攻擊，以及最近出現的間接攻擊和多語言攻擊。這些攻擊手段不斷進化，使得傳統的防御機制難以應對。現有的防御方法主要分為兩類：基于模型的防御和基于插件的防御。前者通過改進模型的內在機制來增強安全性，后者則通過外部插件來增強現有模型的安全性。然而，這些方法在實際應用中面臨諸多挑戰，無法同時滿足四個目標：應對所有類型的攻擊（O1）、引入可忽略的額外延遲（O2）、對檢測出的越獄訪問提供可解釋性（O3），以及同時適用于開源和閉源模型（O4）。

SelfDefend 框架的創新設計

SelfDefend 框架的靈感來源于傳統安全領域中的 “影子棧”（Shadow Stack）概念。影子棧通過創建一個并行的內存空間來防御內存溢出攻擊，而 SelfDefend 則通過創建一個并行的 “影子 LLM” 來檢測潛在的有害查詢。具體來說，SelfDefend 框架包含兩個并行的 LLM 實例：一個用于正常響應用戶查詢的目標 LLM（），另一個用于檢測有害內容的防御 LLM（）。當用戶輸入查詢時，目標 LLM 會正常處理查詢并生成響應，而防御 LLM 則通過特定的檢測提示詞（）來識別查詢中的有害部分或意圖。

這種設計帶來了多重優勢：首先，它同時利用了目標 LLM 的安全對齊機制和防御 LLM 的越獄檢測能力，形成了雙重保護層，顯著提高了防御成功率；其次，由于防御 LLM 的輸出通常較短（如 “No” 表示無問題），正常查詢的響應延遲幾乎可以忽略不計；然后檢測出的有害部分或者惡意意圖可以作為防御的可解釋性；最后，由于防御 LLM 不需要修改或監控目標 LLM 的內部機制，因此可以兼容開源和閉源模型。

實驗驗證與效果評估

研究團隊通過大量實驗驗證了 SelfDefend 框架的有效性。實驗結果表明，基于 GPT-3.5 和 GPT-4 的 SelfDefend 能夠顯著降低多種越獄攻擊的成功率。例如，基于 GPT-3.5 的 SelfDefend 將攻擊成功率（ASR）從平均 65.7% 降低至 0.236，而基于 GPT-4 的 SelfDefend 更是將 ASR 降低至平均 0.050。此外，SelfDefend 對正常查詢的影響微乎其微，GPT-3.5 和 GPT-4 的正常查詢通過率僅分別下降了 0.51% 和 2.77%。

為了進一步降低成本和提升魯棒性，研究團隊還通過數據蒸餾方法對開源的 Llama-2-7b 模型進行了微調，生成了專用的防御模型。實驗表明，這些微調后的模型在防御效果上與基于 GPT-4 的 SelfDefend 相當，且額外延遲顯著降低。例如，微調后的模型在正常查詢中的平均延遲僅為 0-0.01 秒，而在攻擊場景中的最大延遲從 GPT-4 的 1.56 秒降低至 0.39 秒。

與現有防御方法的對比

研究團隊還將 SelfDefend 與現有的七種主流防御方法進行了對比，包括 ICD、SafeDecoding、Perplexity Filter、SmoothLLM、Llama Guard 等。實驗結果顯示，SelfDefend 在 60 個測試場景中的 55 個場景中表現最優，尤其是在應對間接攻擊和多語言攻擊時，SelfDefend 的防御效果顯著優于其他方法。此外，SelfDefend 的額外延遲也遠低于其他防御方法，使其在實際部署中更具可行性。

未來展望

這項開創性的研究不僅為 AI 安全領域帶來了突破性進展，更揭示了一個振奮人心的信號：AI 系統的安全性與效率不再是魚和熊掌不可兼得。通過賦予 AI' 自衛意識 '，SelfDefend 展現了一個更安全的 AI 未來：在這個未來里，AI 系統既能保持高效服務能力，又能主動識別和抵御潛在威脅，真正實現 ' 自我守護 '。