AI Agents 漏洞百出，惡意提示等安全缺陷令人擔憂

作者：Leo 2025-08-05 07:41:00

Pangea 研究團隊的最新案例顯示，大型語言模型可能被嵌入查詢免責聲明、服務條款或隱私政策中的惡意指令所欺騙。

法律術語可欺騙AI模型，互聯智能體系統易受攻擊

安全研究人員的最新發現印證了信息安全從業者早已意識到的事實：AI 智能體（AI agents）并不聰明，它們很容易被法律術語、權威訴求甚至只是一個分號和少量空白字符誘導，做出愚蠢或危險的行為。

Pangea 研究團隊的最新案例顯示，大型語言模型（LLM，Large Language Model）可能被嵌入查詢免責聲明、服務條款或隱私政策中的惡意指令所欺騙。研究人員表示，模仿法律語言風格和語氣的惡意載荷可以與這些免責聲明無縫融合。一旦攻擊成功，攻擊者就能竊取企業數據等敏感信息。

在實際環境測試中（包括使用 Google Gemini CLI 命令行工具的場景），這種注入攻擊成功繞過了 AI 驅動的安全分析，導致系統將惡意代碼錯誤分類為安全內容。值得注意的是，這一發現與 Tracebit 研究人員在 Gemini CLI 中發現的提示注入漏洞不同，后者已被 Google 于本周修復。

跨平臺智能體架構存在關鍵漏洞

另一份由 Lasso Security 發布的報告指出，研究人員發現并利用了 MCP（Model Context Protocol）等智能體 AI 架構中的關鍵漏洞。當 AI 智能體使用統一認證上下文跨多個平臺操作時，會意外形成身份網狀結構，從而破壞安全邊界。

Lasso 研究人員表示："這項研究超越了典型的 PoC（概念驗證）或實驗室演示。我們已在三種真實場景中驗證了這一漏洞。"例如，一封包含特殊構造文本的郵件可能被具有郵件閱讀能力的智能體處理。這些惡意內容不會立即觸發攻擊行為，而是植入指令，在智能體后續對其他系統進行操作時激活。

"注入與利用之間的時間延遲和上下文切換，使得傳統安全監控手段難以檢測這類攻擊，"Lasso 強調。

AI技術尚未成熟

加拿大事件響應公司 DeepCove Cybersecurity 的首席安全架構師 Kellman Meghu 對這些發現表示失望："我們這個行業太天真了，竟然認為 AI 技術已經成熟可用。我們不斷嘗試各種 AI 方案，卻始終未能取得實質性突破。"

他以 Pangea 報告中通過污染法律免責聲明欺騙 LLM 的案例為例指出："當我知道某個網站或輸入設備正在向 LLM 提供數據時，創建惡意提示的可能性就一直存在。比如，我可以用簡單的 base64 編碼發送他們試圖通過關鍵詞過濾的相同提示注入。任何向 LLM 輸入數據的地方都可能遭受注入攻擊——我以為現在所有人都明白這一點。"

Meghu 補充道："這并非否定 LLM 技術的價值。這是一項令人印象深刻的技術，但我們仍需大量工作來記錄和理解它如何改進并應用于現實世界，而不是一味炒作以吸引投資。"

企業安全官應保持謹慎

Meghu 給企業安全官（CSO）的建議是：不要輕信營銷宣傳，也不要將業務過多押注于當前的 AI/LLM 技術。應該從小規模開始，并始終安排人工操作員進行指導。

"如果拋開浮夸宣傳，著眼于實際應用，我們會發現這項新技術可以提升現有員工的工作效率和產出，"他說，"雖然讓 LLM 機器人全天候工作、無需休假聽起來能極大提高生產力，但這種理想狀態并不存在。從小規模開始，保持隔離，等待 LLM 相關技術成熟才是明智之舉。"

提示注入攻擊可欺騙部分模型

測試顯示，Deepseek、Google Gemini 2.5 Flash、Meta Llama 和 xAI Grok 的某些版本都不同程度地受到欺騙。雖然防御性提示降低了攻擊成功率，但未能完全消除漏洞。

Pangea 解釋稱，這是因為 AI 模型被訓練得能夠識別并尊重法律權威，使得部分模型對偽造的法律語言缺乏抵抗力。不過，并非所有 LLM 都易受攻擊——Anthropic Claude 3.5 Sonnet 和 Sonnet 4、Microsoft Phi 以及 Meta 的 Llama Guard 在所有測試案例中均成功抵御了提示注入嘗試。值得注意的是，在所有測試場景中，人類安全分析師都能正確識別惡意軟件。

Pangea 總結道："這項研究凸顯了 LLM 在抵抗微妙提示注入策略方面的持續弱點，即使加強了安全指令也是如此。"報告建議企業安全官：

對所有 AI 輔助的安全決策實施人工復核
部署專門檢測提示注入嘗試的 AI 防護機制
避免在生產環境中使用全自動 AI 安全工作流
對安全團隊進行提示注入識別培訓

MCP漏洞"簡單但難修復"

Lasso 將其發現的漏洞命名為 IdentityMesh，該漏洞通過利用 AI 智能體在多個系統中的統一身份，繞過了傳統認證保護機制。

當前 MCP 框架通過多種機制實現認證，包括用于外部服務訪問的 API 密鑰認證和基于 OAuth 令牌的用戶委托授權。然而，Lasso 指出，這些機制假設 AI 智能體會尊重系統間的隔離設計，"缺乏防止跨系統信息傳輸或操作鏈的機制，形成了可被利用的基礎性弱點"。

SANS 研究院研究主任 Johannes Ullrich 表示："這是 MCP 乃至整個 AI 系統普遍存在的一個簡單但難以修復的問題。"他解釋說，內部 AI 系統通常在不同分類級別的文檔上進行訓練，但一旦被納入 AI 模型，所有文檔都會被同等對待。保護原始文檔的訪問控制邊界隨之消失，雖然系統不允許檢索原始文檔，但其內容可能會在 AI 生成的響應中泄露。

Ullrich 建議，MCP 需要仔細標記從外部源返回的數據，以區分用戶提供的數據。這種標記必須貫穿整個數據處理流程。他警告企業安全官："不要通過 MCP 將系統連接到不可信的數據源。"

責任編輯：趙寧寧來源： FreeBuf

漏洞惡意軟件企業安全