在人工智能迅猛發展的今天，Agentic AI系統以其前所未有的自主性、適應性和決策能力，正在重塑企業的數字化格局。這些具備"代理能力"的AI系統能夠自主感知環境、制定決策并采取行動，為企業帶來效率提升和創新機遇。然而，隨之而來的是全新的安全挑戰與風險維度：當AI擁有了更大的自主權，我們如何確保它始終在可控、安全、合規的軌道上運行？

Agentic AI系統的風險主要來源于企業的網絡環境、外部風險環境及系統脆弱性。為了應對上述風險，企業在部署Agentic AI系統時，應構建一個多層次的安全保障體系。該體系不僅需要技術層面的防護措施，還需配套完善的管理流程。以下幾個關鍵維度是構建防護體系的基礎：

• 完善的風險管理體系
• 分層的網絡安全防護
• 嚴格的數據安全管控
• 針對AI模型特有攻擊的專項防護
• 模型自身安全增強
• 持續的安全運營

圖片

建立完善的AI風險管理體系

Agentic AI系統以其高度的自主性、適應性和潛在的復雜交互能力，在帶來巨大機遇的同時，也引入了傳統信息系統未曾面臨的新型風險。這些風險不僅包括技術層面的漏洞、數據安全問題，更延伸至倫理偏見、決策責任、合規性挑戰等多個維度。因此，僅僅依賴傳統的技術防護手段已難以保障Agentic AI在預期范圍內安全、可靠、負責任地運行。我們必須建立一套全面、有效、適應性強的AI風險管理體系。

1. 在現有安全管理體系基礎上強化AI特有風險管控

許多組織已經建立了基于國家或行業標準的安全管理體系，例如網絡安全等保體系或基于ISO27001的安全管理體系。比如，等保體系為信息系統提供了基礎的網絡安全、主機安全、數據安全和管理制度要求，這為 Agentic AI 系統的基礎環境安全奠定了良好基礎。然而，等保體系并未完全覆蓋 Agentic AI 的特有風險，例如：

• 模型自身風險， 如模型偏見、魯棒性不足、可解釋性差等；
• 數據依賴風險， 如訓練數據投毒、運行時數據污染、數據隱私合規等；
• Agent 自主行為風險，如目標沖突、意外交互、越權操作、責任界定困難等；
• 倫理與合規風險，如歧視性決策、違反特定行業法規（金融、醫療）等。

因此，需要在遵循等保等基礎安全要求之上，針對 Agentic AI 的特性，進一步完善和增強風險管理措施。

2. 建立健全AI風險治理機制

有效的風險管理始于頂層的治理設計。針對Agentic AI，需要建立專門的風險治理機制。首先，應成立跨部門的AI風險管理委員會或工作組，或者把AI安全管理職能嵌入到現有安全組織中。AI安全委員會和工作組成員應包括管理層、數據科學家、AI工程師、安全專家、法務合規人員、倫理專家及相關業務部門代表。該組織負責制定AI風險管理戰略、審批關鍵AI應用、監督風險評估與處置、處理重大AI相關事件；其次，應制定一套覆蓋Agentic AI全生命周期的政策、標準和流程；再則，加強相關人員的風險意識和專業技能也很重要。對AI開發者、運維人員進行AI安全和倫理培訓；培養既懂AI技術又懂安全的復合型人才；確保法務合規團隊理解AI技術及其帶來的獨特挑戰。

建議

組織應建立的AI安全制度包括但不限于以下：

• 《AI 倫理準則與審查流程》：明確 AI 應用的倫理紅線和價值導向；
• 《AI 模型開發與驗證安全規范》：涵蓋數據采集與處理、模型設計、訓練、測試、部署各環節的安全要求，特別是偏見檢測與緩解、魯棒性測試等；
• 《Agentic AI 數據安全與隱私保護策略》：細化敏感數據處理、匿名化、加密、數據最小化、數據生命周期管理等要求；
• 《Agentic AI 訪問控制與權限管理規定》：明確 Agent的操作權限、數據訪問范圍、交互邊界；
• 《Agentic AI 安全事件應急響應預案》：針對模型失效、數據泄露、Agent 行為失控等場景制定響應流程。

3. 權限管理與訪問控制

權限管理與訪問控制是信息安全領域的重要組成部分，其目的是確保系統資源只被經過授權的主體訪問和使用。Agentic AI具有自主決策和行動的能力，缺乏有效的權限控制，可能導致未經授權的操作，甚至引發安全事故，因此在Agentic AI的應用中，權限管理與訪問控制顯得尤為重要，是確保Agentic AI行為可控的關鍵手段。通過建立細粒度的權限控制體系，采用合適的權限管理模型和技術，結合嚴格的審批流程和監控機制，可以有效地防范Agentic AI的安全風險。

建議

? 首先，建立細粒度的權限控制體系。針對不同的操作、資源和環境制定具體的權限規則。實踐中，需要根據具體的業務需求和風險評估，制定適合的權限管理策略，并持續改進和優化。相關管理模型和控制方法可參考安全牛《數字身份治理》報告。

?其次，通過權限審批和授權流程、行為限制和監控、應急響應機制保障Agentic AI行為可控。為防止Agentic AI執行未經授權的操作，需要建立嚴格的權限審批和授權流程。除了權限控制，還需要對Agentic AI的行為進行限制和監控。

? 最后，建立應急響應機制，確保在Agentic AI出現異常行為時，及時發現并處理。

4. 安全審計與監控

安全審計與監控是保障信息系統安全的重要手段。對于Agentic AI系統，安全審計與監控可以實現其行為的可追溯性，及時發現和處理安全事件，確保系統的可靠運行。

實際應用中，建議根據系統的復雜性和風險等級，制定合適的審計策略，持續提升安全審計與監控能力。建立權限管理與訪問控制，以及安全審計與監控，是確保Agentic AI安全運行的重要手段。通過建立細粒度的權限控制體系，設計全面的審計追蹤機制，能有效確保Agentic AI的行為可控，實現行為的可追溯性。

建議

? 采用Agentic AI行為可追溯性的技術手段，如：行為日志記錄、日志存儲與保護、日志分析和審計；

? 設計全面的審計追蹤機制，如：制定完善的審計策略，明確需要審計的對象、內容和頻率；

? 設計周密的審計策略，明確審計范圍、關鍵節點與執行頻率，并利用自動化、智能化工具提升審計效率與深度；

? 建立實時的監控和報警機制，持續監測 Agent行為、系統狀態及數據流，以便迅速識別異常活動、潛在威脅或策略偏離，并觸發及時的應急響應，保障系統安全穩定運行。

建立分層的AI技術防護體系

為有效地管控Agentic AI系統的使用風險，用戶需要建立一個分層的技術防護體系。這一體系建議從模型訓練、系統框架層和應用層三個方面入手，全面加強安全防護措施。

1. 模型訓練的安全防護

模型訓練階段是Agentic AI系統安全的起點和基礎，訓練過程中的安全漏洞可能導致模型永久性的安全缺陷，這些缺陷在部署后難以完全修復。模型訓練安全防護不僅關注技術層面的防護措施，還需要考慮組織流程、人員管理和供應鏈安全等多維度因素。模型訓練安全的防護措施包括但不限于以下內容：

• 數據清洗：數據質量直接影響著模型的準確性和安全性。數據清洗是保證訓練數據質量的首要步驟，涉及刪除錯誤、重復或無效的數據。如：異常值檢測、缺失值處理、數據一致性檢查等。
• 投毒檢測：模型投毒（Model Poisoning）是一種針對AI模型的攻擊方式，攻擊者通過篡改訓練數據來誘導模型產生錯誤的輸出。為了防范這一風險，需要在訓練過程中實施投毒檢測。如：差異檢測、模型驗證、魯棒性訓練等。
• 對抗樣本防御：對抗樣本（Adversarial Examples）是指經過精心設計的輸入，旨在誘導模型產生錯誤的輸出。為保護Agentic AI模型免受對抗樣本的影響，需要采用對抗樣本防御技術。如：對抗訓練、輸入正則化處理、建立對輸入數據的檢測機制等。
• 輸入驗證：輸入驗證是防止惡意或錯誤輸入導致模型異常的重要手段。通過嚴格的輸入檢查，可以確保模型接收到的都是符合預期的、安全的輸入。輸入驗證的策略包括：格式驗證、范圍合理性驗證、內容的合法性驗證等。
• 訪問控制：除了以上技術手段，實施嚴格的訪問控制也是保護模型訓練安全的重要措施。通過權限管理，限制對模型的未經授權的訪問，可以防止模型泄露和濫用。如：多因素認證、最小化權限、審計日志等。

2. 系統框架層安全加固

系統框架層是Agentic AI系統的核心結構和基礎支撐，其安全性直接決定了整個系統的安全上限。框架層安全加固不僅關乎防御外部攻擊，更是確保AI智能體行為可控、可信和可靠的關鍵。框架層安全加固可以重點考慮：分布式架構安全、內存安全保護、接口安全管控三個方面：

• 分布式架構安全：在Agentic AI中，分布式架構被廣泛應用以提升計算效率和模型性能。然而，這也帶來了新的安全挑戰，如節點認證、數據傳輸安全等問題。對于節點認證問題，可以基于PKI基礎設施、OAuth 2.0協議實施嚴格的認證授權機制，確保只有經過驗證的節點和用戶才能參與系統。為了防止數據在傳輸過程中被竊聽或篡改，可對通信進行加密、采用數據完整性校驗等手段；
• 內存安全保護：Agentic AI框架通常涉及大量的內存操作，內存安全問題可能導致系統漏洞和攻擊風險。開發中進行嚴格的邊界檢查，使用中要進行定期的版本更新、安全審計，并及時修復已知的安全漏洞，有效防止緩沖區溢出和內存泄漏；
• 接口安全控制：Agentic AI框架通常提供豐富的接口供開發者使用，但不安全的接口可能成為攻擊的入口。采用API密鑰、請求頻率限制對接口的訪問進行嚴格控制，對傳入的參數進行嚴格的校驗等措施，可以防止未授權的調用，防止SQL注入、命令注入等攻擊。

3. 應用層安全措施

應用層是Agentic AI系統與用戶直接交互的界面，也是攻擊者最常嘗試突破的入口。應用層安全措施不僅關乎防御外部攻擊，更直接影響用戶體驗和信任度。針對應用層安全，一般從Web應用安全、插件安全、數據安全三個維度進行安全防護：

• Web應用安全：Web應用是Agentic AI最常見的呈現形式，也是攻擊者的主要目標。對于Web應用風險的主要安全措施，建議：及時修復Web應用中的已知漏洞，防止被利用；部署網絡防火墻和入侵檢測系統，防御常見攻擊；
• 插件安全：Agentic AI應用通常支持插件擴展，不受控制的插件可能帶來安全風險。針對插件類問題的主要安全措施，包括：對插件進行嚴格的安全審核，防止惡意插件入侵系統。已安裝的插件，可以通過沙箱技術，將插件的執行環境與主應用隔離，防止安全漏洞的擴散。如使用Docker等容器技術，隔離插件的運行環境。采取權限限制措施，嚴格控制插件的權限，只允許必要的資源訪問；
• 數據安全：Agentic AI應用處理大量敏感數據，數據的安全性至關重要。數據安全的代表性措施有：對傳輸和存儲過程中的數據進行加密，防止竊取和泄露；實施嚴格的數據訪問控制，確保只有授權用戶才能訪問敏感數據。

增強模型可解釋性和透明度

Agentic AI系統的自主性和復雜性使其決策過程往往成為“黑箱”，用戶難以理解其決策依據和邏輯。這種缺乏可解釋性的特性可能導致用戶對系統的不信任，甚至在發生安全事件時難以定位問題。因此，增強模型的可解釋性和透明度，對于提高Agentic AI的可信度和安全性至關重要。

1. 可解釋性（Explainability）

是指提供關于AI系統決策過程和結果的清晰、易懂的解釋。增強Agentic AI的可解釋性，可以幫助用戶理解其決策依據，發現潛在的問題，滿足合規性要求，提升信任度。包括：可視化、特征重要性分析、LIME（局部可解釋模型）、SHAP等。在實踐中，需要根據具體的應用場景，選擇合適的可解釋性技術，并結合用戶需求，持續改進模型算法。

2. 模型透明化策略

是指通過開放模型架構、記錄日志等方式，增加Agentic AI的透明度，增強用戶和監管機構的信任。這些策略有助于發現潛在的問題，促進模型的改進，滿足合規性要求。提高Agentic AI模型透明度的實踐有：

• 通過公開Agentic AI的模型架構、算法原理和設計思路；
• 詳細的日志記錄有助于跟蹤Agentic AI的行為，發現問題，提供審計依據；
• 定期發布透明度報告，披露系統的性能、安全性和改進情況。

在實踐中，還需要平衡透明化與商業機密、隱私保護之間的關系，采用合理的策略，滿足合規性要求，增強信任，提高安全性。在增強模型可解釋性和透明度方面，可解釋AI技術的應用，以及模型透明化策略對于提高Agentic AI的可信度和安全性具有重要作用。通過技術和管理措施的結合，能有效地防范風險，促進Agentic AI在網絡安全領域的安全應用。

強化對抗性攻擊防御

隨著Agentic AI在各行各業的廣泛應用，其安全性和魯棒性成為關注的焦點。對抗性攻擊利用模型的脆弱性，惡意干擾AI系統的正常運行，可能導致嚴重的安全事故和經濟損失。因此，強化對抗性攻擊防御對于保護Agentic AI系統的安全至關重要。

為防御對抗性攻擊，要加強對抗算法研究，同時也要做好安全測試與驗證機制。

1. 加強對抗算法研究

首先，研發抵御對抗性攻擊的算法，提高模型的魯棒性。一種常見的方法是增強模型的穩定性。這包括設計更為魯棒的網絡結構，使用正則化技術防止過擬合，以及通過數據增強來提高模型對未知數據的適應性。

• 加入噪聲層或使用噪聲對抗正則化（Noise-Contrastive Regularization）可以有效提升模型對輸入擾動的免疫力；
• 采用隨機平滑（Randomized Smoothing）技術。它通過對輸入進行隨機噪聲擾動，使得模型輸出在小范圍內的輸入變化下保持穩定。這種方法已被證明能夠提供可證實的魯棒性保證，是當前對抗攻擊研究的熱點。

其次，對抗訓練（Adversarial Training）。對抗訓練是目前應對對抗性攻擊最有效的防御策略之一。其核心思想是在模型訓練時，加入對抗樣本，使模型學習到對抗性擾動的特征，從而提高抵御能力。對抗訓練可以視為一種數據增強技術，但其計算成本較高，需要在訓練過程中生成大量的對抗樣本。

2. 安全測試與驗證機制

為了全面提升Agentic AI系統的防御能力，除了在算法上進行優化外，還需要建立完善的安全測試與驗證機制，模擬真實的攻擊場景，對系統進行全面的安全評估。同時，由于安全威脅是動態變化的，新的對抗性攻擊方法不斷涌現，Agentic AI系統需要建立持續的安全驗證與更新機制，保持對新型攻擊的防御能力。

通過對抗算法的研究和安全測試與驗證機制的建立，Agentic AI系統的安全性和魯棒性可以得到顯著提升。然而，面對不斷演變的安全威脅，仍需持續投入研究和實踐，不斷完善防御策略，保障Agentic AI在各領域的安全應用。

加強數據安全和隱私保護

隨著Agentic AI在各行各業的廣泛應用，數據已經成為驅動AI系統持續學習和優化的關鍵資源。然而，數據的開放與共享也帶來了前所未有的安全挑戰。在充分利用數據價值的同時，保障數據安全和用戶隱私，已成為AI領域亟待解決的重要課題。

1. 數據安全策略

在Agentic AI的應用過程中，數據安全策略是保障系統穩健運行和防范風險的第一道防線。完善的數據安全策略需要綜合考慮技術措施、管理制度和應急預案，以全面保護數據的機密性、完整性和可用性。

• 技術措施：數據加密、建立訪問控制機制、實施數據分類分級管理、完善數據安全管理制度等。
• 管理措施：管理制度的建立對于數據安全同樣至關重要。通過制度明確各項安全措施的執行標準、責任人和流程；針對可能發生的數據安全事件，建立快速響應機制，包括事件報告、調查、處理和風險評估，確保在最短時間內控制影響。

數據安全策略的有效實施，需要技術措施與管理制度的有機結合。技術支持管理，利用安全技術手段能確保管理制度的執行和違規行為的檢測。管理指導技術，引導技術措施的選型和應用方向。兩者相輔相成，才能構建全面的數據安全防護體系。

2. 隱私保護技術

在Agentic AI的發展中，數據驅動的模型訓練方式使用戶隱私保護面臨了巨大挑戰，特別是各地區的隱私合規要求。采用先進的隱私保護技術，在保護用戶隱私的同時，保證AI系統的性能和效率。

代表性的隱私保護技術有：差分隱私、聯邦學習、同態加密。其中，同態加密技術，近年來隨著算法優化和硬件加速，性能有了顯著提升，為實際應用奠定了基礎。單一的隱私保護技術一般無法滿足應用需求。實踐中，建議通過多方技術融合，打造更加完善的隱私保護方案，比如：

• 在聯邦學習的模型更新過程中，引入差分隱私，防止從模型參數中逆向推斷出個體數據；
• 在需要多方參與的數據計算中，結合同態加密和MPC，實現協同計算而不泄露各自的數據等；、
• 在技術實施的同時，要確保數據處理過程符合相關的隱私法規。如，收集數據時應用數據最小化原則；
• 新項目啟動前，評估其隱私影響，并采取適當的減緩措施；
• 為用戶建立權利保障相關機制，方便用戶行使其數據訪問、修改和刪除等權利。

持續優化機制

在網絡安全領域，持續優化機制是確保組織在面對不斷演變的網絡威脅時保持高效防御和響應能力的關鍵。通過不斷提升安全能力和優化應急響應流程，組織可以有效降低安全風險，提升整體安全態勢。

持續提升安全能力 提升安全能力的相關手段，如：威脅情報共享、安全研究創新，以及最佳實踐更新。這些措施確保了組織在技術和策略層面的領先，及時掌握最新的威脅動態，優化安全策略和技術，實現全面的安全防護。

優化應急響應能力 快速、有效的應急響應可以在網絡安全事件發生時將損失降至最低。通過優化事件響應流程、定期演練和總結經驗，組織能夠提升應急響應的效率和效果，確保在實戰中高效應對。

持續優化機制是企業網絡安全工作的生命線。通過不斷提升安全能力和優化應急響應流程，組織能夠動態適應新的威脅環境，提升防御和響應能力。