作者 | 陳峻

審校 | 重樓

今年初，隨著DeepSeek驚艷全球，各個企業(yè)和組織都敏銳地察覺到了人工智能（AI）技術為其賦能的機遇。雖然居多IT專業(yè)人員都認為各項數(shù)字化服務都值得用AI進行提速提效，但是相對于All in AI的狂熱，信息安全技術人員有必要在保持冷靜的同時，積極籌備，盡快制定出針對那些涉及AI應用的安全性管控措施。

下面，我將以自己在企業(yè)中的項目經(jīng)驗，依次從網(wǎng)絡、系統(tǒng)、應用、模型、數(shù)據(jù)、以及合規(guī)，六個層面和你討論一些具體、可落地的安全檢查要點。當然，為了達到不僅只針對AI應用的效果，我也與時俱進地借助了AI的幫助，讓這些要點更具代表性和普遍性。

網(wǎng)絡層面

跨域隔離與通信限制

• 限制模型的監(jiān)聽范圍：僅允許其開放最少端口（如：11434）給本地（或內網(wǎng)）應用的訪問與調用，并且需要持續(xù)驗證端口的運行狀態(tài)。
• 在AI系統(tǒng)的環(huán)境中部署Web應用防火墻WAF（如：ModSecurity），配置嚴格的防火墻規(guī)則，包括：對那些開放給公網(wǎng)的接口實施雙向端口過濾，并且阻斷內部端口的出入站流量。
• 將AI應用、API服務以及數(shù)據(jù)庫等邏輯上相對獨立的組件，盡量部署在不同的網(wǎng)段，以限制數(shù)據(jù)流的橫向（東西向）移動。
• 在內網(wǎng)資源充分的情況下，進一步將AI訓練、推理、及數(shù)據(jù)存儲分別部署在獨立的子網(wǎng)絡區(qū)域，通過虛擬私有云（VPC）、防火墻實現(xiàn)邏輯隔離，以限制非授權的組件接入。
• 使用專網(wǎng)或專線連接的方式，訪問跨區(qū)域或云端公共AI的API資源。
• 部署API網(wǎng)關（如：Kong或Amazon API Gateway）并啟用IP白名單，以零信任架構（如：BeyondCorp）和安全組的方式，僅授權可信的組件、以及特定IP的設備訪問API網(wǎng)關。
• 設置并啟用流量清洗規(guī)則（如：使用Cloudflare或AWS Shield高級版），防御網(wǎng)絡層面的分布式拒絕服務（DDoS）攻擊。
• 避免Http的傳統(tǒng)危險操作（如：Push/Delete/Pull等），以及WebSocket請求頭，通過驗證、鑒權、加密、流控、監(jiān)控、以及記錄的方式予以安全加固。
• 啟用沙箱機制。例如：在帶有AI互動式問答的頁面上，若使用了<iframe>，則應啟用sandbox屬性，限制腳本執(zhí)行、表單提交、彈出窗口等權限（例如：<iframe sandbox="allow-scripts allow-same-origin" src="..."></iframe>）。
• 啟用內容安全策略（CSP），即：在HTTP頭中配置Content-Security-Policy，僅允許可信域名加載資源（如：Content-Security-Policy: script-src 'self' https://trusted-ai-domain.com，或Content-Security-Policy: frame-ancestors 'self';）、以及同域名頁面的嵌入，阻止惡意腳本的注入、以及惡意內容的加載。
• 防止跨站請求偽造（CSRF）：為AI應用的API接口添加CSRF令牌驗證，以及使用SameSite屬性限制Cookie的跨站傳遞。

請求合法性驗證

• Token鑒權：為JS SDK或iframe URL動態(tài)生成一次性訪問令牌（Token），以驗證請求來源合法性。
• Referer校驗：服務端校驗請求的Referer頭，僅允許指定域名調用AI服務。

防篡改與劫持防護

• HTTPS強制加密：所有資源的加載和服務通信都必須使用HTTPS，以防止中間人攻擊。
• 子資源完整性（SRI）：為JS文件添加integrity哈希值，以確保第三方的腳本未被篡改。
• 代碼混淆與壓縮：對JS代碼進行混淆和壓縮，以增加逆向工程的難度。

系統(tǒng)層面

• 獨立容器/虛擬機：將AI應用服務部署在獨立的容器中，或使用容器技術（如Docker）來隔離AI應用的運行環(huán)境，實現(xiàn)與主業(yè)務系統(tǒng)的隔離，進而避免單點故障的擴散。
• 資源配額限制：對AI服務分配CPU、內存、請求速率/調用頻率等配額，以防止遭遇資源耗盡攻擊。
• 操作系統(tǒng)及容器鏡像需遵循互聯(lián)網(wǎng)安全中心（CIS）基準予以加固，禁用非必要的服務端口。
• 定期更新與補丁管理：及時更新系統(tǒng)、依賴庫和AI應用框架，并修復新發(fā)現(xiàn)的漏洞。
• 用戶需使用多因素認證（MFA）或SSO登錄AI應用，以增強身份驗證的安全性。
• 最小權限原則：AI應用及其相關服務對應的賬號需運行在最小權限下，避免使用root或管理員權限，以減少攻擊面。同時，應限制其對不同系統(tǒng)資源（如：文件系統(tǒng)、網(wǎng)絡端口）的訪問。
• 定期備份AI應用的配置和數(shù)據(jù)，以確保在發(fā)生故障時能夠快速恢復。

應用層面

• 確保只有授權用戶才能訪問AI應用，實施嚴格的API認證和授權機制（如：OAuth 2.0或OpenID Connect等多因素認證）。
• 根據(jù)基于角色的訪問控制（RBAC）或基于屬性的訪問控制（ABAC）原則，對AI服務接口按角色分配權限（如：僅客服管理員可訪問完整日志等）。
• 為API添加簽名機制（如：HMAC），以防止篡改。
• 限制API調用頻率和范圍，并通過定期更換API密鑰，以實現(xiàn)密鑰管理。
• 建立輸入驗證機制（如：使用正則表達式或白名單機制限制輸入內容，對特殊字符進行轉義或過濾），防止惡意提示詞注入攻擊，以及防止跨站腳本攻擊（XSS）、SQL注入等攻擊。
• 建立輸出過濾機制，對輸出數(shù)據(jù)進行編碼（如：HTML編碼、URL編碼），以避免惡意腳本的執(zhí)行。
• 使用安全的會話管理機制（如：JWT）。為了防止會話被劫持，使用強隨機數(shù)生成會話ID，并在用戶登出或超時后失效；同時設置會話超時機制，并定期更新會話ID，以及啟用HttpOnly和Secure標志的Cookie，來防止XSS和中間人攻擊。
• 監(jiān)控AI服務的響應時間、錯誤率、輸入內容特征，分析異常訪問行為（如：Darktrace），即時對異常觸發(fā)熔斷機制并告警。
• 集中記錄所有交互日志，以便對攻擊事件開展追蹤。
• 定期開展AI應用安全評估與測試（如：Garak），從基線檢查、漏洞掃描、滲透測試、代碼審計等及時發(fā)現(xiàn)并修復安全漏洞。
• 避免在錯誤提示信息中泄露敏感信息（如：堆棧跟蹤信息），使用統(tǒng)一的錯誤處理機制。
• 定期使用靜態(tài)代碼分析工具（如：SonarQube）進行代碼級別的審計。

模型層面

建立多層次保護機制（Depends in Depth）

• 在訓練階段，實施嚴格的數(shù)據(jù)清洗與驗證流程，加密傳輸分布式訓練數(shù)據(jù)（如：使用TensorFlow Federated），以防范污染或泄露。
• 在部署階段，建立模型的完整性校驗機制，防范未經(jīng)授權的修改（如：對模型文件進行加密，使用數(shù)字簽名驗證模型），以確保二進制文件完整性。
• 在運行階段，使用SIEM工具（如：Splunk、ELK）通過流量鏡像等方式，實時予以推理監(jiān)控和異常檢測，及時發(fā)現(xiàn)模型異常行為與性能指標（如：Prometheus、Grafana）。

定期開展模型安全評估

• 建立攻擊模擬測試集（如：用CleverHans模擬FGSM、PGD），開展對抗樣本測試（如：Adversarial Robustness Toolbox）。
• 通過模型水印（如：IBM AI Fairness 360）檢測模型對于篡改的魯棒性。
• 檢查模型的公平性（如：AI Fairness 360偏見分析工具包）與解釋性（如：LIME/SHAP模型可解釋性輸出）。

數(shù)據(jù)層面

• 依據(jù)相關法律，對AI應用的訓練、使用、以及產生的數(shù)據(jù)予以分級（至少包括：公開、內部、機密）。l
• 最小化數(shù)據(jù)采集：僅收集AI應用服務必需的數(shù)據(jù)（如：用戶問題文本），避免存儲無關信息（如：IP、設備指紋等）。
• 匿名化處理：對在對話信息中出現(xiàn)的姓名、身份證號等用戶身份信息，予以替換或動態(tài)遮蔽（如：使用Oracle DVE）、以及脫敏操作（如：Python Faker庫），確保數(shù)據(jù)不可被回溯到個人。
• 端到端加密：A.對訓練數(shù)據(jù)的流轉過程啟用同態(tài)加密（如：Microsoft SEAL）；
  B.對推理結果返回的敏感數(shù)據(jù)（如：人事/財務）使用TLS 1.2/1.3（即HTTPS）進行傳輸加密，并配置證書管理系統(tǒng)（如：Let's Encrypt和Certbot）；
  C.客戶端與服務端應采用強加密算法（如：AES-256）配合密鑰輪換（如AWS KMS），對數(shù)據(jù)庫或文件系統(tǒng)予以存儲加密。

合規(guī)層面

• 用戶提示詞過濾：設置用戶問題違規(guī)提示、攔截、以及標準答復話術。
• 用戶知情同意：在用戶首次使用AI應用時，應以通知的形式提示并告知行為規(guī)范，以避免輸入個人與業(yè)務敏感信息。
• 隱私保護：對照GDPR、CCPA、HIPAA、PIPL等隱私相關的法規(guī)，建立檢查清單，采用橫向聯(lián)邦學習（如：FATE框架），以確保用戶數(shù)據(jù)處理的透明性和合法性。
• 制定AI倫理準則，對照《生成式AI服務管理暫行辦法》建立合規(guī)檢查清單，重點落實算法備案、內容標識等義務，確保AI應用的透明性和可解釋性。
• 建立AI合規(guī)的審查機制，確保數(shù)據(jù)存儲和處理被限制在特定區(qū)域內，審查是否存在數(shù)據(jù)跨境傳輸。
• 確保第三方服務提供商符合相關法規(guī)（如：ISO 27001、SOC 2），按需簽訂數(shù)據(jù)保護協(xié)議（DPA），以明確責任。
• 持續(xù)治理AI應用安全（如：參照《LLM安全與治理檢查清單》），完善事件響應流程（如：參照NIST SP 800-53）。
• 審計與報告：定期進行安全審計，生成合規(guī)報告，以確保符合相關法規(guī)和標準。

小結

上述六個層面便是我在企業(yè)中，對與AI相關的應用項目，實施安全審查與管控的參考依據(jù)。總的來說，它們能夠協(xié)助我們構建出涵蓋技術、管理和合規(guī)的多層次防御體系。當然，目前對于AI安全的管控，仍處于初期的階段，甚至談不上對AI系統(tǒng)進行網(wǎng)絡安全實施等級保護。因此上述實踐也難免掛一漏萬。相信你在自己的工作實踐中，能夠據(jù)此迭代出更加完備和成熟的管控要點。

作者介紹

陳峻（Julian Chen），51CTO社區(qū)編輯，具有十多年的IT項目實施經(jīng)驗，善于對內外部資源與風險實施管控，專注傳播網(wǎng)絡與信息安全知識與經(jīng)驗。