隨著人工智能技術(shù)的快速發(fā)展與安全威脅的持續(xù)演變，大規(guī)模保護人工智能系統(tǒng)、應用及用戶所面臨的挑戰(zhàn)，不僅要求開發(fā)者掌握已有的安全編碼最佳實踐，還需深入理解人工智能特有的隱私與安全風險。

在此背景下，Google發(fā)布了AI安全框架SAIF（Secure AI Framework），旨在幫助減輕AI系統(tǒng)特定的風險，如竊取模型、訓練數(shù)據(jù)的數(shù)據(jù)污染、通過提示注入注入惡意輸入和提取訓練數(shù)據(jù)中的機密信息。

本文梳理SAIF的六大核心要素以及SAIF風險地圖框架，為在快速發(fā)展的人工智能世界中構(gòu)建和部署安全人工智能系統(tǒng)提供參考。

一、SAIF的六大核心要素

SAIF基于六大核心安全原則：

1. 筑牢AI生態(tài)安全基石

• 繼承互聯(lián)網(wǎng)時代的安全防護經(jīng)驗，將默認安全（Secure-by-default）機制延伸至AI基礎(chǔ)設(shè)施
• 建立專業(yè)化AI安全團隊，持續(xù)跟蹤技術(shù)演進并優(yōu)化防護體系
• 針對新型攻擊模式（如提示注入攻擊）優(yōu)化防御策略，采用輸入凈化、權(quán)限限制等成熟防護手段

2. 構(gòu)建AI威脅感知體系

• 建立AI系統(tǒng)輸入輸出監(jiān)控機制，實時檢測異常行為
• 整合威脅情報系統(tǒng)，構(gòu)建預測性防御能力
• 建立跨部門協(xié)同機制，聯(lián)動信任安全、威脅情報和反濫用團隊

3. 智能化防御響應體系

• 運用AI技術(shù)提升安全事件響應效率與規(guī)模
• 構(gòu)建動態(tài)防御能力，通過對抗性訓練提升系統(tǒng)韌性
• 采用成本效益優(yōu)化的防護策略，應對AI賦能的規(guī)模化攻擊

4. 統(tǒng)一平臺安全治理

• 實施跨平臺安全控制框架，確保防護策略一致性
• 將安全防護深度集成至AI開發(fā)全流程（如Vertex AI平臺）
• 通過API級防護（如Perspective API）實現(xiàn)規(guī)模化安全賦能

5. 動態(tài)安全調(diào)優(yōu)機制

• 建立持續(xù)學習機制，基于事件反饋優(yōu)化防護模型
• 實施戰(zhàn)略級防御調(diào)優(yōu)：更新訓練數(shù)據(jù)集、構(gòu)建行為異常檢測模型
• 定期開展紅隊演練，完善AI產(chǎn)品安全驗證體系

6. 業(yè)務(wù)全景風險評估

• 實施端到端風險評估，涵蓋數(shù)據(jù)溯源、驗證機制等關(guān)鍵環(huán)節(jié)
• 構(gòu)建自動化檢測體系，持續(xù)監(jiān)控AI系統(tǒng)運行狀態(tài)
• 建立業(yè)務(wù)場景化風險評估模型，實現(xiàn)精準風險管控

二、SAIF風險地圖框架解析

SAIF風險地圖將 AI 開發(fā)劃分為數(shù)據(jù)層、基礎(chǔ)設(shè)施層、模型層、應用層四大核心領(lǐng)域，構(gòu)建了比傳統(tǒng)軟件開發(fā)更全面的風險評估框架：

1. 數(shù)據(jù)治理體系（數(shù)據(jù)層）

核心差異：AI 開發(fā)中數(shù)據(jù)取代代碼成為核心驅(qū)動要素，模型權(quán)重（訓練數(shù)據(jù)編碼的模式）成為新攻擊目標，其安全性直接影響模型行為。

SAIF數(shù)據(jù)層包含三大要素：

• 數(shù)據(jù)來源：數(shù)據(jù)庫、API、網(wǎng)絡(luò)爬取等原始數(shù)據(jù)采集渠道，影響模型能力基線。
• 數(shù)據(jù)處理：清洗、標注、合成等預處理流程，決定訓練數(shù)據(jù)質(zhì)量。
• 訓練數(shù)據(jù)：最終用于模型訓練的精選數(shù)據(jù)集，直接塑造模型參數(shù)（權(quán)重）。

2. 基礎(chǔ)設(shè)施架構(gòu)（基礎(chǔ)設(shè)施層）

核心作用：支撐數(shù)據(jù)與模型全生命周期的硬件、代碼、存儲及平臺安全，需兼顧傳統(tǒng)與 AI 特有的風險。

SAIF基礎(chǔ)設(shè)施層風險要素包括：

• 模型框架與代碼：定義模型架構(gòu)（如層數(shù)、算法）的基礎(chǔ)代碼，需防范篡改導致的模型行為異常。
• 訓練調(diào)優(yōu)評估：通過調(diào)整概率參數(shù)（訓練 / 調(diào)優(yōu)）和新數(shù)據(jù)測試（評估）優(yōu)化模型，預訓練模型微調(diào)是常見實踐。
• 數(shù)據(jù)模型存儲：涵蓋訓練過程臨時存儲、模型庫發(fā)布存儲，遠程 API 調(diào)用場景需關(guān)注存儲安全復用問題。
• 模型服務(wù)：生產(chǎn)環(huán)境部署系統(tǒng)，直接影響模型對外提供推理服務(wù)的安全性（如 API 調(diào)用風險）。

3. 模型治理體系（模型層）

核心功能：通過訓練數(shù)據(jù)提取的統(tǒng)計模式生成輸出（推理），需強化輸入輸出控制。

SAIF模型層包含：

• 模型本體：代碼與權(quán)重的結(jié)合體，AI 開發(fā)的核心產(chǎn)物，依賴數(shù)據(jù)與基礎(chǔ)設(shè)施組件構(gòu)建。
• 輸入處理：過濾惡意輸入（如提示注入攻擊），是防范外部風險的第一道防線。
• 輸出處理：管控有害或意外輸出，需持續(xù)優(yōu)化過濾機制（當前重點研發(fā)領(lǐng)域）。 

4. 應用交互體系（應用層）

核心風險：用戶交互模式變革引入新攻擊面（如自然語言 prompt 直接影響 LLM 推理），代理工具調(diào)用增加傳遞性風險。

SAIF應用層風險要素包含：

• 應用層：直接面向用戶（如客服機器人）或內(nèi)部服務(wù)的功能載體，具備工具執(zhí)行能力時稱為 “代理”。
• 代理 / 插件：調(diào)用外部服務(wù)完成特定任務(wù)的模塊，每次調(diào)用可能引入鏈式風險（如第三方數(shù)據(jù)接口漏洞）。

三、SAIF地圖風險詳解及緩解措施

1. DP 數(shù)據(jù)投毒

• 核心風險：通過篡改訓練數(shù)據(jù)（刪除、修改或注入對抗數(shù)據(jù)）降低模型性能、扭曲結(jié)果或植入后門，類似惡意修改應用邏輯。
• 攻擊場景：訓練 / 調(diào)優(yōu)階段、數(shù)據(jù)存儲期或采集前（如污染公共數(shù)據(jù)源、內(nèi)部人員投毒）。
• 緩解措施：數(shù)據(jù)凈化、訪問控制、完整性管理。

2. UTD 未經(jīng)授權(quán)數(shù)據(jù)訓練

• 核心風險：使用未授權(quán)數(shù)據(jù)訓練（如用戶隱私數(shù)據(jù)、侵權(quán)版權(quán)數(shù)據(jù)），引發(fā)法律 / 倫理問題。
• 暴露環(huán)節(jié)：數(shù)據(jù)采集、處理或模型評估階段未過濾非法數(shù)據(jù)。
• 緩解措施：嚴格數(shù)據(jù)篩選與合規(guī)檢查。

3. MST 模型源碼篡改

• 核心風險：通過供應鏈攻擊或內(nèi)部人員篡改模型代碼、依賴項或權(quán)重，引入漏洞或異常行為（如架構(gòu)后門）。
• 攻擊影響：依賴鏈傳遞風險，后門可抵御重新訓練。
• 緩解措施：訪問控制、完整性管理、默認安全工具。

4.EDH 過度數(shù)據(jù)處理

• 核心風險：超范圍收集、存儲或共享用戶數(shù)據(jù)，違反政策法規(guī)（如用戶交互數(shù)據(jù)、偏好數(shù)據(jù)）。
• 暴露問題：數(shù)據(jù)元數(shù)據(jù)管理缺失或存儲架構(gòu)未設(shè)計生命周期控制。
• 緩解措施：數(shù)據(jù)過濾、自動化歸檔 / 刪除、過期數(shù)據(jù)預警。

5. MXF 模型竊取

• 核心風險：未經(jīng)授權(quán)獲取模型（如竊取代碼或權(quán)重），涉及知識產(chǎn)權(quán)與安全風險。
• 攻擊場景：云端 / 本地存儲、硬件設(shè)備（如物聯(lián)網(wǎng)終端）。
• 緩解措施：強化存儲與服務(wù)安全，訪問控制。

6. MDT 模型部署篡改

• 核心風險：篡改部署組件（如服務(wù)框架漏洞）導致模型行為異常。
• 攻擊類型：修改部署工作流、利用 TorchServe 等工具漏洞遠程代碼執(zhí)行。
• 緩解措施：默認安全工具加固服務(wù)基礎(chǔ)設(shè)施。

7. DMS 機器學習拒絕服務(wù)

• 核心風險：通過高資源消耗查詢（如 “海綿示例”）導致模型不可用，包括傳統(tǒng) DoS 和能耗延遲攻擊。
• 攻擊影響：拖垮服務(wù)器或耗盡設(shè)備電池（如物聯(lián)網(wǎng)終端）。
• 緩解措施：應用層速率限制、負載均衡、輸入過濾。

8. MRE 模型逆向工程

• 核心風險：通過輸入輸出分析克隆模型（如高頻 API 調(diào)用收集數(shù)據(jù)），用于仿造或?qū)构簟?/li>
• 技術(shù)手段：基于輸入輸出對重建模型，與模型竊取不同。
• 緩解措施：API 速率限制、應用層訪問控制。

9. IIC 不安全集成組件

• 核心風險：插件 / 庫漏洞被利用，導致未授權(quán)訪問或惡意代碼注入（如操縱輸入輸出引發(fā)鏈式攻擊）。
• 攻擊關(guān)聯(lián)：與提示注入相關(guān)，但可通過投毒、規(guī)避等多種手段實施。
• 緩解措施：嚴格組件權(quán)限控制，輸入輸出驗證。

10. PIJ 提示注入

• 核心風險：利用提示中 “指令 - 數(shù)據(jù)” 邊界模糊性，注入惡意命令（如越獄攻擊 “忽略此前指令”）。
• 攻擊形式：直接輸入或間接從文檔 / 圖像等載體注入（多模態(tài)場景）。
• 緩解措施：輸入輸出過濾、對抗訓練。

11. MEV 模型規(guī)避

• 核心風險：輕微擾動輸入（如貼紙遮擋路標）導致模型錯誤推理，影響安全關(guān)鍵系統(tǒng)。
• 技術(shù)手段：對抗樣本、同形異義詞攻擊、隱寫術(shù)編碼。
• 緩解措施：多樣化數(shù)據(jù)訓練、對抗測試。

12. SDD 敏感數(shù)據(jù)泄露

• 核心風險：模型輸出泄露訓練數(shù)據(jù)、用戶對話或提示中的隱私信息（如記憶性數(shù)據(jù)、日志存儲漏洞）。
• 泄露途徑：用戶查詢?nèi)罩尽⒂柧殧?shù)據(jù)記憶、插件集成漏洞。
• 緩解措施：輸出過濾、隱私增強技術(shù)、數(shù)據(jù)去標識化。

13. ISD 推斷敏感數(shù)據(jù)

• 核心風險：模型通過輸入推斷未包含在訓練數(shù)據(jù)中的敏感信息（如用戶屬性、隱私關(guān)聯(lián)）。
• 風險差異：與 SDD 不同，非直接泄露訓練數(shù)據(jù)，而是推斷關(guān)聯(lián)信息。
• 緩解措施：輸出過濾、訓練階段敏感推斷測試。

14. IMO 不安全模型輸出

• 核心風險：未經(jīng)驗證的模型輸出包含惡意內(nèi)容（如釣魚鏈接、惡意代碼）。
• 攻擊場景：意外觸發(fā)或主動誘導生成有害輸出。
• 緩解措施：輸出驗證與凈化。

15. RA 惡意操作

• 核心風險：代理工具因輸入擾動或惡意攻擊執(zhí)行意外操作（如權(quán)限過度導致系統(tǒng)受損）。
• 風險類型：任務(wù)規(guī)劃錯誤（意外）或提示注入誘導（惡意）。
• 緩解措施：最小權(quán)限原則、人工審核介入。

SAIF 的設(shè)計靈感融入了對 AI 系統(tǒng)特有安全趨勢和風險的深度理解。Google指出建立覆蓋公私部門的統(tǒng)一框架至關(guān)重要，這能確保技術(shù)開發(fā)者與應用者共同守護支撐 AI 發(fā)展的底層技術(shù)，讓 AI 模型從部署之初即具備“默認安全”能力。

參考來源：https://saif.google/