從提示注入到模型盜竊，OWASP 已經(jīng)確定了基于大語言模型 (LLM) 的 AI 應(yīng)用中最常見和影響最大的漏洞。

全球開放應(yīng)用安全項(xiàng)目組(OWASP)列出了大語言模型應(yīng)用中常見的十大關(guān)鍵漏洞。提示注入、被污染的訓(xùn)練數(shù)據(jù)、數(shù)據(jù)泄漏和過度依賴 LLM 生成的內(nèi)容依然在名單上，而新增的威脅包括模型拒絕服務(wù)、供應(yīng)鏈漏洞、模型盜竊以及過度自主性。

該名單旨在教育開發(fā)人員、設(shè)計(jì)人員、架構(gòu)師、管理人員和企業(yè)在部署和管理 LLM 時(shí)，了解潛在的安全風(fēng)險(xiǎn)，提高對漏洞的認(rèn)識，提出補(bǔ)救策略，并改善 LLM 應(yīng)用的安全狀況。

SANS Institute 的首席研究員兼教職負(fù)責(zé)人 Rob T. Lee 表示：“考慮部署GenAI 技術(shù)的企業(yè)需要關(guān)注與之相關(guān)的風(fēng)險(xiǎn)。OWASP 的前十名單很好地列出了當(dāng)前 LLM 可能存在或被利用的漏洞。”他補(bǔ)充道，這份前十名單是討論 LLM 漏洞及如何保障這些 AI 安全的良好開端。

“我們才剛剛開始探索如何設(shè)置適當(dāng)?shù)目刂拼胧⑴渲煤筒渴鹬改希噪[私和安全為中心，最佳地保護(hù)數(shù)據(jù)。OWASP 前十名單是一個(gè)很好的起點(diǎn)，但這個(gè)話題遠(yuǎn)未結(jié)束。”

以下是 OWASP 列出的影響 LLM 應(yīng)用的十大關(guān)鍵漏洞：

1. 提示注入

提示注入是指攻擊者通過精心設(shè)計(jì)的輸入操縱大語言模型，使其在不知情的情況下執(zhí)行攻擊者的意圖，這可以通過直接“破解”系統(tǒng)提示或通過操控的外部輸入間接實(shí)現(xiàn)，可能導(dǎo)致數(shù)據(jù)外泄、社會(huì)攻擊等問題。

成功的提示注入攻擊可能帶來多種結(jié)果——從獲取敏感信息到在正常操作的偽裝下影響關(guān)鍵決策過程，OWASP 指出。

例如，用戶可以編寫一個(gè)巧妙的提示，使公司的聊天機(jī)器人泄露用戶通常無法訪問的專有信息，或在上傳的簡歷中埋入指示系統(tǒng)推薦該候選人的隱秘指令。

防范此漏洞的措施包括：

? 對 LLM 訪問后端系統(tǒng)的權(quán)限進(jìn)行控制。為 LLM 提供獨(dú)立的 API 令牌以擴(kuò)展功能，并遵循最小權(quán)限原則，將 LLM 的訪問權(quán)限限制在其預(yù)期操作所需的最低水平。

? 對于最敏感的操作，引入人為干預(yù)，要求額外的審批步驟，以減少未授權(quán)行為的機(jī)會(huì)。

2. 不安全的輸出處理

不安全的輸出處理是指在將大語言模型生成的輸出傳遞給其他組件和系統(tǒng)之前，未能充分驗(yàn)證、清理和處理這些輸出。由于 LLM 生成的內(nèi)容可以通過提示輸入控制，這種行為類似于為用戶間接提供對額外功能的訪問。

例如，如果 LLM 的輸出直接發(fā)送到系統(tǒng) shell 或類似功能中，可能導(dǎo)致遠(yuǎn)程代碼執(zhí)行。如果 LLM 生成 JavaScript 或 markdown 代碼并將其發(fā)送到用戶的瀏覽器，瀏覽器可能會(huì)運(yùn)行該代碼，進(jìn)而引發(fā)跨站腳本攻擊。

防范此漏洞的措施包括：

? 將模型視為其他用戶，采用零信任策略，并對從模型返回的響應(yīng)進(jìn)行適當(dāng)?shù)妮斎腧?yàn)證，以防止對后端功能的攻擊。

? 遵循 OWASP ASVS(應(yīng)用安全驗(yàn)證標(biāo)準(zhǔn))指南，確保有效的輸入驗(yàn)證和清理，并對輸出進(jìn)行編碼，以降低意外代碼執(zhí)行的風(fēng)險(xiǎn)。

3. 訓(xùn)練數(shù)據(jù)投毒

訓(xùn)練數(shù)據(jù)投毒是指對預(yù)訓(xùn)練數(shù)據(jù)或在微調(diào)或嵌入過程中涉及的數(shù)據(jù)進(jìn)行操控，從而引入漏洞、后門或偏見，這可能會(huì)損害模型的完整性，OWASP 解釋道。

例如，惡意攻擊者或擁有內(nèi)部權(quán)限的人獲得訓(xùn)練數(shù)據(jù)集的訪問權(quán)限后，可以更改數(shù)據(jù)，使模型提供錯(cuò)誤的指示或建議，從而對公司造成損害或使攻擊者獲利。從外部來源獲取的損壞的訓(xùn)練數(shù)據(jù)集也可能屬于供應(yīng)鏈漏洞的范疇。

防范此漏洞的措施包括：

? 驗(yàn)證訓(xùn)練數(shù)據(jù)的供應(yīng)鏈，尤其是當(dāng)數(shù)據(jù)來自外部時(shí)。

? 通過不同的訓(xùn)練數(shù)據(jù)或微調(diào)為不同的使用場景創(chuàng)建不同的模型，以生成更細(xì)粒度且準(zhǔn)確的GenAI 輸出。

? 確保充足的沙箱環(huán)境，防止模型抓取不當(dāng)?shù)臄?shù)據(jù)來源。

? 對特定的訓(xùn)練數(shù)據(jù)或數(shù)據(jù)源類別進(jìn)行嚴(yán)格的審查或輸入過濾，以控制偽造數(shù)據(jù)的數(shù)量。

? 通過分析模型在特定測試輸入上的行為，檢測投毒攻擊的跡象，并在偏差響應(yīng)超出閾值時(shí)進(jìn)行監(jiān)控和警報(bào)。

? 通過人為審核和審計(jì)，參與循環(huán)中的審查。

4. 模型拒絕服務(wù)

在模型拒絕服務(wù)攻擊中，攻擊者通過與 LLM 進(jìn)行交互，消耗大量資源，導(dǎo)致服務(wù)質(zhì)量下降，影響自己和其他用戶，甚至可能導(dǎo)致高昂的資源成本。隨著 LLM 在各種應(yīng)用中的使用不斷增加、資源密集型使用、用戶輸入的不可預(yù)測性以及開發(fā)人員對這一漏洞的普遍認(rèn)識不足，OWASP 指出，該問題變得日益嚴(yán)重。

例如，攻擊者可能會(huì)使用自動(dòng)化工具向公司的聊天機(jī)器人發(fā)送大量復(fù)雜查詢，每個(gè)查詢都需要時(shí)間來回答，且會(huì)產(chǎn)生費(fèi)用。

防范此漏洞的措施包括：

? 實(shí)施輸入驗(yàn)證和清理，確保用戶輸入符合定義的限制，并過濾掉任何惡意內(nèi)容。

? 限制每個(gè)請求或步驟的資源使用量，使涉及復(fù)雜部分的請求執(zhí)行得更慢，對每個(gè)用戶或 IP 地址實(shí)施 API 速率限制，或限制系統(tǒng)響應(yīng) LLM 輸出的排隊(duì)操作和總操作數(shù)量。

? 持續(xù)監(jiān)控 LLM 的資源使用情況，識別可能指示拒絕服務(wù)攻擊的異常峰值或模式。

5. 供應(yīng)鏈漏洞

LLM 供應(yīng)鏈在多個(gè)環(huán)節(jié)存在漏洞，尤其是當(dāng)公司使用開源、第三方組件、受污染或過時(shí)的預(yù)訓(xùn)練模型，或損壞的訓(xùn)練數(shù)據(jù)集時(shí)。此漏洞還涵蓋了原始模型創(chuàng)建者未對訓(xùn)練數(shù)據(jù)進(jìn)行充分審核的情況，導(dǎo)致隱私或版權(quán)違規(guī)。根據(jù) OWASP，這可能導(dǎo)致偏見結(jié)果、安全漏洞，甚至系統(tǒng)完全崩潰。

防范此漏洞的措施包括：

? 嚴(yán)格審核數(shù)據(jù)來源和供應(yīng)商。

? 僅使用信譽(yù)良好的插件，并確保它們已針對應(yīng)用需求進(jìn)行測試，在使用外部模型和供應(yīng)商時(shí)，采用模型和代碼簽名。

? 使用漏洞掃描、管理和補(bǔ)丁程序來降低受漏洞影響或過時(shí)組件的風(fēng)險(xiǎn)，并保持這些組件的最新清單，以便快速識別新漏洞。

? 掃描環(huán)境中未授權(quán)的插件和過時(shí)組件，包括模型及其工件，并制定補(bǔ)丁策略以解決問題。

6. 敏感信息泄露

大語言模型可能通過其輸出泄露敏感信息、專有算法或其他機(jī)密細(xì)節(jié)，這可能導(dǎo)致未經(jīng)授權(quán)訪問敏感數(shù)據(jù)、知識產(chǎn)權(quán)、隱私侵犯以及其他安全漏洞。

敏感數(shù)據(jù)可能在初始訓(xùn)練、微調(diào)、RAG 嵌入過程中進(jìn)入 LLM，或由用戶通過粘貼方式輸入提示。

一旦模型獲得這些信息，其他未授權(quán)的用戶就有可能看到它。例如，客戶可能會(huì)看到其他客戶的私人信息，或者用戶能夠提取公司專有信息。

防范此漏洞的措施包括：

? 使用數(shù)據(jù)清理和擦除技術(shù)，防止 LLM 在訓(xùn)練或推理(即模型使用時(shí))過程中訪問敏感數(shù)據(jù)。

? 對用戶輸入應(yīng)用過濾器，防止上傳敏感數(shù)據(jù)。

? 當(dāng) LLM 在推理過程中需要訪問數(shù)據(jù)源時(shí)，使用嚴(yán)格的訪問控制并遵循最小權(quán)限原則。

7. 不安全的插件設(shè)計(jì)

LLM 插件是模型在用戶交互過程中自動(dòng)調(diào)用的擴(kuò)展功能，這些插件由模型驅(qū)動(dòng)，應(yīng)用程序無法控制其執(zhí)行，通常也沒有對輸入進(jìn)行驗(yàn)證或類型檢查。

這使得潛在攻擊者能夠構(gòu)造惡意請求對插件進(jìn)行攻擊，可能導(dǎo)致各種不良行為，甚至包括數(shù)據(jù)外泄、遠(yuǎn)程代碼執(zhí)行和權(quán)限提升，OWASP 警告道。

防范此漏洞的措施包括：

? 實(shí)施嚴(yán)格的輸入控制，包括類型和范圍檢查，并遵循 OWASP 在 ASVS(應(yīng)用安全驗(yàn)證標(biāo)準(zhǔn))中的建議，確保有效的輸入驗(yàn)證和清理。

? 使用適當(dāng)?shù)纳矸蒡?yàn)證機(jī)制，例如反映插件路由而非默認(rèn)用戶的 OAuth2 和 API 密鑰。

? 在部署前進(jìn)行檢查和測試。

? 插件應(yīng)遵循最小權(quán)限原則，并只暴露盡可能少的功能，同時(shí)仍能完成其預(yù)期的任務(wù)。

? 對于敏感操作，要求額外的人工授權(quán)。

8. 過度自主性

隨著 LLM 越來越智能，公司希望賦予它們更多的能力，使其能夠訪問更多系統(tǒng)并自主執(zhí)行操作。過度自主性指的是 LLM 獲得了過多的權(quán)限或被允許執(zhí)行錯(cuò)誤操作。當(dāng) LLM 出現(xiàn)幻覺、受到提示注入攻擊、使用惡意插件、提示寫得不好，或者只是模型性能不佳時(shí)，可能會(huì)執(zhí)行破壞性操作，OWASP 解釋道。

根據(jù) LLM 獲得的訪問權(quán)限和操作權(quán)的不同，可能會(huì)引發(fā)各種問題。例如，如果 LLM 獲得了訪問某個(gè)插件的權(quán)限，該插件允許它讀取存儲(chǔ)庫中的文檔以進(jìn)行總結(jié)，但插件同時(shí)也允許它修改或刪除文檔，那么一個(gè)錯(cuò)誤的提示可能會(huì)導(dǎo)致意外地更改或刪除內(nèi)容。

如果一家公司創(chuàng)建了一個(gè) LLM 個(gè)人助理，用于為員工總結(jié)電子郵件，但該助理同時(shí)也有權(quán)發(fā)送電子郵件，那么該助理可能會(huì)開始發(fā)送垃圾郵件，無論是意外的還是惡意的。

防范此漏洞的措施包括：

? 限制 LLM 允許調(diào)用的插件和工具，以及這些插件和工具中實(shí)現(xiàn)的功能，僅保留最低必要的功能。

? 避免使用如運(yùn)行 shell 命令或獲取 URL 等開放式功能，使用具有更細(xì)粒度功能的操作。

? 將 LLM、插件和工具對其他系統(tǒng)的權(quán)限限制在最低必要范圍內(nèi)。

? 跟蹤用戶授權(quán)和安全范圍，確保在下游系統(tǒng)上代表用戶執(zhí)行的操作是在該特定用戶的上下文中進(jìn)行，并且使用最低的必要權(quán)限。

9. 過度依賴

當(dāng) LLM 生成錯(cuò)誤信息并以權(quán)威的方式提供時(shí)，可能會(huì)導(dǎo)致過度依賴。盡管 LLM 能生成有創(chuàng)意和信息豐富的內(nèi)容，但它也可能生成事實(shí)錯(cuò)誤、不適當(dāng)或不安全的內(nèi)容。這被稱為幻覺或虛構(gòu)。當(dāng)人們或系統(tǒng)在沒有監(jiān)督或確認(rèn)的情況下信任這些信息時(shí)，可能導(dǎo)致安全漏洞、誤導(dǎo)信息、溝通失誤、法律問題以及聲譽(yù)損害。

例如，如果一家公司依賴 LLM 生成安全報(bào)告和分析，而 LLM 生成的報(bào)告包含錯(cuò)誤數(shù)據(jù)，并且公司基于此做出關(guān)鍵安全決策，依賴于不準(zhǔn)確的 LLM 內(nèi)容可能帶來嚴(yán)重后果。

Omdia 的資深首席網(wǎng)絡(luò)安全分析師 Rik Turner 稱此現(xiàn)象為 LLM 幻覺。“如果 LLM 生成的內(nèi)容明顯是胡說八道，分析師可以輕松識別并糾正它，幫助進(jìn)一步訓(xùn)練算法，但如果這種幻覺非常合理，看起來像是真的呢?”

防范此漏洞的措施包括：

? 定期監(jiān)控和審查 LLM 輸出。

? 將 LLM 的輸出與可信的外部來源進(jìn)行交叉檢查，或者實(shí)施自動(dòng)驗(yàn)證機(jī)制，將生成的輸出與已知的事實(shí)或數(shù)據(jù)進(jìn)行比對。

? 通過微調(diào)或嵌入來提升模型輸出質(zhì)量。

? 傳達(dá)使用 LLM 的相關(guān)風(fēng)險(xiǎn)和限制，并構(gòu)建鼓勵(lì)負(fù)責(zé)任和安全使用 LLM 的 API 和用戶界面。

10. 模型盜竊

模型盜竊是指惡意行為者獲取并竊取整個(gè) LLM 模型或其權(quán)重和參數(shù)，從而創(chuàng)建他們自己的版本，這可能導(dǎo)致經(jīng)濟(jì)或品牌聲譽(yù)的損失、競爭優(yōu)勢的削弱、模型的未授權(quán)使用，或?qū)δＰ椭邪拿舾行畔⒌奈词跈?quán)訪問。

例如，攻擊者可能通過網(wǎng)絡(luò)或應(yīng)用程序安全設(shè)置中的配置錯(cuò)誤訪問 LLM 模型存儲(chǔ)庫，或不滿的員工可能會(huì)泄露模型。攻擊者還可以通過向 LLM 提交大量問題和答案對來創(chuàng)建自己的“影子”克隆模型，或者利用這些回答對他們的模型進(jìn)行微調(diào)。根據(jù) OWASP 的說法，雖然通過這種模型提取技術(shù)無法 100% 復(fù)制 LLM，但可以非常接近。

攻擊者可以利用這個(gè)新模型的功能，或者將其作為測試提示注入技術(shù)的試驗(yàn)場，進(jìn)而用這些技術(shù)攻擊原始模型。隨著大語言模型的普及和廣泛應(yīng)用，LLM 盜竊將成為一個(gè)重要的安全隱患，OWASP 指出。

防范此漏洞的措施包括：

? 采用強(qiáng)大的訪問控制，例如基于角色的訪問控制和最小權(quán)限原則，以限制對模型存儲(chǔ)庫和訓(xùn)練環(huán)境的訪問，例如通過設(shè)置集中化的模型注冊表。

? 定期監(jiān)控和審計(jì)訪問日志和活動(dòng)，及時(shí)發(fā)現(xiàn)任何可疑或未授權(quán)行為。

? 對 API 調(diào)用實(shí)施輸入過濾和速率限制，以降低模型克隆的風(fēng)險(xiǎn)。

安全負(fù)責(zé)人或團(tuán)隊(duì)及其企業(yè)有責(zé)任確保安全使用采用 LLM 的GenAI 聊天界面。

Tovie AI 的 CEO Joshua Kaiser 早前向記者表示，AI 驅(qū)動(dòng)的聊天機(jī)器人需要定期更新以有效應(yīng)對威脅，并且人類監(jiān)督對于確保 LLM 正常運(yùn)行至關(guān)重要。“此外，LLM 需要具備上下文理解能力，才能提供準(zhǔn)確的回應(yīng)并發(fā)現(xiàn)任何安全問題，應(yīng)該定期測試和評估以識別潛在的弱點(diǎn)或漏洞。”