基于大型語言模型(LLM)的生成式AI技術應用已經成為當前全球企業普遍關注的熱點。作為一種創新技術，企業組織在未來數字化發展中有很多機會應用ChatGPT或類似AI工具。因此，CISO們需要提前做好準備，以避免可能出現的安全隱患和隱私泄露風險。

日前，OWASP(全球開放應用軟件安全項目組織)發布了LLM應用風險草案清單，并梳理總結了最嚴重的10大LMM應用安全漏洞類型，包括提示注入、數據泄漏、不充分的沙箱機制和未經授權的代碼執行等。OWASP研究人員表示，這份清單旨在讓LLM應用的開發者、設計者、架構師和管理者，更好地了解在部署和管理LLM應用過程中可能存在的潛在風險，并提高漏洞防范認識，從而改善LLM未來應用中的安全態勢。

1、提示注入(LLM01:2023)

提示注入是指通過精心制作的提示繞過內容監管過濾，使其忽略先前的指令或執行非法的操作。這類漏洞可能導致意想不到的后果，包括數據泄露、未經授權的訪問或其他安全隱患。常見的提示注入漏洞包括：通過使用特定的語言模式或token繞過過濾器或限制，利用LLM的文本分詞或編碼機制中的弱點，以及通過提供欺騙性上下文誤導LLM執行意外操作。

防護建議

針對該類型漏洞的預防措施包括：

• 對用戶提供的提示執行嚴格的輸入驗證和凈化。
• 使用上下文感知過濾和輸出編碼來防止提示操縱。
• 定期更新和微調LLM，以提高理解惡意輸入和極端情況的能力。

2、數據泄漏(LLM02:2023)

當LLM通過其響應意外泄露敏感信息、專有算法或其他機密資料時，就會發生數據泄漏。這可能導致未經授權訪問敏感數據、侵犯個人隱私及其他安全隱患。

常見的數據泄露漏洞包括：對LLM響應中的敏感信息過濾不完整或不恰當，記憶LLM訓練過程中的敏感數據，以及因LLM算法錯誤而導致機密信息的意外泄露。攻擊者可以通過精心設計的提示來故意探測LLM，試圖提取LLM憑訓練數據所記憶的敏感信息，或者合法用戶無意中向LLM提出的包含機密信息的提問。

防護建議

針對該類型漏洞的預防措施包括：

• 實施嚴格的輸出過濾和上下文感知機制，以防止LLM泄露敏感信息。
• 在LLM訓練過程中使用差分隱私技術或其他數據匿名化方法，以減小過擬合或記憶的風險。
• 定期審計和審查LLM的響應，以確保敏感信息不會無意中泄露。

3、不充分的沙箱機制(LLM03:2023)

如果LLM在訪問外部資源或敏感系統時未加適當隔離，不充分的沙箱機制就會導致潛在的漏洞、未經授權的訪問或LLM違規操作。和不充分的沙箱機制相關的常見漏洞包括：LLM環境與其他關鍵系統的數據存儲區隔離不足，不充分的限制任由LLM訪問敏感資源，以及LLM執行系統級操作/與其他進程交互。

防護建議

針對該類型漏洞的預防措施包括：

• 將LLM環境與其他關鍵系統和資源隔離開來。
• 限制LLM對敏感資源的訪問，并將訪問功能限制在最低限度。
• 定期審計和審查LLM的環境和訪問控制，以確保保持適當的隔離。

4、未經授權執行代碼(LLM04:2023)

當攻擊者通過自然語言提示利用LLM在底層系統上執行惡意代碼、命令或操作時，就會發生未經授權的代碼執行。典型的攻擊類型包括：攻擊者設計提示以指令LLM執行命令，該命令在底層系統上啟動反向shell，從而授予攻擊者未經授權的訪問權限;LLM無意中被允許與系統級API進行交互，攻擊者操縱該API在系統上執行未經授權的操作。

防護建議

針對該類型漏洞的預防措施包括：

• 實施嚴格的輸入驗證和凈化流程，以防止LLM處理惡意或意外的提示。
• 確保適當的沙箱機制，并限制LLM的功能，以限制其與底層系統交互的能力。

5、服務器請求偽造(LLM05:2023)

當攻擊者利用LLM執行意外請求或訪問受限制的資源(比如內部服務、API或數據存儲)時，就會出現服務器請求偽造(SSRF)漏洞。常見的SSRF漏洞包括：輸入驗證不足，允許攻擊者操縱LLM提示發起未經授權的請求，以及網絡或應用安全設置中的錯誤配置將內部資源暴露給LLM。為了執行攻擊，攻擊者還可以設計提示，指令LLM向內部服務發出請求，繞過訪問控制，并獲得對敏感信息未經授權的訪問。

防護建議

針對該類型漏洞的預防措施包括：

• 實施嚴格的輸入驗證和凈化策略，防止通過惡意輸入發起未經授權的請求。
• 定期審計和審查網絡/應用軟件安全設置，以確保內部資源不會無意中暴露給LLM。

6、過度依賴模型生成的內容(LLM06:2023)

過度依賴LLM生成的內容是指組織和用戶未經驗證就信任LLM生成的內容，從而導致不正確的誤導信息大量傳播，降低人在決策中的參與度，并弱化批判性思考。與過度依賴LLM生成的內容相關的常見問題包括：未經驗證就接受LLM生成的內容，以為LLM生成的內容沒有偏誤或錯誤信息，以及在沒有人參與或監督的情況下依賴LLM生成的內容用于關鍵決策。

如果一家公司依賴LLM生成安全報告和分析，而LLM生成的報告含有大量的不正確數據，那么如果企業依賴這份由LLM生成的內容進行關鍵決策，就可能會釀成重大后果。網絡安全分析師稱這種現象為LLM幻覺。

防護建議

針對該類型漏洞的預防措施包括：

• 對LLM生成的內容進行充分驗證;
• 嚴格限制使用那些未經驗證的LLM生成內容;
• 定期開展LLM生成內容的安全風險審計。

7、對LLM目標和行為對齊不足(LLM07:2023)

當企業的LLM應用行為與預期中的應用目標不一致時，就會導致不良的應用后果或安全漏洞，這種漏洞被稱為AI應用對齊不足。常見問題包括：定義不明確的目標導致LLM優先考慮了那些不良或有害的行為，不一致的獎勵機制引發意想不到的模型行為，以及對LLM行為測試和驗證不足。如果旨在協助系統管理任務的LLM出現未對齊漏洞，就可能會執行有害的命令或降低系統的安全防護級別。

防護建議

針對該類型漏洞的預防措施包括：

• 在設計和開發過程中明確定義LLM的目標和預期行為。
• 確保獎勵機制和訓練數據與預期結果相一致，不鼓勵任何有害的違規行為。
• 定期測試和驗證LLM在眾多場景、輸入和上下文中的行為，以識別和解決對齊問題。

8、不完善的訪問控制(LLM08:2023)

這種漏洞是指LLM在應用中未正確實施訪問控制或身份驗證，允許未經授權的用戶與 LLM 進行交互，從而產生可被利用的安全漏洞。常見例子包括：未對訪問LLM執行嚴格的身份驗證要求，基于角色的訪問控制(RBAC)實施不充分，允許用戶執行超出預期權限的操作，以及未為LLM生成的內容和操作提供適當的訪問控制。

防護建議

針對該類型漏洞的防護措施包括：

• 實施強身份驗證機制，比如多因素身份驗證(MFA);
• 應確保只有授權用戶才能訪問LLM;
• 對LLM生成的內容和操作實施適當的訪問控制，以防止未經授權的操作。

9、不恰當的錯誤處置(LLM09:2023)

錯誤處置漏洞主要指由于LMM的錯誤處置或調試信息被公開暴露，從而導致了向威脅分子泄露敏感信息、系統資料或潛在攻擊途徑。常見的錯誤處置漏洞包括：通過錯誤消息暴露敏感信息或系統資料，泄露可能幫助攻擊者識別潛在漏洞或攻擊途徑的調試信息，以及未能有效處理應用中的錯誤，從而可能導致意外行為或系統崩潰。

防護建議

針對該類型漏洞的預防措施包括：

• 實施適當的錯誤處理機制，以確保錯誤被及時地獲取、記錄和處理。
• 確保錯誤消息和調試信息中不包含敏感信息或系統資料，同時考慮使用通用的錯誤消息，為開發者和管理員記錄詳細的錯誤數據。

10、訓練數據中毒(LLM10:2023)

訓練數據中毒是指攻擊者操縱LLM的訓練數據或微調程序，以引入漏洞、后門或偏誤，從而危害模型的安全性、有效性或道德。常見的訓練數據中毒問題包括：通過惡意操縱訓練數據向LLM引入后門或漏洞，以及向LLM注入誘導數據，導致LLM生成有偏差或不適當的響應。

防護建議

針對該類型漏洞的防護措施包括：

• 從可信來源獲取訓練數據并驗證其質量，確保訓練數據的完整性。
• 實施可靠的數據凈化和預處理技術，以消除訓練數據中的潛在漏洞或欺騙內容。
• 使用監測和警報機制來檢測LLM中的異常行為或安全問題，這些問題可能會幫助企業及時發現訓練數據中毒。

參考鏈接：https://www.csoonline.com/article/3698533/owasp-lists-10-most-critical-large-language-model-vulnerabilities.html