隨著LLM持續火爆，如何實現其安全性成為組織必須思考的關鍵問題。

在過去一年中，關于大型語言模型（LLM）的討論激增，這促使許多組織開始思考：我們應該如何保護人工智能？安全影響又是什么？

要回答這些問題，最好先了解一下LLM的運作原理。首先，我們簡要介紹一下LLM和LLM應用程序是什么？LLM安全性與傳統安全性有何不同？什么是保護LLM的良好框架？我們如何實現這些框架？

從某種角度來看，LLM的興起就像當初的社交網絡，試想一下社交網絡是如何戲劇性地改變了我們的交流方式，以及它們又是如何淪為新型攻擊的目標的。這些平臺可以被操縱來傳播錯誤信息或偏見，就像LLM如果不加以控制，可能會延續甚至放大它們所訓練的數據中的現有偏見一樣。出于這個原因，制定新的最佳實踐來實現LLM安全性是十分必要的。

生成式人工智能（GenAI）的有趣事實

讓我們從一些人工智能的有趣事實開始。據估計，《財富》2000強公司總共擁有大約100萬個定制應用程序。云安全聯盟（CSA）幾年前的調查顯示，在《財富》2000強企業中，每家公司平均擁有500個定制應用程序。這些應用程序越來越多地集成了人工智能，開發人員渴望在他們的工作中注入生成式人工智能功能。

據普華永道稱，人工智能的潛在經濟影響是驚人的，預測顯示，到2030年，人工智能對全球經濟的貢獻將高達15.7萬億美元。這種增長將主要來自用新的人工智能驅動的工作流程來增強現有應用程序，而不是創建全新的應用程序。

考慮到這些數字，安全專業人員有必要清楚地了解將人工智能集成到這些應用程序中的意義。首先，讓我們分析一下LLM是什么，以及它們的安全性與傳統應用程序相比有何不同。

了解LLM（包括RAG）

從本質上講，LLM可以被視為復雜的庫或智能數據庫。它們處理大量的人類語言數據，使它們能夠大規模地理解、解釋和生成文本。基于LLM的應用程序類似于傳統的應用程序，但它不是查詢數據庫，而是與LLM交互，LLM根據其訓練數據生成響應。可以使用一種稱為檢索增強生成（retrieve -augmented generation，RAG）的技術，在運行時使用額外的私有數據對LLM數據集進行擴展。具體流程如下所示：

數據安全挑戰

由于LLM依賴于大型非結構化數據集，因此保護LLM具有獨特的挑戰性。主要問題包括幾下幾點：

• 數據隱私和機密性：LLM需要大量數據，這增加了在培訓和查詢處理期間暴露敏感信息的風險。
• 外部數據依賴性：外部數據源的集成可能會引入偏差和操作風險。
• 模型盜竊：如果LLM被盜并進行逆向工程，那么它所訓練的數據可能會暴露。
• 缺乏內省（Introspection）：與傳統數據庫不同，LLM是黑匣子，很難精確定位和管理其中的特定信息片段。

為了說明這些風險，我來分享一個個人軼事。去年冬天，我在亞馬遜上買毛衣時注意到他們的應用程序提供了人工智能生成的客戶評論摘要。出于好奇，我決定測試一下它的極限，讓它用Python編寫一個反向shell。令我驚訝的是，人工智能提供了一個完整而詳細的腳本，包括對攻擊者和受害者的說明。這一事件凸顯了LLM如果沒有得到適當的保護，即使在客戶服務等看似無害的應用程序中也可能被濫用。

為了降低這些風險，我們需要采用一個全面的框架來保護LLM，同時關注數據層和語義層。

保護LLM安全性的框架

1. 發現LLM應用程序：首先確定組織內的所有LLM應用程序。這可以通過檢查云使用情況（AWS Bedrock、Google Vertex AI、Azure OpenAI）或使用工具跟蹤API使用情況和相關資源來完成。

2. 保護數據接口：為訓練數據、檢索增強數據、提示和響應需要實現強大的掃描和處理過程。具體包括以下幾點：

• 數據存儲掃描器：使用數據安全狀態管理（DSPM）等工具掃描和清理數據存儲。
• 按需掃描儀：實時評估文檔，以確保在將文檔提供給LLM之前不包含敏感數據。
• 按需文本掃描器：對提示和響應應用類似的檢查，以防止敏感信息的暴露。

3. 實施策略匹配：除了掃描敏感數據，還可以采用人工智能驅動的策略執行來解決偏見、幻覺和其他細微的威脅。這涉及到創建一個策略庫來定義可接受的AI行為，并確保所有交互都符合這些策略。

4. 構建語義防火墻：將DSPM和策略實施結合起來，創建一個語義防火墻（Semantic Firewall），以保護靜態和動態數據。此防火墻可以充當代理，過濾和清理與LLM的所有交互，以確保符合安全策略。具體可以遵循以下最佳做法來制定有效的政策：

• 簡要：從簡單、清晰的策略開始，并經常調整。
• 模塊化：將企業范圍的策略與特定于部門的指導方針分開，以實現靈活性和精確性。
• 成本管理：要注意與高級檢查和優化相關的成本，特別是對于大型企業。

結語：從檢測影子LLM開始

與傳統技術相比，LLM是一種完全不同的類型，因為它們近似于人的層面，當然，保護本質上是保護所有OSI層，但最重要的是保護數據和語義。要做到這一點，首先要了解所有的LLM，包括那些安全和IT團隊甚至不知道它們正在被使用的“影子LLM”。接下來，就可以實現數據層保護和AI策略匹配。最后，您便可以開發和實施全面的語義層保護。

原文標題：??A Step-by-Step Guide to Improving Large Language Model Security??，作者：Ravi Ithal