自從ChatGPT公開推出以來還不到18個月，它在不到兩個月的時間里就獲得了1億用戶。鑒于這種熱潮，人們本以為GenAI的企業(yè)采用率會很高，但實際上比預期的要慢。Telstra和MIT Review最近的一項調查顯示，雖然75%的企業(yè)去年測試了GenAI，但只有9%廣泛部署了它。主要障礙是什么?數(shù)據(jù)隱私和合規(guī)性。

這點非常真實，在2024年上半年，我與近100位企業(yè)CISO進行了交談，他們的主要關注點是如何獲得對員工AI使用的可見性，如何執(zhí)行企業(yè)關于可接受AI使用的政策，以及如何防止客戶數(shù)據(jù)、知識產權和其他機密信息的泄露。

大量的努力已經(jīng)投入到保護模型本身，這確實是一個需要解決的問題，但保護用戶在模型周圍和跨模型的活動所帶來的隱私和合規(guī)問題可能更大。模型安全性主要關注防止偏見、模型漂移、污染等問題，而保護模型用戶活動則側重于可見性和控制，以及數(shù)據(jù)和用戶保護。

保護跨模型的用戶活動

那么，你需要什么才能獲得可見性和控制權?內部模型用戶活動的可見性是一個可管理的問題。如今，大多數(shù)企業(yè)只使用了很少的LLM，并且員工訪問這些模型的權限有限。獲得對外部托管AI和啟用AI的目的地的可見性則要困難得多。

要完全了解內部和外部的用戶活動，你必須：

a) 捕獲所有外向訪問

b) 理解這些數(shù)據(jù)

例如，這名員工究竟在訪問什么，數(shù)據(jù)托管在哪里，數(shù)據(jù)存儲在哪里，使用是否安全?當然，這只是識別目的地，接下來，你需要捕獲并分析所有員工在這些地方的活動，他們輸入了什么提示，這是否合規(guī)?他們得到了什么回應，這是否合規(guī)?在最初發(fā)布和達到1億用戶之間的兩個月里，ChatGPT收到了大量企業(yè)員工的訪問。源代碼、財務計劃、營銷活動等大量信息被上傳，因為員工在測試這項新技術。很少有CISO有信心完全了解已經(jīng)發(fā)送和仍在發(fā)送的內容。

即使有良好的可見性，通過政策控制員工活動也不容易。執(zhí)行機制在哪里運行?是在終端代理上?代理服務器上?網(wǎng)關上?云端?

AI可接受使用政策如何表達?考慮一個AI數(shù)據(jù)訪問政策：某法律或咨詢公司可能要求來自客戶A的LLM數(shù)據(jù)不能用于生成客戶B的答案。上市公司的總法律顧問可能希望制定AI主題訪問政策：財務部門以外且職位低于副總裁的員工不能詢問收益信息。首席隱私官可能要求制定AI意圖政策：如果你使用外部GenAI編寫合同，在發(fā)送提示之前必須刪除所有PII。

獲得員工AI使用的可見性和控制

經(jīng)過18個月使用GenAI的經(jīng)驗，企業(yè)已經(jīng)開始了解獲得用戶活動可見性和控制的必要條件。無論是構建還是購買解決方案，都需要執(zhí)行特定功能：

? 建立目標數(shù)據(jù)庫：首先，你需要建立和維護一個GenAI目標數(shù)據(jù)庫(即包含嵌入AI的域名和應用程序)。沒有這個數(shù)據(jù)庫，你只能基于DNS進行訪問的阻止或允許。

? 捕獲目標域名：接下來，你需要獲取員工試圖訪問的實際域名。捕獲DNS活動有多種選擇：從終端(即代理)、防火墻、代理服務器、CASB等獲取。

? 記錄實際活動：為了獲得可見性，你需要將員工活動持續(xù)映射到目標數(shù)據(jù)庫，建立員工活動目錄——特別是相對于AI，你的員工去了哪里?基本版本可以在事后提供員工訪問的AI模型、聊天機器人等的可見性。更高級的版本可能會增加對這些目標的風險分析。

? 捕獲對話：當然，可見性不僅僅包括目標，還包括進入和離開這些AI目標的實際提示、數(shù)據(jù)和響應。你需要捕獲這些內容并應用額外的風險分析。

? 進行主動執(zhí)行：上述所有可見性功能可以在事后進行。如果你想對外部AI系統(tǒng)應用可接受使用政策，你需要一個在推理時強制執(zhí)行的政策機制，它需要攔截提示并應用政策，以防止不必要的數(shù)據(jù)丟失、不安全的使用等。

? 全面執(zhí)行政策：確保政策機制適用于內部和外部的LLM訪問，并跨云、LLM和安全平臺。由于大多數(shù)企業(yè)使用混合的云和安全產品，如果你的政策引擎不局限于單一平臺或云，效果會更好。

當前市場狀況

上述步驟可能很復雜，但一些企業(yè)已經(jīng)取得了進展。毫無疑問，較大、較先進的企業(yè)已經(jīng)建立了一些控制措施來執(zhí)行上述部分功能。

我與一些企業(yè)交談過，他們從頭開始構建了大部分AI可見性和控制功能，其他企業(yè)則使用他們的EDR、SIEM、CASB、代理服務器和防火墻的組合來捕獲數(shù)據(jù)，進行一些基本的阻止和事后可見性報告。當然，隨著新的安全問題出現(xiàn)，也有新的初創(chuàng)公司正在將解決方案推向市場，這是一個企業(yè)安全和隱私領域非常活躍且快速發(fā)展的領域。

最后一點：偶爾會發(fā)生重大IT變革，顯著影響員工(和客戶)使用IT的方式。90年代后期的企業(yè)網(wǎng)絡部署和2010年代的移動應用都推動了企業(yè)基礎設施的大規(guī)模演變，這兩次重大計算變革都帶來了數(shù)據(jù)丟失和攻擊的新潛在風險，并且每次都需要顯著的新技術解決方案。GenAI無疑是IT安全演變的下一個重大原因，大多數(shù)企業(yè)將尋找方法來看到、控制和保護他們的用戶及其數(shù)據(jù)，因為AI將嵌入到每個過程中。