以ChatGPT為代表的基于LLM(大語言模型)的生成式人工智能應用正風靡全球，各行各業都在爭先恐后將其集成到前端和后端的各種系統中，與此同時生成式人工智能面臨的安全風險也正隨著其熱度上升而凸顯。

生成式人工智能自身正面臨提示注入等多種攻擊，很可能給企業帶來數據泄露、內容安全、版權侵犯等新興威脅。此外，由于生成式AI與生俱來的“黑匣子”特性，伴隨“AI軍備競賽”快速成長的自主AI系統越來越難以監管，隨時有可能失控并帶來災難性后果。

白宮發布AI監管總統令

2023年10月30日，美國總統拜登發布了《關于安全、可靠和值得信賴地開發和使用人工智能的行政命令》，同時七國集團領導人發表了聯合聲明，支持2023年5月“廣島進程開發先進人工智能系統組織國際行為準則。”

白宮的總統行政命令以白宮之前對人工智能的參與為基礎，并為行業和政府提供了指導方針。那些涉及國家安全的實體應特別關注人工智能技術的雙重用途可能性。該行政命令指出了七個重要議題(其中安全問題排在第一位)：

• 確保安全。
• 保護美國人的隱私。
• 促進公平和公民權利。
• 維護消費者和工人的利益。
• 促進創新和競爭。
• 提升美國在海外的領導地位。
• 確保政府負責任且有效地使用人工智能。

誰來監管人工智能

人工智能監管的第一步是設定標準，因此美國國家標準與技術研究院(NIST)首當其沖，白宮總統行政命令明確指示NIST開發人工智能指南和最佳實踐，以促進達成共識的行業標準，確保安全、可靠和值得信賴的人工智能的開發和部署。

與此同時，白宮國家網絡主任辦公室在社交媒體上給出了其對總統行政命令的理解：“今天的行政命令為人工智能安全、保護美國人隱私、促進公平和公民權利制定了新標準——它維護消費者和工人的利益，促進創新和競爭，提升美國在世界各地的領導地位。”

美國國土安全部則發布了情況說明書，解釋了該行政命令及其職責，重點強調了以下三大關鍵措施：

• 成立人工智能安全咨詢委員會(AISSB)，以“支持人工智能的負責任發展。該委員會將匯集來自人工智能硬件和軟件公司、領先研究實驗室、關鍵基礎設施實體和美國政府的杰出行業專家。”
• 致力于制定人工智能安全指南，供關鍵基礎設施所有者和運營商使用。
• 利用人工智能改善美國網絡防御的潛力，強調CISA如何積極“利用人工智能和機器學習(ML)工具進行威脅檢測、預防和漏洞評估”。

另外，美國網絡安全和基礎設施安全局(CISA)在自己的社交媒體帖子中強調，它將“評估與使用人工智能相關的可能風險，為關鍵基礎設施部門提供指導，利用人工智能改善美國網絡防御的潛力，并制定建議紅隊測試生成人工智能。”

人工智能企業的九大安全政策

美國總統行政命令還提到了本周三開幕的英國人工智能安全峰會，該峰會將匯集世界領導人、科技公司和人工智能專家，“促進關于人工智能的重要對話”。

人工智能安全峰會呼吁研發先進人工智能技術的企業重視九大人工智能安全政策：

• 風險管理框架。為組織提升前沿人工智能系統的能力提供一個風險管理框架，使公司能夠在未來潛在的、更危險的人工智能風險發生之前做好準備。
• 模型評估和紅隊測試可以幫助評估人工智能模型帶來的風險，并為有關訓練、保護和部署模型的更好決策提供信息。
• 模型報告和信息共享可提高政府對前沿人工智能開發和部署的可見性，并使用戶能夠就是否以及如何使用人工智能系統做出明智的選擇。
• 包括保護模型權重在內的安全控制是人工智能系統安全的關鍵基礎。
• 漏洞的報告機制有助于外部人員識別并報告人工智能系統中的安全問題。
• 人工智能內容標記。人工智能生成內容需要添加標識符，用于識別該內容是否由人工智能生成或修改，有助于防止欺騙性人工智能生成內容的創建和分發。
• 優先研究人工智能帶來的風險將有助于識別和解決前沿人工智能帶來的新風險。
• 防止和監控模型濫用非常重要，因為人工智能系統一旦部署，可能會被故意濫用，造成有害結果。
• 數據輸入控制和審計可以幫助識別和刪除可能增加先進人工智能系統危險能力和風險的訓練數據。

CISO應該注意什么

在人工智能強監管時代，CISO需要高度重視人工智能安全產品相關的合規問題，CISO應該嚴格審核和評估網絡安全產品，并要求安全廠商為安全產品中整合的AI/ML技術提供出處和可證明的測試結果。此外，鑒于全球人工智能監管政策的流動性，缺乏跨境協調是一個現實問題，如果各地區或國家之間的指導和法規存在差異，可能會導致下游合規問題。