2023年11月26日 ，美國、英國、澳大利亞等18個國家的網絡安全監管部門聯合發布了全球首份《AI系統安全開發準則》，旨在實現保護人工智能模型不被惡意篡改，并敦促人工智能公司在開發或使用人工智能模型時更加關注“設計安全”。

作為這份準則制定的主要參與方，美國網絡安全和基礎設施安全局（CISA）表示：世界正處于AI技術快速發展的拐點，AI很可能是如今最具影響力的技術，但充分保障網絡安全是建立安全、可靠和值得信賴AI系統的關鍵。因此，我們聯合了多個國家的網絡安全監管部門，并與谷歌、亞馬遜、OpenAI和微軟等公司的技術專家合作，共同編寫發布了這份準則，旨在提高AI技術應用的安全性。

據了解，這份準則是全球第一份由官方機構發布的針對AI系統開發安全的指導文件。準則明確要求AI企業必須優先考慮為客戶確保安全結果，積極倡導AI應用的透明度和問責機制，并以保障安全設計為首要任務來構建組織的管理結構。準則旨在提高AI的網絡安全性，有助于確保安全地設計、開發和部署AI技術。

此外，依托美國政府一貫以來在管理網絡安全風險方面的工作經驗，準則要求所有AI研發公司在新的AI工具公開發布之前要經過充分測試，確保已實施安全護欄以最大程度消除社會危害（比如偏見和歧視）和隱私問題。準則還要求AI研發公司承諾：通過漏洞懸賞系統，方便第三方發現和報告其AI系統中的漏洞，從而迅速發現和修復漏洞。

具體而言，此次發布的準則為AI系統安全開發提出了4大方面的監管要求：

1、要優先考慮“設計安全”和“默認安全”

在準則中，多次強調了“設計安全”和“默認安全”原則，即AI開發公司應該主動保護AI產品免受攻擊的方法。起草者敦促AI開發人員在決策過程中優先考慮安全，而不單單注重功能和性能。準則還建議產品提供設置為最安全的默認應用選項，并向用戶清楚地傳達替代該默認配置的風險。根據準則要求，AI系統的開發人員應該為下游的應用結果承擔責任，而不是依賴客戶去控制安全。

要求摘錄：“用戶（無論是‘最終用戶’還是整合外部AI組件的提供商）通常缺乏足夠的可見性及專業知識來充分了解、評估或解決與他們正在使用的AI系統相關的風險。因此，根據‘設計安全’原則，AI組件的提供商應該對供應鏈下游用戶的安全后果負責。”

2、密切關注復雜的供應鏈安全

AI工具開發人員在設計自己的產品時常依賴第三方組件，比如基礎模型、訓練數據集和API。龐大的供應商網絡會給AI系統帶來更大的攻擊面，其中任何一個薄弱環節都可能會對產品的安全性產生負面影響。因此，準則要求開發人員在決定引用第三方組件時，需要充分評估其中的安全風險。在與第三方合作時，開發人員應該審查和監控供應商的安全狀況，要求供應商遵守與自己組織相同的安全標準，并對導入的第三方代碼實施掃描和隔離。

要求摘錄：“如果第三方組件未達到安全標準，開發者要為關鍵任務系統準備好切換到替代解決方案。企業可以使用NCSC的《供應鏈指南》等資源，以及軟件工件供應鏈級別（SLSA）等資源，用于跟蹤供應鏈和軟件開發生命周期的認證。”

3、考慮AI應用中面臨的獨特風險

AI系統應用時會產生一些特有的威脅（如提示注入攻擊和數據中毒），因此開發者需要充分考慮AI系統獨特的安全因素。AI系統“設計安全”方法的一個重要組成部分就是為AI模型輸出設置安全護欄，以防止敏感數據泄露，并限制用于文件編輯等任務的AI組件的操作。開發人員應該將AI特有的威脅場景納入發布前的測試中，并監控用戶輸入以判斷是否存在惡意利用系統的企圖。

要求摘錄：“‘對抗性機器學習’（AML）一詞用于描述利用機器學習組件（包括硬件、軟件、工作流和供應鏈）中的安全漏洞。AML使攻擊者能夠在機器學習系統中引發意想不到的行為，包括：影響模型的分類或回歸性能、允許用戶執行未經授權的操作以及提取敏感的模型信息。”

4、AI系統安全開發應該具有持續性和協作性

準則概述了貫穿AI系統設計、開發、部署、操作及維護等全生命周期階段的最佳安全實踐，并強調了要持續監控已部署AI系統的重要性，這樣能夠發現模型行為方面的變化和可疑的用戶輸入。“設計安全”原則是任何軟件更新的關鍵組成部分，準則建議開發者在默認情況下自動更新。最后，則建議開發人員利用更龐大的AI社區反饋和信息共享，不斷改進系統的安全性。

要求摘錄：“需要時，AI系統開發者可以將遇到的安全問題上報到更龐大的社區，比如發布響應漏洞披露的公告，包括詳細而完整的常見漏洞枚舉。當發現安全問題時，開發者要采取行動，迅速而適當地緩解和修復問題。”

參考鏈接：

https://thehackernews.com/2023/11/us-uk-and-global-partners-release.html。

https://www.scmagazine.com/news/4-key-takeaways-from-new-global-ai-security-guidelines。