在追求GenAI帶來的生產力提升的過程中，大多數企業都忽視了這樣做可能帶來的安全影響，轉而傾向于寄希望于具有變革性的創新，而非采用可靠的安全實踐。

根據世界經濟論壇與埃森哲合作進行的一項研究，63%的企業在部署AI工具之前未能評估其安全性，從而給企業帶來了一系列風險。

這既包括現成的AI解決方案，也包括與軟件開發團隊合作創建的內部實現。根據Tricentis的2025年質量轉型報告，這些團隊絕大多數(45%)專注于提高交付速度，而非增強軟件質量(13%)，盡管有三分之一(32%)的受訪者承認，質量低劣的軟件很可能導致更頻繁的安全漏洞或合規失敗。

而且，這些漏洞和失敗確實越來越頻繁。思科最新發布的《網絡安全準備指數》于5月7日公布，該指數顯示，86%的企業在過去一年中經歷過與AI相關的安全事件，不到一半(45%)的企業認為其內部資源和專業知識足以進行全面的AI安全評估。

最常見的被忽視的AI安全風險

專家們表示，未能充分測試AI系統就進行部署，會使企業面臨一系列與傳統軟件風險顯著不同的漏洞。以下是一些最常見的風險：

數據泄露

AI系統經常處理大量敏感信息，如果沒有進行嚴格的測試，企業可能會忽視這些數據泄露的容易程度，無論是通過不安全的存儲、過于慷慨的API響應，還是糟糕的訪問控制。

“許多AI系統在推理過程中會攝入用戶數據，或為保持會話持久性而存儲上下文，”AI安全測試供應商Mindgard的CEO兼聯合創始人Peter Garraghan博士說，“如果數據處理未經過審計，就有很高的數據泄露風險，這些風險可能通過模型輸出、日志泄露或微調數據集的濫用而發生，這些風險會因大型語言模型(LLM)的內存功能或流式輸出模式而加劇。”

模型級漏洞

這些漏洞包括提示注入、越獄和對抗性提示鏈。如果沒有嚴格的測試，模型可能會被操縱以繞過輸出約束、泄露敏感數據或執行非預期任務。

“這些攻擊往往利用模型對齊機制的缺陷或其對標記級推理的依賴。”英國蘭卡斯特大學的講師Garraghan解釋道。

模型完整性和對抗性攻擊

如果沒有對對抗性操縱或中毒訓練數據進行測試，攻擊者很容易影響AI模型的行為，尤其是當該模型被用于支持業務決策或自動化敏感任務時。

全球網絡安全咨詢公司CyXcel的首席運營官Jano Bermudes說：“攻擊者可以操縱輸入數據來欺騙AI模型，導致其做出錯誤決策，這包括逃避攻擊和數據中毒。”

系統性集成風險

AI模型經常作為更大應用程序管道的一部分進行部署，例如通過API、插件或檢索增強生成(RAG)架構。

“在這方面測試不足可能導致模型輸入和輸出的不安全處理、通過序列化數據格式的注入路徑以及托管環境中的權限提升，”Mindgard的Garraghan說，“這些集成點在常規應用程序安全(AppSec)工作流程中經常被忽視。”

訪問控制失敗

AI工具經常接入更廣泛的系統，如果配置不當，可能會給用戶或攻擊者超出預期的訪問權限，這可能包括暴露的API密鑰、糟糕的身份驗證或日志記錄不足，使得濫用行為難以被發現。

運行時安全失敗

AI系統在部署期間可能僅在特定輸入條件下表現出緊急行為，尤其是在與其他服務交互時。

“邏輯損壞、上下文溢出或輸出反射等漏洞通常僅在運行時出現，需要通過操作紅隊測試或實時流量模擬來檢測。”Garraghan說。

合規違規

未能確保AI工具符合監管標準可能導致法律后果。

例如，由于AI工具未經授權的數據處理或未測試的模型行為導致的中斷，可能引發監管違規。

更廣泛的運營影響

“這些技術漏洞如果不經過測試，并不會孤立存在，”Mindgard的Garraghan說，“它們表現為更廣泛的企業風險，超越了工程領域。從運營影響的角度來看，AI安全測試不足的后果直接映射到安全、安全和業務保障的失敗。”

合規專家ISMS.online的首席產品官Sam Peters看到了企業因忽視適當的AI安全審查而導致的廣泛運營影響。

“當AI系統匆忙投入生產時，我們在三個關鍵領域反復看到漏洞：模型完整性(包括中毒和逃避攻擊)、數據隱私(如訓練數據泄露或敏感數據處理不當)和治理差距(從缺乏透明度到訪問控制不佳)。”他說。

Peters補充道：“這些問題并非假設;它們已經在現實中被利用。”

針對交付進行測試

急于實施AI給CISO帶來了壓力，但應用安全測試公司Sparrow的首席運營官James Lei建議CISO應抵制盲目引入的熱情，將基本安全實踐納入部署過程。

“為降低這些風險，企業應像測試任何高風險軟件一樣測試AI工具，運行模擬攻擊、檢查濫用場景、驗證輸入輸出流程，并確保任何處理的數據都得到適當保護。”他說。

為降低這些風險，企業應實施全面的測試策略，例如：

? 滲透測試：模擬攻擊以識別漏洞

? 偏見和公平性審計：確保AI決策公平且無歧視

? 合規性檢查：驗證是否符合相關法規和標準

通過將安全測試納入AI開發生命周期，企業可以在利用AI優勢的同時防范潛在威脅。

“在部署AI工具之前，企業應針對AI系統進行威脅建模、對抗性輸入的紅隊測試以及模型漂移和數據泄露的嚴格測試，”ISMS.online的Peters說，“同時，他們應將AI特定控制納入其風險管理和合規計劃。”

Peters補充道：“這就是新的ISO/IEC 42001標準真正發揮作用的地方，它提供了一個負責任地治理AI的框架，包括風險評估、數據處理、安全控制和持續監控的指導。”

其他專家在肯定安全測試必要性的同時，認為在測試AI系統安全性時需要采用不同的方法。

“與常規軟件測試不同，你不能僅僅通過查看神經網絡的代碼來判斷其是否安全，”眾包安全提供商Intigriti的首席黑客官Inti De Ceukelaire告訴記者，“即使它是在干凈、高質量的數據上訓練的，仍然可能表現出奇怪的行為，這使得很難知道何時測試已經足夠。”

AI工具通常為簡單問題提供復雜解決方案，測試人員可能只關注工具應做的事情，而忽略其他可能做的事情。“例如，翻譯工具可能被誘騙打開包含惡意代碼的PDF文件或訪問內部文件并為其翻譯以供公司外部人員查看。”De Ceukelaire解釋道。

企業應考慮實施專門為AI設計的對抗性測試框架。

“這包括靜態模型分析、動態提示模糊測試、集成層攻擊模擬和運行時行為監控，”Mindgard的Garraghan說，“這些實踐應嵌入AI部署生命周期中，就像DevSecOps實踐被集成到軟件CI/CD管道中一樣。”