譯者 | 李睿

審校 | 重樓

人工智能正在徹底改變軟件即服務(SaaS)應用程序的工作方式，使它們比以往任何時候都更加高效和自動化。然而，這種快速發展也打開了新的安全威脅的潘多拉魔盒。從對數據的惡意操縱到人工智能模型的逐漸退化，這些漏洞是人工智能驅動的SaaS所獨有的，需要人們高度關注。本文將深入研究這些風險，查看現實世界的示例，并討論保護這些人工智能驅動的解決方案的實用方法。

本文將重點關注：

• 數據中毒：操縱訓練數據以損害人工智能模型行為，例如微軟Tay聊天機器人事件。
• 利用人工智能模型中的漏洞：針對人工智能模型弱點的對抗性攻擊，例如面部識別和自動駕駛汽車的研究。
• 訪問控制和數據泄露：由于安全措施不足，未經授權訪問或泄露敏感用戶數據，例如Equifax數據泄露和谷歌的GDPR罰款。
• 供應鏈攻擊：利用第三方軟件組件的漏洞滲透系統，例如破壞性的SolarWinds攻擊。
• 模型漂移：由于真實世界數據的變化，人工智能模型準確性隨著時間的推移而下降，這一點在新冠疫情期間面臨的挑戰中得到了突出體現。

1.數據中毒

數據中毒指的是對訓練數據的惡意操縱，以損害人工智能模型的完整性和功能。通過注入精心制作的虛假或誤導性信息，網絡攻擊者可以潛移默化地影響模型的行為，導致不準確的預測、錯誤的決策，甚至泄露敏感數據。

現實示例

2016年，微軟公司的人工智能聊天機器人“Tay”為數據中毒的危險提供了一個鮮明的例證。

Tay的設計初衷是在推特（Twitter）上進行隨意的對話，但卻被惡意行為者操縱，他們采用攻擊性和煽動性的信息轟炸Tay。這些攻擊者利用Tay的“跟我說”功能及其學習能力，有效地毒害了這種聊天機器人的訓練數據，使其鸚鵡學舌地模仿仇恨言論和歧視性言論。在上線幾個小時后，Tay的推文變得令人反感，以至于微軟被迫將其下線。這一事件為數據中毒的潛在后果敲響了警鐘，凸顯出必須采取強有力的防范措施，以防止對人工智能模型的惡意操縱。

緩解策略

• 穩健的數據驗證：實施嚴格的數據驗證技術（例如異常檢測算法），可以幫助識別和刪除可疑的數據點，以免它們污染訓練過程。
• 數據來源跟蹤：維護數據源和任何修改的詳細記錄可以幫助追蹤潛在中毒企圖的來源，并在必要時恢復到干凈的備份數據。
• 對抗性訓練：在訓練期間將人工智能模型暴露于各種潛在的攻擊場景中，可以增強其對數據中毒嘗試的抵御能力。
• 人工循環審查：定期審查模型輸出并尋求人工反饋可以幫助發現和糾正由數據中毒引起的任何意外偏差或錯誤。

2.利用人工智能模型中的漏洞

對抗性攻擊專門針對這些模型中的漏洞，旨在欺騙它們泄露敏感信息、執行意外操作或繞過安全措施。網絡攻擊者通過精心設計輸入來實現這一點，這些輸入利用了模型邏輯和決策過程中的弱點。

現實示例

考慮在以安全為重點的SaaS應用程序中用于身份驗證的面部識別軟件。惡意行為者可以創建對抗性圖像（例如具有難以察覺的變化的圖像），從而欺騙人工智能模型錯誤識別個體。Sharif等人在2024年發表的研究報告(https://arxiv.org/pdf/2404.17760)展示了如何通過添加幾乎不可見的眼鏡等細微元素來欺騙此類系統。這一漏洞可能導致未經授權的訪問和潛在的數據泄露。

另一個示例

在2018年的一項研究中，Eykholt等人(https://arxiv.org/abs/1707.08945)通過在停車標志中添加細微的擾動，暴露了自動駕駛汽車系統的漏洞，導致人工智能將其誤解為限速標志。這樣的攻擊可能會在現實世界中造成可怕的后果，凸顯了解決這些漏洞的迫切需要。

緩解策略

• 對抗性訓練：通過在訓練期間將人工智能模型暴露于各種對抗性示例中，開發人員可以增強其識別和抵抗此類攻擊的能力。這種“疫苗接種”方法可以顯著提高模型的魯棒性。
• 持續監測：對人工智能模型在現實場景中的表現進行持續監測至關重要。檢測異常或意外行為可以發出攻擊成功的信號，從而允許及時調查和緩解攻擊。
• 輸入驗證：實現健壯的輸入驗證技術可以在人工智能模型到達之前過濾掉潛在的有害或對抗性輸入。
• 防御層：采用多層防御，例如將基于人工智能的檢測與基于規則的系統相結合，可以創建更具彈性的安全框架。

3.訪問控制和數據泄漏

人工智能驅動的SaaS應用程序通常依賴于大量的用戶數據才能有效運行。然而，不充分的訪問控制或平臺內的漏洞可能會使這些敏感數據暴露給未經授權的訪問、盜竊或泄漏，從而對用戶隱私和安全構成重大威脅。

現實示例

想象一下，將人工智能營銷工具集成到SaaS平臺中。為了提供個性化的建議和見解，該工具可能需要訪問大量的客戶數據，包括購買歷史記錄、人口統計數據和瀏覽行為。如果訪問控制較弱或配置錯誤，網絡攻擊者可能會利用這些漏洞獲得對該數據的未經授權的訪問。這樣的漏洞可能導致身份盜竊，有針對性的網絡釣魚詐騙，甚至在暗網上出售這些數據。2017年發生的Equifax數據泄露事件泄露了數百萬美國人的個人信息，這清楚地提醒人們訪問控制不足的潛在后果。

另一個示例

2019年，根據歐盟的《通用數據保護條例》(GDPR)，谷歌公司由于為廣告個性化收集的用戶數據缺乏透明度和控制而被罰款5000萬歐元。這強調了健壯的訪問控制和以用戶為中心的數據管理實踐的重要性。

緩解策略

• 最小權限原則(PoLP)：實現PoLP確保用戶只被授予執行其特定任務所需的最低級別的訪問權限。如果網絡攻擊者破壞了用戶的憑據，這將最大限度地減少潛在的損害。
• 強身份驗證：采用多因素身份驗證(MFA)增加了額外的安全層，要求用戶提供多種形式的驗證來訪問敏感數據或功能。
• 數據加密：對靜態(存儲在服務器上)和傳輸(通過網絡傳輸)的數據進行加密，即使網絡攻擊者設法破壞系統，也很難破譯。
• 定期審計和監控：對訪問日志進行定期安全審計和持續監控，有助于在可疑活動或潛在漏洞被利用之前識別它們。
• 數據最小化：將用戶數據的收集和存儲限制在應用程序功能所必需的范圍內，以降低數據泄露的風險。

4.供應鏈攻擊

人工智能驅動的SaaS應用程序通常依賴于外部軟件組件、庫和依賴關系的復雜網絡。如果這些依賴關系被破壞，可能會成為攻擊者的切入點，使他們能夠滲透到SaaS平臺，操縱人工智能模型的行為，甚至訪問敏感的用戶數據。

現實示例

2020年SolarWinds公司遭受的網絡攻擊是供應鏈漏洞破壞性影響的一個令人不寒而栗的例子。在這次復雜的網絡攻擊活動中，攻擊者滲透到網絡管理軟件供應商SolarWinds系統中，并將惡意代碼注入其Orion平臺更新中。這些更新隨后在不知情的情況下分發給數千名SolarWinds客戶，其中包括政府機構和財富500強公司。

網絡攻擊者利用這種后門訪問來竊取敏感數據，安裝額外的惡意軟件，并在受損的網絡中橫向移動。幾個月來，這次攻擊一直未被發現，造成了廣泛的破壞，并引發了人們對軟件供應鏈安全的嚴重擔憂。這一事件凸顯了攻擊者利用可信軟件中的漏洞訪問龐大的互聯系統網絡的可能性，從而放大了漏洞的不良影響。

緩解策略

軟件物料清單(SBOM)：維護所有軟件組件的全面清單，包括它們的版本和依賴關系，使組織能夠在發現漏洞時快速識別和修補漏洞。

• 對第三方供應商進行嚴格的安全審計：對任何將其軟件集成到SaaS平臺中的第三方供應商進行徹底的安全評估至關重要。這有助于確保這些外部組件滿足與核心應用程序相同的安全標準。
• 依賴項掃描：利用自動化工具掃描依賴項中的已知漏洞，可以提供潛在風險的早期預警信號。
• 安全的軟件開發實踐：采用安全的編碼實踐遵守行業標準可以幫助降低引入軟件供應鏈的漏洞風險。
• 零信任架構：實現零信任安全模型，該模型假設沒有隱含信任，需要持續驗證，可以通過限制系統內的橫向移動來限制供應鏈攻擊的潛在損害。

5.模型漂移

現實世界的動態性對部署在SaaS應用程序中的人工智能模型提出了重大挑戰。隨著時間的推移，這些模型訓練的數據分布和模式可能會與現實世界的數據產生偏差。這種被稱為模型漂移的現象會削弱人工智能模型的準確性和有效性，可能會使理解這些差異的攻擊者利用它們進行攻擊。

現實示例

新冠疫情清楚地說明了模型漂移帶來的挑戰。2020年初，隨著新冠病毒在全球迅速傳播，消費者行為發生了巨大變化。恐慌性購買導致衛生紙和洗手液等必需品囤積，而封鎖導致在線快遞服務和家庭娛樂需求激增。這些突然的變化打亂了許多人工智能需求預測模型從歷史數據中學到的模式，導致其預測出現嚴重不準確。

例如，依靠人工智能來預測庫存水平的零售商發現，他們面臨著高需求商品的短缺和不受歡迎的產品的庫存過剩。同樣，使用人工智能進行欺詐檢測的金融機構也在努力適應新冠疫情之后出現的新的欺詐活動模式。這凸顯了持續監測和再培訓人工智能模型的重要性，以確保它們在面對意外中斷和不斷變化的現實世界條件時的相關性和準確性。

緩解策略

• 持續再訓練：使用新鮮的、有代表性的數據對人工智能模型進行定期再訓練，對于保持其準確性和相關性至關重要。通過結合最新的數據趨勢和模式，模型可以適應不斷變化的現實世界。
• 性能監控：采用強大的監控系統實時跟蹤模型的性能，以便及早發現精度下降或意外行為。這些信號可以觸發調查和潛在的再訓練，以減輕模型漂移。
• 概念漂移檢測：利用技術來明確識別底層數據分布的變化(概念漂移)，可以為模型更新和改進提供有價值的見解。
• 模型集成：利用在不同數據集上訓練具有不同優勢的多個人工智能模型，可以幫助彌補單個模型的弱點，并提高對漂移的整體彈性。

進一步閱讀

• NIST AI Risk Management Framework

原文標題：Security Challenges in AI-Powered Applications，作者：Mayank Singhi