即便沒有ChatGPT和生成式AI的火爆應用，人工智能（AI）技術的應用安全威脅都已經開始顯現。安全研究人員表示，在AI技術快速應用發展過程中，其安全性也面臨諸多挑戰。為了防范AI技術大規模應用的安全風險，企業需要打贏一場“雙線戰爭”，不僅需要能夠阻止對抗性AI攻擊對已部署的AI模型所構成的威脅，而且還要面對攻擊者利用AI技術發起各種類型的新攻擊。

1. AI投毒攻擊

攻擊者可以操縱（毒化）AI模型的一小部分輸入數據，以破壞其訓練數據集和準確性。最常見的投毒形式是后門投毒，即使極少一部分訓練數據受到影響。在很長時間里，AI模型仍然可以繼續給出高度準確的結果，直到它在接觸特定的觸發器時被“激活”而功能失靈。“AI模型投毒”會嚴重威脅到AI應用的完整性和安全性。因此，大型語言模型（LLM）需要接受風險和安全研究人員的嚴格審查，以探索反饋循環和AI偏見等問題如何使AI輸出不可靠。

2. 武器化的AI模型

AI技術的研究與創新需要高度的團隊協作和迭代開發，因此會涉及大量的共享，包括數據共享和模型共享，這可能會給AI供應鏈帶來重大風險。研究人員最新發現了一種AI攻擊的新模式，攻擊者首先劫持了公共代碼庫上的合法AI模型，再將惡意代碼嵌入到這些預訓練的AI模型中，對其進行惡意制作，一旦用戶重新加載了這些被修改的AI模型，攻擊者就可以實施勒索攻擊等非法活動。

3. 數據隱私攻擊

圍繞AI的一些最大風險實際上是數據安全和數據隱私威脅。如果AI模型沒有建立足夠的隱私措施，攻擊者就有可能破壞用于訓練這些模型數據的機密性。對于個人來說，了解企業如何使用人工智能、人工智能的功能及其對數據的影響將變得非常重要。同樣地，攻擊者可能會試圖使用惡意軟件竊取包含信用卡號碼或社會安全號碼等個人信息的敏感數據集。企業組織必須定期進行安全審計，并在人工智能開發的所有階段實施強有力的數據保護實踐。隱私風險可能發生在數據生命周期的任何階段，因此為所有利益相關者制定統一的隱私安全策略非常重要。

4. 模型竊取攻擊

攻擊者從AI技術的應用部署中竊取的不僅僅是數據，還可以通過各種類型的攻擊手段破解AI模型的運行原理。當然，攻擊者可能采取的最直接方法，就是通過網絡釣魚或密碼攻擊侵入源代碼存儲庫，直接竊取AI模型的實現代碼。此外，研究人員也探索了可能被攻擊者使用的AI模型提取攻擊，在這種攻擊方式中，攻擊者會通過反復測試模型的輸入和輸出，來觀察模型的反應，并總結AI模型的數據分析行為和處理方式。

5. 海綿攻擊

在不久前舉辦的RSAC大會上，特別討論了未來幾年企業組織要重點關注的AI風險和彈性問題。其中，研究人員提出了一種名為“海綿攻擊”（Sponge Attack）的新型AI攻擊。在這種攻擊類型中，攻擊者可以通過特別制作的惡意數據輸入來耗盡AI模型的計算資源，從而對AI模型實施拒絕服務（DoS）攻擊。攻擊者會首先在神經網絡中獲取AI模型的運行參數，然后利用這些參數讓模型進行大量的計算，直至使AI系統癱瘓。

6. 提示注入

在軟件開發者領域，有一句格言是“永遠不要相信用戶輸入”。否則的話，可能會引發SQL注入和跨站點腳本等攻擊。隨著生成式AI的盛行，組織也將不得不擔心提示注入問題。提示注入是指在生成式AI中使用惡意制作的輸入，以誘導出不正確、不準確甚至具有破壞性的模型反應。當開發人員將ChatGPT和其他大型語言模型（LLM）整合到他們的應用程序中時，這些惡意的提示就會被AI模型處理，并觸發一些不安全的行為動作，比如向網站發布欺詐內容，或者制作可能包含非法的或煽動性信息的電子郵件。

7. 逃逸攻擊

逃逸攻擊（Evasion attack）是目前最典型的對抗性AI攻擊之一，攻擊者會在不改變目標機器學習系統的情況下，通過構造特定輸入樣本以完成欺騙目標系統的攻擊。例如，攻擊者可以修改一個惡意軟件樣本的非關鍵特征，使得它被一個反病毒系統判定為良性樣本，從而繞過檢測。攻擊者為實施逃逸攻擊而特意構造的樣本通常被稱為“對抗樣本”。只要一個AI模型在判別機制方面存在不足，攻擊者就有可能構造對抗樣本用以欺騙AI模型。

8. AI生成的網絡釣魚

惡意行為者不僅會繼續探索AI的缺陷，同時也在利用AI技術來提升現有攻擊手段的有效性。研究人員發現，攻擊者大量使用像ChatGPT這樣的生成式AI技術來自動創建網絡釣魚電子郵件。研究數據顯示，自從ChatGPT正式發布以來，網絡釣魚攻擊的數量和成功率都有所增加。這一攻擊方式已被網絡安全研究與培訓機構SANS列為“2023年最危險的5大網絡攻擊”。

9. Deepfake BEC騙局

ChatGPT的橫空出世，將深度偽造攻擊威脅從理論研究轉變到實際攻擊中。盡管模仿公司高級管理人員的欺詐行為目前還并不常見，但它們已被真實的應用到BEC欺詐中。組織應該努力提高安全意識，幫助所有員工了解語音和視頻等AI生成的數字化內容比以往任何時候都更容易和真實，這會使得冒充CEO或其他高管變得非常容易，加劇了本已在增長的BEC威脅。

10. AI生成的惡意軟件

安全研究人員發現，今天的攻擊者開始越來越多地依靠生成式AI能來幫助他們制作惡意軟件，并快速發現目標系統中的漏洞，從而加速和擴大攻擊規模，甚至比他們使用其他自動化技術所做的還要多。這也是SANS列舉的“2023年最危險的5大網絡攻擊”中的另一大威脅。在RSAC 2023大會上，SANS漏洞研究人員Steven Sims展示了即使是非專業性的犯罪分子也開始嘗試利用ChatGPT生成勒索軟件代碼，并已經在特定代碼段中發現了由ChatGPT自動生成的零日漏洞。

參考鏈接：https://www.darkreading.com/threat-intelligence/10-types-of-ai-attacks-cisos-should-track