如今，人工智能技術的迅猛發展給各個領域都帶來了前所未有的變革和進步。其中當屬2023年上半年的“頂流選手”——生成式AI和ChatGPT了。

ChatGPT的火爆出圈，讓人們看到了AI驚艷表現的光彩一面，但同時黑暗的一面也正在暗自發力，野蠻生長。

AI技術不僅可用于維護網絡安全，還可能為有心之人用以AI網絡攻擊。AI網絡攻擊引發了人們對隱私、安全和倫理問題的日益關注。AI攻擊不僅僅是黑客利用AI技術進行犯罪活動，還包括其他潛在的威脅，如誤導性信息、社會工程等。

下面我們來盤點一下，目前最火熱的十大AI新型網絡攻擊方式。

AI投毒攻擊

在加速傳統數據安全問題的同時，人工智能大規模的運用使得過度采集數據安全問題進一步加劇，甚至產生“數據投毒”等新型數據安全問題。

一般來說，AI投毒指的是攻擊者通過在訓練數據中加入精心構造的異常數據，破壞原有的訓練數據概率分布，導致模型在某些條件下產生分類或聚類錯誤，以破壞其訓練數據集和準確性。

其中，最常見的投毒形式是后門投毒，即使極少一部分訓練數據受到影響。在很長時間里，AI模型仍然可以繼續給出高度準確的結果，直到它在接觸特定的觸發器時被“激活”而功能失靈。

適應場景

由于數據投毒攻擊需要攻擊者接觸訓練數據，通常針對在線學習場景或者需要定期重新訓練進行模型更新的系統，這類攻擊比較有效，典型場景如推薦系統、自適應生物識別系統、垃圾郵件檢測系統等數據投毒攻擊流程可以分為三個階段：

1.根據被攻擊模型的輸出特征，選擇替代的訓練集，訓練在同樣的輸入下，具有相同輸出的模型。例如對貓狗類別的分類。

2.初始化惡意樣本集(無論來源)，使用梯度更新(根據需要構建損失函數，例如梯度上升策略)惡意樣本，直至達到理想效果。

3.將惡意樣本集投入被攻擊模型的訓練集

“AI模型投毒”會嚴重威脅到AI應用的完整性和安全性。因此，大型語言模型（LLM）需要接受風險和安全研究人員的嚴格審查，以探索反饋循環和AI偏見等問題如何使AI輸出不可靠。

AI生成惡意軟件

在網絡安全領域，威脅行為者手中的人工智能的潛在威脅不斷敲響警鐘。特別是如今利用AI工具創建惡意軟件已經成為現實。

研究人員發現，利用生成式AI可以幫助黑客制作惡意軟件，并快速發現目標系統中的漏洞，從而加速和擴大攻擊規模，甚至比他們使用其他自動化技術所做的還要多。

這也是SANS列舉的“2023年最危險的5大網絡攻擊”中的另一大威脅。在RSAC 2023大會上，SANS漏洞研究人員Steven Sims展示了即使是非專業性的犯罪分子也開始嘗試利用ChatGPT生成勒索軟件代碼，并已經在特定代碼段中發現了由ChatGPT自動生成的零日漏洞。

AI數據隱私攻擊

在AI應用中，數據隱私和信息安全是首要關注的問題之一。隨著大規模數據的收集和存儲，個人信息的泄露和黑客攻擊的風險也日益增加。數據偏見和算法不公平性可能導致不公正的決策和影響，因此AI算法中的偏見和歧視問題引發了廣泛關注。

同時，社交工程和欺詐行為也成為AI應用中的挑戰，虛假信息和網絡欺詐的增加對社會產生了負面影響。

如果AI模型沒有建立足夠的隱私措施，攻擊者就有可能破壞用于訓練這些模型數據的機密性。那么對于個人來說，了解企業如何使用人工智能及其對數據的影響將變得非常重要。同時，攻擊者可能還會試圖使用惡意軟件竊取包含信用卡號碼或社會安全號碼等個人信息的敏感數據集。隱私風險可能發生在數據生命周期的任何階段，因此為所有利益相關者制定統一的隱私安全策略非常重要。

武器化模型

武器化模型指的是將人工智能模型或機器學習模型應用于惡意目的或攻擊性行為的過程。通常情況下，這種行為是非法且具有破壞性的，旨在侵犯隱私、破壞系統、欺騙用戶或其他惡意活動。

武器化模型可以被用于各種攻擊場景，如網絡攻擊、隱私侵犯、社交工程等。

在釣魚攻擊中，可使用自然語言處理模型生成欺騙性的電子郵件或社交媒體消息，以誘騙用戶提供個人信息或執行惡意操作。

在使用機器學習模型欺詐對抗其他系統的檢測機制，例如在金融交易中規避反欺詐系統。以及在使用機器學習模型對惡意軟件進行分類和識別，以侵入系統、竊取信息或造成損害。

此外，此種方式還多用于自動化網絡攻擊，比如使用機器學習和自適應算法自動查找和利用系統或應用程序的漏洞來進行攻擊，如自動化漏洞掃描和利用。

武器化模型還常用于假新聞和虛假信息傳播，通過利用自然語言處理模型生成虛假的新聞文章、社交媒體帖子或評論，以操縱輿論或引發混亂。

武器化模型的存在引發了對人工智能和機器學習技術合理使用的關注。為了應對這種威脅，研究人員和業界應從加強安全性分析、加強監管控制和提高用戶意識等方面入手，以降低武器化模型的風險和濫用。

海綿攻擊

2023年RSAC會議有一個專家小組討論了CISO將在未來幾年面對的即將到來的AI風險和彈性問題。討論最引人矚目的一個話題是一種新興攻擊——海綿攻擊。

在海綿攻擊中，攻擊者通過針對海綿結構的弱點來破壞其安全性。攻擊的目標是從給定的輸入中生成具有特定性質的輸出。攻擊者通過選擇恰當的輸入數據和進行特定的修改來實現這一目標，以及通過觀察輸出數據的反饋信息來指導修改進程。

在這種攻擊類型中，對手可通過特制輸入來消耗模型的硬件資源，從而對AI模型進行拒絕服務攻擊。

CalypsoAI的首席執行官Neil Serebryany稱，該攻擊試圖讓神經網絡使用更多的計算，以達到可能超過系統可用計算資源的程度，并導致系統崩潰。

AI大模型竊取攻擊

AI大模型竊取攻擊是一種針對人工智能領域的安全威脅，攻擊者試圖通過獲取訓練好的大型AI模型的權重和參數來獲取模型的知識和能力，而不必從頭開始訓練自己的模型。

這種攻擊主要基于兩種主要方式進行：

• 模型抽取攻擊：攻擊者可以通過訪問目標模型的接口或者黑盒攻擊的方式，將一些輸入數據提供給模型，并收集模型的輸出結果。通過收集大量的輸入-輸出對，可以逐漸恢復出模型的結構、權重和參數信息，最終獲得與原模型相似的模型。
• 模型復制攻擊：攻擊者可以獲取到目標模型的訓練數據集或者中間結果，然后使用這些數據重新訓練一個與原模型相似的模型。這種攻擊方式通常需要大量的計算資源和時間，但可以在一定程度上復制出原有模型的功能和性能。

攻擊者從AI技術的應用部署中竊取的不僅僅是數據，還可以通過各種類型的攻擊手段破解AI模型的運行原理。AI大模型竊取攻擊可以讓攻擊者獲得模型的知識和能力，包括模型所學習到的數據特征和模式。這可能造成原模型的商業機密的泄露，也可能導致在競爭中失去技術優勢。

此外，如果攻擊者能夠獲取到一個公司或組織的核心AI模型，他們可以利用此模型在競爭市場中獲得不公平的優勢，或者濫用模型造成惡意行為從而導致該組織競爭優勢被削弱。

為了防止AI大模型竊取攻擊，開發人員和研究人員可以采取一些安全措施，包括但不限于加密訓練數據和模型權重、限制訪問模型接口、使用模型水印技術等。此外，研究者還在探索更為安全的AI模型設計和訓練方法，以降低模型竊取的風險。

AI技術的研究與創新需要高度的團隊協作和迭代開發，因此會涉及大量的共享，包括數據共享和模型共享，這可能會給AI供應鏈帶來重大風險。研究人員最新發現了一種AI攻擊的新模式，攻擊者首先劫持了公共代碼庫上的合法AI模型，再將惡意代碼嵌入到這些預訓練的AI模型中，對其進行惡意制作，一旦用戶重新加載了這些被修改的AI模型，攻擊者就可以實施勒索攻擊等非法活動。

提示注入攻擊：

提示注入（Prompt injection，Pi）攻擊是AIGC大語言模型引發內容安全、數據安全及其他風險的重要誘因之一。

提示注入是一種新型漏洞，它會影響某些AI/ML模型。本質上是通過訓練聽從人類指令的機器學習模型，來遵循惡意用戶提供的指令，從而突破模型本身實施的內容生產規則限制，也就是劫持模型輸出的過程。

當開發人員將ChatGPT和其他大型語言模型（LLM）整合到他們的應用程序中時，這些惡意的提示就會被AI模型處理，并觸發一些不安全的行為動作，比如向網站發布欺詐內容，或者制作可能包含非法的或煽動性信息的電子郵件。

逃逸攻擊

逃逸攻擊（Evasion attack）是目前最典型的對抗性AI攻擊之一。攻擊者試圖從受限的環境中逃離，獲得更高的權限或更廣泛的訪問權限，從而獲取敏感信息或執行未經授權的操作。

攻擊者為實施逃逸攻擊而特意構造的樣本通常被稱為“對抗樣本。只要一個AI模型在判別機制方面存在不足，攻擊者就有可能構造對抗樣本用以欺騙AI模型。

研究者一直試圖在計算機上模仿人類視覺功能，但由于人類視覺機理過于復雜，兩個系統在判別物體時依賴的規則存在一定差異。

這種逃逸攻擊可以發生在各種系統和應用程序中，包括操作系統、虛擬化平臺、容器、瀏覽器和移動設備等。攻擊者利用系統中的漏洞、錯誤配置或缺陷的控制機制，通過注入惡意代碼、提權、繞過安全限制等方式，成功將自己從一個受限環境“逃離”，獲取對系統或其他資源的完全控制權限。

逃逸攻擊的危害性非常高，因為攻擊者取得了更高的權限，可以繞過各種安全機制和訪問限制。一旦攻擊者逃逸成功，他們可能可以執行惡意操作，如訪問敏感數據、篡改系統配置、攔截通信、安裝惡意軟件等，從而對系統和用戶造成嚴重的損害。

人工智能生成的網絡釣魚和BEC誘餌

人工智能生成的網絡釣魚和BEC（商業電子郵件欺詐）誘餌指的就是利用人工智能技術生成的虛假電子郵件、信息或其他通信形式，然后偽裝成信譽良好的機構、公司、服務提供商或個人，誘使用戶相信其真實性，并通過點擊鏈接、下載附件、提供敏感信息、填寫表單等方式欺騙員工來獲取機密業務信息、敏感財務數據、進行非法轉賬等行為。

由于冒充者使用了高度逼真的欺騙手法，使得員工很難發覺欺騙，并誤以為這些請求是合法和合理的。

人工智能技術的應用使得網絡釣魚和BEC誘餌的攻擊更具迷惑性和隱蔽性，使用戶更難辨別真偽。

這種由AI生成的網絡釣魚和BEC誘餌往往具備以下“優勢”：

• 無語法錯誤：生成式人工智能技術生成的郵件一般沒有語法錯誤，看起來像是合法的，減少了被標記為垃圾郵件的可能性。
• 降低準入門檻：使用生成式人工智能技術降低了發起復雜BEC攻擊的準入門檻。即使攻擊者能力不足也可以使用生成式人工智能技術生成垃圾郵件，并發起攻擊。

針對此攻擊方式，企業需加強員工教育、實施有效的安全控制和監測，以及建立內部報告機制是防范BEC誘餌攻擊的關鍵措施。

Deepfake 深度偽造騙局

Deepfake是一種將個人的聲音、面部表情及身體動作拼接合成虛假內容的人工智能技術。主要是將生成式對抗網絡的機器學習模型將圖片或視頻合并疊加到源圖片或視頻上，借助神經網絡技術進行大樣本學習從而實現偽造的目的。

深度偽造最常見方式是AI換臉技術，此外還包括語音模擬、人臉合成、視頻生成等。它的出現使得篡改或生成高度逼真且難以甄別的音視頻內容成為可能，觀察者最終無法通過肉眼明辨真偽。

如今，ChatGPT已經將deepfake（深度偽造）攻擊從理論變成了現實威脅。

如果不法分子借助這種深度偽造技術，對企業或個人進行攻擊，不僅會威脅國家安全和公共安全，還可能借此散布虛假視頻，激化社會矛盾，煽動暴力和恐怖行動，也可能用于干擾競爭國家的情報機構，甚至因此設定限制其行動范圍的條件。同時，該技術也讓視頻換臉技術門檻降低，別有用心之人利用深度偽造技術可以輕易綁架或盜用他人身份，甚至可以說深度偽造技術有可能成為實施色情報復、商業詆毀、敲詐勒索、網絡攻擊和犯罪等非法行為的新工具。

結語

如今，AI帶來的威脅已經是“兵臨城下”。隨著人工智能的應用范圍不斷擴大，新型攻擊技術正在不斷涌現。AI新型攻擊給個人、企業和整個社會帶來了巨大的風險和危害。

一方面，AI可以成為網絡可見性、異常檢測和威脅自動化的有力工具。另一方面，AI也可以是黑客闖入系統竊取數據的邪惡力量。

對于網絡安全的攻防博弈來說，AI既是“天使”，也是“惡魔”，究竟如何張弛有度地把控AI至關重要。

AI與網絡安全本就是兩個緊密相關且互相影響的領域。通過使用AI技術，可以提升網絡安全水平，保護數據和設備不受攻擊或破壞；但同時也要注意AI本身所帶來的一些挑戰和風險，并采取相應的措施來應對。

AI的發展給我們帶來了前所未有的可能性，但也需要人們保持警惕，認識到技術本身的局限性，只有綜合運用技術、法律、教育等多種手段，才能夠構建一個安全可靠的網絡環境。