2024 年是人工智能 (AI) 輝煌的一年。然而，隨著企業加大采用力度，惡意行為者一直在探索利用智能攻擊破壞系統的新方法。

隨著人工智能領域的快速發展，在前進之前，值得回顧一下。以下是我們 2024 年的五大人工智能安全故事。

你現在能聽到我的聲音嗎？黑客利用人工智能劫持音頻

攻擊者可以使用大型語言模型(LLM)、語音克隆和語音轉文本軟件偽造整個對話。但是，這種方法相對容易被發現，因此 IBM X-Force 的研究人員進行了一項實驗，以確定是否可以實時捕獲和替換對話的某些部分。

他們發現這不僅是可能的，而且相對容易實現。在實驗中，他們使用了關鍵字“銀行賬戶”——每當演講者說銀行賬戶時，法學碩士就會被指示用假的銀行賬戶號碼替換所述的銀行賬戶號碼。

人工智能的有限使用使得這種技術很難被發現，為攻擊者提供了一種不被發現的竊取關鍵數據的方法。

瘋狂時刻：新安全工具可在 60 秒內檢測到 AI 攻擊

降低勒索軟件風險仍然是企業 IT 團隊的首要任務。然而，生成式人工智能 (gen AI)和 LLM 使這一任務變得困難，因為攻擊者使用生成式解決方案來制作網絡釣魚電子郵件，并使用 LLM 來執行基本的腳本任務。

新的安全工具，例如基于云的 AI 安全和 IBM 的 FlashCore 模塊，提供 AI 增強檢測，可幫助安全團隊在不到 60 秒的時間內檢測到潛在攻擊。

保護途徑——繪制人工智能攻擊的影響圖

研究發現，84% 的首席執行官擔心與人工智能相關的大規模或災難性攻擊。

為了幫助保護網絡、軟件和其他數字資產的安全，公司必須了解人工智能攻擊的潛在影響，包括：

• 提示注入：攻擊者創建惡意輸入，覆蓋系統規則來執行非預期的操作。
• 數據中毒：對手篡改訓練數據以引入漏洞或改變模型行為。
• 模型提取：惡意行為者研究 AI 模型的輸入和操作，然后嘗試復制它，從而使企業 IP 面臨風險。

ChatGPT 4 快速破解一日漏洞

壞消息是什么？在一項使用 15 個一日漏洞的研究中，安全研究人員發現 ChatGPT 4 可以在 87% 的時間內正確利用它們。一日漏洞包括易受攻擊的網站、容器管理軟件工具和 Python 包。

更好的消息是？當 LLM 可以訪問CVE描述時， ChatGPT 4 攻擊的效果要好得多。如果沒有這些數據，攻擊效果將下降到只有 7%。還值得注意的是，即使有 CVE 數據，其他 LLM 和開源漏洞掃描程序也無法利用任何一日問題。

NIST 報告：人工智能容易遭受注入式黑客攻擊

NIST 最近的一份報告《對抗性機器學習：攻擊和緩解的分類和術語》發現，快速注入對大型語言模型構成了嚴重風險。

提示注入有兩種類型：直接和間接。在直接攻擊中，網絡犯罪分子會輸入導致意外或未經授權的操作的文本提示。一種流行的提示注入方法是 DAN，即“立即執行任何操作”。DAN 要求 AI 通過告訴 ChatGPT 模型他們現在是 DAN 來進行“角色扮演”，DAN 可以做任何事情，包括進行犯罪活動。DAN 現在至少是 12.0 版本。

與此同時，間接攻擊則側重于提供受損的源數據。攻擊者創建 PDF、網頁或音頻文件，這些文件被 LLM 提取，進而改變 AI 輸出。由于 AI 模型依賴于持續提取和評估數據來改進，間接即時注入通常被認為是 gen AI 最大的安全漏洞，因為沒有簡單的方法來發現和修復這些攻擊。

人工智能成為焦點

隨著人工智能成為主流，2024 年安全問題顯著上升。隨著新一代人工智能和法學碩士繼續以驚人的速度發展，2025 年將出現更多類似的情況，尤其是隨著企業采用率不斷上升。

結果如何？現在，企業比以往任何時候都更需要關注人工智能解決方案，并密切關注最新的智能安全新聞。