ChatGPT 自去年年底發布以來，在全球范圍都引起了轟動。但 ChatGPT 在消費者和 IT 專業人士中的受歡迎程度同時也激起了系統漏洞被利用的網絡安全噩夢。網絡安全專家已經證明，問題的關鍵點在于 ChatGPT 和其他大型語言模型（LLM）生成多態或變異代碼以規避端點檢測和響應(EDR)系統的能力。

最近的一系列概念驗證攻擊展示了如何創建一個看似良性的可執行文件，以便在運行時，它能對 ChatGPT 進行 API 調用。除了復制已經編寫的代碼片段的示例，ChatGPT 還可以在提示下生成惡意代碼的動態、變異版本，從而使網絡安全工具難以檢測到由此產生的漏洞利用。

“ChatGPT 降低了黑客的標準，使用 AI 模型的惡意行為者可被視為現代的‘腳本小子’。”網絡安全公司 GitGuardian 的開發人員 Mackenzie Jackson 表示，“ChatGPT 被欺騙生產惡意軟件并不算具有開創性，但隨著模型變得更好，更多的樣本數據被消耗以及不同的產品進入市場，人工智能最終創建出的惡意軟件，可能只能被其他用于防御的人工智能系統檢測到。誰也不知道這場比賽哪一方會贏。”

提示繞過過濾器以創建惡意代碼

ChatGPT 和其他 LLM 具有內容過濾器，可以禁止它們服從一些命令或者提示生成有害內容，例如惡意代碼。但是內容過濾器可以被繞過。

幾乎所有被報道的通過 ChatGPT 完成的漏洞利用都是通過所謂的“提示工程”實現的，即修改輸入提示以繞過工具的內容過濾器并檢索所需輸出的做法。例如，早期用戶發現，他們可以讓 ChatGPT 創建它不應該創建的內容——通過“越獄”程序，即在提示框創建假定情景，例如在要求它做某事時，假設它不是人工智能，而是一個意圖造成傷害的惡意人員。

“ChatGPT 對系統制定了一些限制，例如過濾器限制了 ChatGPT 通過評估問題上下文提供答案的范圍，”專注于 Kubernetes 的網絡安全公司 KSOC 的安全研究主管 Andrew Josephides 說，“如果你要求 ChatGPT 給你寫一個惡意代碼，它會拒絕這個請求。如果你要求 ChatGPT 編寫能夠有效執行你打算實現的惡意功能的代碼，ChatGPT 可能會為你構建該代碼。”

Josephides 認為，每次更新，ChatGPT 都變得更加難以成為惡意軟件，但隨著不同的模型和產品進入市場，要防止 LLM 被用于惡意目的，我們不能只依靠內容過濾器。

誘使 ChatGPT 利用它被過濾器封閉的能力可能會為一些用戶生成有效的惡意代碼。并且運用 ChatGPT 修改和微調結果還可以使代碼呈現多態性。

例如，一個看起來無害的 Python 可執行文件可以生成一個查詢發送到 ChatGPT API，以便在每次運行該可執行文件時處理不同版本的惡意代碼。這樣，惡意操作就會在 exec ()函數之外執行。這項技術如果用來生成一個變異、多態的惡意軟件程序，將難以被威脅掃描儀檢測到。

多態惡意軟件的現有概念證明

今年早些時候，威脅檢測公司 HYAS InfoSec 的首席安全工程師Jeff Sims 發表了一份概念驗證白皮書，為這種漏洞提供了一個工作模型。他演示了如何在運行時使用提示工程和查詢 ChatGPT API 來構建多態鍵盤記錄器有效負載，稱之為 BlackMamba。

實際上，BlackMamba 是一個 Python 可執行文件，它提示 ChatGPT 的 API 構建一個惡意的鍵盤記錄器，該鍵盤記錄器在運行時使每個調用進行變異，使其具有多態性，并規避端點和響應(EDR)過濾器。

“Python 的 exec（）函數是一個內置功能，允許你在運行時動態執行Python 代碼，”Sims 說，“它獲取一個字符串，其中包含要作為輸入執行的代碼，然后執行該代碼。Exec ()函數通常用于動態修改程序，這意味著可以通過在程序運行時執行新代碼來改變運行程序的行為。”

在BlackMamba 的背景下，“在產生生成響應時，多態性的上限受到提示工程師的創造力（輸入的創造力）和模型訓練數據的質量的限制。”Sims 說。

在BlackMamba 概念驗證中，在收集擊鍵后，數據通過 web hook（一種基于 HTTP 的回調函數，允許 API 之間進行事件驅動的通信）提取到微軟團隊的一個頻道。據西姆斯說，BlackMamba 多次回避了一個“行業領先”的 EDR 應用程序。

網絡安全公司 CyberArk 的 Eran Shimony 和 Omer Tsarfati 創建了一個單獨的概念驗證程序，在惡意軟件中使用了 ChatGPT。該惡意軟件包括“一個 Python 解釋器，它定期查詢 ChatGPT，尋找執行惡意行為的新模塊，”Shimony 和 Tsarfati 在一篇解釋概念驗證的博客中寫道。“通過從 ChatGPT 請求特定功能，如代碼注入、文件加密或持久性，我們可以很容易地獲得新代碼或修改現有代碼。”

與黑曼巴不同，ChattyCat 并不是針對特定類型的惡意軟件，但它提供了一個模板來構建各種各樣的惡意軟件，包括勒索軟件和信息竊取程序。

“我們的POC，ChattyCaty，是一個開源項目，演示了使用 GPT 模型創建多態程序的基礎設施，”Tsarfati 說，“多態性可用于逃避防病毒/惡意軟件程序的檢測。”

Shimony 和 Tsarfati 還發現，與最初的在線版本相比，ChatGPT API 中的內容過濾器似乎更弱了。

“有趣的是，在使用API 時，ChatGPT系統似乎沒有利用其內容過濾器。目前還不清楚為什么會這樣，但它使我們的任務變得更加容易，因為網絡版本往往會陷入更復雜的請求。”Shimony 和 Tsarfati 在他們的博客中寫道。

監管 AI 以提高安全性

盡管世界各國政府都在努力解決如何監管人工智能以防止傷害的問題，但中國是迄今為止唯一頒布新規定的大國。專家們提出了不同的方法來控制生成性人工智能的潛在危害。

“目前控制人工智能問題的解決方案似乎是‘增加更多人工智能’，我認為這可能不現實，”Forrester 分析師Jeff Pollard說。“為了真正為這些解決方案添加正確的控制層，我們需要更好地解釋和觀察系統中的上下文。這些應該與 API 相結合，用于提供有意義的細節，并提供目前似乎不存在的管理能力。”

然而，監管生成人工智能將是困難的，因為技術行業仍處于了解其能力的初級階段，分析師和咨詢公司 Enterprise Management Associate 的研究總監 Chris Steffen 認為。

“監管的前景并不樂觀。原因是 ChatGPT 是擁有無窮無盡可能性的事物，想要為 GPT 實例可能涵蓋的所有情況做好準備將是非常困難的，”Steffen 說。“特別是在以下領域將會更加困難：如何監管，使用的流程以及責任的歸屬。”

作者：Shweta Sharma

原文鏈接：ChatGPT creates mutating malware that evades detection by EDR | CSO Online