ChatGPT 是一個人工智能驅動的原型聊天機器人，旨在幫助廣泛的用例，包括代碼開發和調試。它的主要吸引力之一是用戶能夠以對話方式與聊天機器人進行交互，并獲得從編寫軟件到理解復雜主題、撰寫論文和電子郵件、改善客戶服務以及測試不同業務或市場場景的所有幫助。但它也可以被用于更黑暗的目的。

自 OpenAI 發布 ChatGPT 以來，許多安全專家預測，網絡犯罪分子開始使用 AI 聊天機器人編寫惡意軟件并執行其他惡意活動只是時間問題。像所有新技術一樣，只要有足夠的時間和激勵，就會有人找到一種方法來利用它。僅僅幾周后，時間似乎已經到了。網絡犯罪分子已經開始使用OpenAI的人工智能聊天機器人ChatGPT來快速構建黑客工具。詐騙者還在測試ChatGPT構建其他聊天機器人的能力，旨在冒充年輕女性誘捕目標，

事實上，Check Point Research（CPR）的研究人員報告說，至少有三個黑帽黑客在地下論壇上展示了他們如何利用ChatGPT的人工智能智能進行惡意攻擊。

在一個記錄在案的例子中，以色列安全公司Check Point在一個很流行的地下黑客論壇上發現了一個黑客的帖子，發帖人說他正在試驗使用流行的人工智能聊天機器人來“重新創建惡意軟件”。

ChatGPT 允許用戶提出簡單的問題或建議，例如編寫追蹤來自托管服務提供商的電子郵件

黑客將由ChatGPT生成的 Android 惡意軟件壓縮后在網絡上傳播。據報道，該惡意軟件能夠竊取感興趣的文件。另一個黑客展示了另一種工具，該工具能夠在計算機上安裝了后門，并可能用更多惡意軟件感染電腦。

Check Point在對情況的評估中指出，一些黑客正在使用ChatGPT來創建他們的第一個腳本。在上述論壇中，另一位用戶分享了一段使用ChatGPT編寫的Python代碼，可以將受害者電腦上的文件加密。雖然這些代碼可以出于無害的原因使用，但Check Point表示，“ChatGPT生成的代碼可以在輕松修改后就能實現完全加密受害者電腦上的文件，而無需任何用戶交互。”。此外，還有黑客在地下論壇上發帖稱，他使用ChatGPT創建了一段代碼，該代碼使用第三方API來檢索最新的加密貨幣價格，該價格用于暗網市場支付系統。

這家安全公司強調，雖然ChatGPT編碼的黑客工具看起來“非常基礎”，但“更復雜的威脅行為者增強他們使用基于人工智能的工具的方式只是時間問題。”。美國網絡安全公司Forescout的安全情報副總裁Rik Ferguson表示，ChatGPT似乎還沒有能力編寫像近年來在重大黑客事件中看到的主要勒索軟件一樣復雜的東西，例如Conti，因其用于破壞愛爾蘭國家衛生系統而臭名昭著。然而，OpenAI的工具將通過構建更基本但同樣有效的惡意軟件來降低新手進入非法市場的門檻說。

網絡情報公司Hold Security的創始人亞歷克斯·霍爾登（Alex Holden）也表示，他看到約會詐騙者也開始使用ChatGPT，因為網絡犯罪分子試圖創造令人信服的角色。“他們正計劃創建聊天機器人，以冒充大多數女孩試圖實現自動化閑聊用于網絡詐騙。”

ChatGPT的開發人員已經實現了一些惡意請求過濾，可以防止AI構建間諜軟件的明顯請求。然而，在安全分析師發現使用ChatGPT后可以在沒有錯別字的情況下編寫語法正確的網絡釣魚電子郵件后，人工智能聊天框受到了更多的審查。

從編寫惡意軟件到創建暗網市場

在一個實例中，惡意軟件作者在其他網絡犯罪分子使用的論壇中披露了他如何試驗 ChatGPT，看看他是否可以重現已知的惡意軟件和技術。

攻擊者成功實現的一個例子是，這個人分享了他使用 ChatGPT 開發的基于 Python 的信息竊取程序的代碼，該竊取程序可以搜索、復制和泄露 12 種常見文件類型，例如來自受感染系統的 Office 文檔、PDF 和圖像。同一位惡意軟件作者還展示了他如何使用ChatGPT編寫Java代碼來下載PuTTY SSH和telnet客戶端，并通過PowerShell在系統上秘密運行它。

另一位威脅行為者發布了他使用聊天機器人生成的 Python 腳本，用于使用 Blowfish 和 Twofish 加密算法加密和解密數據。安全研究人員發現，盡管該代碼可以用于完全良性的目的，但威脅行為者可以輕松對其進行調整，使其無需任何用戶交互即可在系統上運行 - 在此過程中使其成為勒索軟件。與信息竊取者的作者不同，一些攻擊者的技術技能似乎非常有限，實際上聲稱他使用ChatGPT生成的Python腳本是他創建的第一個腳本。

在第三個實例中，安全研究人員發現一些網絡犯罪分子正在討論他如何使用ChatGPT創建一個完全自動化的暗網市場，用于交易被盜的銀行賬戶和支付卡數據，惡意軟件工具，毒品，彈藥和各種其他非法商品。

零門檻即可生成惡意軟件

自 OpenAI 發布 AI 工具以來，對威脅行為者濫用 ChatGPT 的擔憂一直很普遍，許多安全研究人員認為聊天機器人大大降低了編寫惡意軟件的門檻。

Check Point的威脅情報組經理Sergey Shykevich重申，使用ChatGPT，惡意行為者需要沒有編碼經驗來編寫惡意軟件：“你應該知道惡意軟件或任何程序應該具有什么功能。ChatGTP將為您編寫代碼，以執行所需的功能。因此，短期的擔憂肯定是ChatGPT允許低技能的網絡犯罪分子開發惡意軟件”Shykevich說。“從長遠來看，我認為更復雜的網絡犯罪分子也將采用ChatGPT來提高他們的活動效率，或者解決他們可能存在的不同差距。”。

“從攻擊者的角度來看，人工智能系統生成代碼的能力允許惡意行為者通過充當語言之間的翻譯器來輕松彌合他們可能遇到的任何技能差距。”Horizon3AI客戶成功經理Brad Hong補充道。這些工具提供了一種按需創建與攻擊者目標相關的代碼模板的方法，并減少了他們搜索Stack Overflow和Git等開發人員網站的需求。

甚至在發現威脅行為者濫用 ChatGPT 之前，Check Point 與其他一些安全供應商一樣，展示了對手如何在惡意活動中利用聊天機器人。在一篇博文中，安全供應商描述了其研究人員如何僅通過要求 ChatGPT 編寫一封似乎來自虛構網絡托管服務的電子郵件來創建聽起來非常合理的網絡釣魚電子郵件。研究人員還演示了他們如何讓ChatGPT編寫VBS代碼，他們可以粘貼到Excel工作簿中，以便從遠程URL下載可執行文件。

該測試的目的是演示攻擊者如何濫用 ChatGPT 等人工智能模型來創建完整的感染鏈，從最初的魚叉式網絡釣魚電子郵件到在受影響的系統上運行反向shell。

從目前的情況來看，ChatGPT 無法取代熟練的威脅行為者——至少現在還沒有。但安全研究人員表示，有很多證據已經表明ChatGPT確實有助于低技能黑客創建惡意軟件，這將持續引發公眾對網絡犯罪濫用該技術的擔憂。

繞過ChatGPT 的限制

一開始，一些安全研究人員認為 ChatGPT 用戶界面中的限制很弱，并發現威脅行為者可以輕松繞過障礙。從那以后，Shykevich表示，OpenAI一直在努力改善聊天機器人的限制。

“我們看到對ChatGPT用戶界面的限制每周都高得多。因此，現在使用ChatGPT進行惡意或濫用活動更加困難，“他說。

但是網絡犯罪分子仍然可以通過使用和避免某些允許用戶繞過限制的單詞或短語來濫用該程序。NCC集團商業研究總監馬特·劉易斯（Matt Lewis）將與在線模型的互動稱為一種涉及計算的“藝術形式”。

“如果你避免使用惡意軟件這個詞，只是要求它向你展示加密文件的代碼示例，根據惡意軟件的設計原理，這就是它將要做的事情，”劉易斯說。“它有一種喜歡被指示的方式，有一些有趣的方法可以讓它以多種不同的方式做你想讓它做的事情。”

在關于相關主題的一次演示中，Lewis 展示了ChatGPT 將如何“編寫加密腳本”，盡管該腳本沒有達到完整的勒索軟件，但仍可能很危險。“這將是一個很難解決的問題，”劉易斯談到繞過時說，并補充說，對于OpenAI來說，上下文和意圖的監管語言將非常困難。

更復雜的是，Check Point研究人員觀察到威脅行為者使用帶有GPT-3模型 API 的Telegram機器人，稱為text-davinci-003，而不是ChatGPT，以覆蓋聊天機器人的限制。

ChatGPT只是OpenAI模型的用戶界面。開發人員可以使用這些模型將后端模型與自己的應用程序集成。用戶通過不受限制保護的 API 使用這些模型。

“從我們所看到的情況來看，OpenAI在ChatGPT界面上設置的障礙和限制對于那些通過API使用這些模型的人并不適用。”Shykevich說。

威脅參與者還可以通過精確地向聊天機器人提示來躲避限制。自ChatGPT推出以來，CyberArk已經對其進行了測試，并發現了限制中的盲點。通過反復堅持和要求，它將提供所需的編碼產品。CyberArk研究人員還報告說，通過不斷詢問ChatGPT并每次渲染一段新代碼，用戶可以創建具備高度躲避檢測的多態惡意軟件。

多態病毒可能非常危險。已經有在線工具和框架可以生成這種病毒。ChatGPT 創建代碼的能力對不熟練的編碼人員和腳本小子三最有益的。

就攻擊者而言，這不是一項新的能力......它也不是生成惡意軟件變種的特別有效的方法，目前已經有更好的工具。ChatGPT 可能是一個新的工具而已，因為它允許技能較低的攻擊者生成可能危險的代碼。

讓網絡犯罪分子更難

OpenAI和其他類似工具的開發人員已經安裝了過濾器和控件，并不斷改進它們 ，試圖限制對其技術的濫用。至少就目前而言，人工智能工具仍然出現故障，并且容易出現許多研究人員所描述的完全錯誤，這可能會阻止一些惡意努力。即便如此，許多人預測，從長遠來看，濫用這些技術的可能性仍然很大。

Shykevich 說，為了使犯罪分子更難濫用這些技術，開發人員需要訓練和改進他們的人工智能引擎，以識別可能以惡意方式使用的請求。他說，另一種選擇是實現身份驗證和授權要求，才能使用OpenAI引擎。他指出，即使是類似于在線金融機構和支付系統目前使用的東西也足夠了。

至于防止犯罪使用ChatGPT，Shykevich 還表示，最終，“不幸的是，必須通過監管來執行。”OpenAI 已經實施了一些控制措施，防止了ChatGPT構建帶有違反政策警告的間諜軟件的明顯請求，盡管黑客和記者已經找到了繞過這些保護措施的方法。Shykevich還說，像OpenAI這樣的公司可能不得不在法律上被迫訓練他們的AI來檢測這種濫用行為。

本文翻譯自：https://www.techtarget.com/searchsecurity/news/365531559/How-hackers-can-abuse-ChatGPT-to-create-malware