隨著社會進入人工智能時代，機器幾乎滲透到生活的方方面面，而攻擊者能夠在多大程度上濫用人工智能的可能性仍不為人知。

為了更好地理解攻擊者如何利用生成人工智能，IBM X-Force團隊進行了一個研究項目，揭示了一個關鍵問題：當前的生成式人工智能模型是否具備與人類思維相同的欺騙能力？

想象一下這個場景：人工智能在一場網絡釣魚戰中與人類較量。研究人員的目標是確定在針對組織的網絡釣魚模擬中，哪個競爭者可以獲得更高的點擊率？

事實證明，只需要五個簡單的提示，研究人員就能夠欺騙一個生成式人工智能模型，在短短五分鐘內開發出高度令人信服的網絡釣魚郵件。而研究團隊通常需要大約16個小時來構建一個網絡釣魚郵件，這還沒有考慮到基礎設施的設置，因此，攻擊者可以通過使用生成式人工智能模型節省近兩天的工作。

人工智能生成的網絡釣魚非常令人信服，幾乎擊敗了經驗豐富的社會工程師制作的網絡釣魚，甚至可以說是處于同等水平，這是一個重要的進步。

接下來，我們將詳細介紹如何創建AI提示，如何進行測試，以及這對當今和未來的社會工程攻擊意味著什么。

第一輪：機器的崛起

一方面，研究人員用人工智能工具生成了一份網絡釣魚郵件，它帶有非常狡猾和令人信服的敘述。

創建提示

通過一個系統的實驗和改進過程，研究人員設計了一個只有五個提示的集合來指導ChatGPT生成針對特定行業部門的網絡釣魚郵件。

首先，研究人員要求ChatGPT詳細說明這些行業中員工關心的主要領域。在優先考慮行業和員工的關注點后，研究人員促使ChatGPT在電子郵件中使用社會工程和營銷技術做出戰略選擇。這些選擇旨在優化更多員工點擊電子郵件本身鏈接的可能性。接下來，提示詢問ChatGPT發送者應該是誰（例如，公司內部人員、供應商、外部組織等）。最后，研究人員要求ChatGPT添加以下功能來創建釣魚郵件：

1.醫療保健行業員工最關心的領域：職業發展、工作穩定、成就感等等；

2.應該使用的社會工程技術：信任，權威，社會證明；

3.應該使用的營銷技巧：個性化，移動優化，號召行動；

4.個人或公司：內部人力資源經理；

5.電子郵件生成：考慮到上面列出的所有信息，ChatGPT生成了以下編輯過的電子郵件，后來由IBM X-Force團隊發送給了800多名員工。

AI VS騙術大PK：揭開網絡釣魚策略新時代

一位有近十年社會工程經驗，且制作過數百封網絡釣魚郵件的專家表示，人工智能生成的網絡釣魚郵件相當有說服力。事實上，最初有三個組織同意參與這個研究項目，其中兩個組織在審查了這兩封網絡釣魚郵件后完全退出了，因為郵件承諾的內容與他們預期不符。正如提示所示，參與本研究的組織位于醫療保健行業，這是目前最具針對性的行業之一。

提高攻擊者的生產力

研究團隊大約需要16個小時來制作一封網絡釣魚郵件，但人工智能網絡釣魚郵件只需要5分鐘就能生成，且只有5個簡單的提示。

第二輪：人性化

另一方面，X-Force派出了經驗豐富的紅隊社會工程師。憑借創造力和一點點心理學，這些社會工程師創造了網絡釣魚電子郵件，在個人層面上與他們的目標產生了共鳴，人為因素增加了一種通常難以復制的真實性。

第一步：OSINT

社會工程師的網絡釣魚方法總是從獲取開源智能（OSINT）的初始階段開始。OSINT是對可公開獲取的信息的檢索，這些信息隨后經過嚴格的分析，并作為制定社會工程運動的基礎資源。值得注意的是，X-Force的OSINT數據存儲庫包括LinkedIn、該組織的官方博客、Glassdoor等平臺，以及大量其他來源。

在OSINT活動中，X-Force社會工程師們詳細介紹了最近啟動的一項員工健康計劃，令人鼓舞的是，這個項目在Glassdoor上得到了員工的好評，證明了它的有效性和員工滿意度。此外，我們確定了一個人負責通過LinkedIn管理這個項目。

第二步：電子郵件制作

利用OSINT階段收集的數據，X-Force社會工程師開始了精心構建網絡釣魚電子郵件的過程。為了增強真實性和熟悉感，社會工程師還加入了一個合法的網站鏈接到一個最近結束的項目。

為了增加說服力，社會工程師通過引入“人為的時間限制”，戰略性地整合了感知緊迫性的元素。他們向收件人表示，有關調查只包括“五個簡短的問題”，并保證完成調查只需要占用其“幾分鐘”時間，最后期限為“本周五”。這種深思熟慮的框架強調了對收件人時間的最小占用，加強了網絡釣魚方法的非侵入性。

使用調查作為網絡釣魚的借口通常是有風險的，因為它通常被視為一個危險信號或被簡單地忽略。然而，考慮到前期收集的數據，社會工程們認為潛在的好處可能超過相關的風險。

以下經過編輯的網絡釣魚郵件被發送給一家全球醫療保健組織的800多名員工：

AI VS騙術大PK：揭開網絡釣魚策略新時代

冠軍：人類勝利了，但優勢微弱！

經過一輪激烈的A/B測試后，結果很明顯：人類取得了勝利，但優勢非常微弱。

AI VS騙術大PK：揭開網絡釣魚策略新時代

雖然人工制作的網絡釣魚郵件成功地勝過了人工智能，但這是一場勢均力敵的比賽。原因如下：

情商：人類理解情感的方式是人工智能可望不可即的。人類可以編織一些牽動心弦、聽起來更真實的故事，讓接收者更有可能點擊惡意鏈接。例如，人類在組織內選擇了一個合法的例子，而人工智能選擇了一個廣泛的主題，使人類生成的網絡釣魚郵件看起來更可信。

個性化：除了在電子郵件的介紹中加入收件人的名字外，人類工程師還提供了一個合法組織的參考，為他們的員工提供了切實的優勢。

短小精悍的主題行：人類生成的網絡釣魚郵件主題行短小精悍（員工健康調查），而人工智能生成的網絡釣魚郵件主題行極其冗長（解鎖你的未來：X公司的晉升之路），甚至在員工打開電子郵件之前就可能引起懷疑。

此外，人工智能生成的網絡釣魚不僅輸給了人類，而且被報告為可疑的比率也更高。

AI VS騙術大PK：揭開網絡釣魚策略新時代

結論：窺見未來

雖然X-Force并沒有在當前的活動中大規模使用生成式人工智能，但在各種廣告釣魚功能的論壇上，可以看到像WormGPT這樣的工具正在銷售，這些工具是為不受限制或半受限制的LLM而構建的，這表明攻擊者正在測試人工智能在網絡釣魚活動中的使用。

雖然，即使是受限制版本的生成式人工智能模型也可以通過簡單的提示來制作網絡釣魚郵件，但這些不受限制的版本可能會為攻擊者提供更有效的方法來擴展復雜的網絡釣魚電子郵件。

人類可能以微弱優勢贏得了這場比賽，但人工智能正在不斷進步，正如我們所知，攻擊者在不斷地適應和創新。就在今年，我們已經看到越來越多的騙子使用人工智能生成的語音克隆來欺騙人們寄錢、送禮品卡或泄露敏感信息。

雖然在情緒操縱和制作有說服力的電子郵件方面，人類可能仍然占上風，但人工智能在網絡釣魚中的出現標志著社會工程攻擊的關鍵時刻。

以下是對企業和消費者做好準備的五條關鍵建議：

1. 當你有疑問的時候，打電話給發件人：如果你懷疑一封郵件是否合法，拿起電話核實一下。考慮與親密的朋友和家人設置安全暗號，以便在釣魚或人工智能生成的電話騙局的情況下使用。

2. 摒棄語法刻板印象：不要以為網絡釣魚郵件充斥著錯誤的語法和拼寫錯誤。人工智能驅動的網絡釣魚嘗試越來越復雜，語法也是正確的。這就是為什么要對我們的員工進行再教育，并強調語法錯誤不再是主要的危險信號。相反地，我們應該訓練他們對電子郵件內容的長度和復雜性保持警惕。較長的電子郵件通常是人工智能生成文本的標志，這可能是一個警告信號。

3. 改進社會工程項目：這包括將釣魚等技術引入培訓項目，這種技術執行起來很簡單，而且通常非常有效。X-Force的一份報告發現，添加電話的針對性網絡釣魚活動的效果是沒有添加電話的網絡釣魚活動的3倍。

4. 加強身份和訪問管理控制：高級身份訪問管理系統可以幫助驗證誰在訪問什么數據，他們是否有適當的權限，以及他們是否就是他們所說的那個人。

5. 不斷適應和創新：人工智能的快速發展意味著網絡犯罪分子將繼續完善他們的戰術，我們必須保持這種不斷適應和創新的心態。定期更新內部TTPS、威脅檢測系統和員工培訓材料對于領先惡意行為者一步至關重要。

結語

人工智能在網絡釣魚攻擊中的出現，促使我們重新評估我們的網絡安全方法。通過采納這些建議并在面對不斷變化的威脅時保持警惕，我們可以在動態的數字時代加強防御，保護我們的企業，確保我們的數據和人員的安全。

文章翻譯自：https://securityintelligence.com/x-force/ai-vs-human-deceit-unravelling-new-age-phishing-tactics/如若轉載，請注明原文地址