經(jīng)驗(yàn)豐富的激流漂流練習(xí)者都知道，當(dāng)他們到達(dá)河灣聽到嘩嘩的水聲但卻看不到前方有什么的時(shí)候，就是把船停到最近河岸并觀察路線的好時(shí)機(jī)。在當(dāng)前生成式AI使用場(chǎng)景呈現(xiàn)爆炸式增長(zhǎng)的背景下，網(wǎng)絡(luò)安全行業(yè)也進(jìn)入到這種“湍流”時(shí)刻。

近日在美國(guó)拉斯維加斯舉辦的Black Hat 2023網(wǎng)絡(luò)安全大會(huì)期間，這一點(diǎn)得到了充分的印證，有多位演講者都談到了快速變化的AI領(lǐng)域，特點(diǎn)就是問題多于答案。

威脅行為者是否正在積極使用ChatGPT？有可能，但迄今為止證據(jù)還很少。大型語(yǔ)言模型是否會(huì)被毒害而產(chǎn)生惡意行為？當(dāng)然，但他們是如何操控模型進(jìn)行最大限度的攻擊，這一點(diǎn)還在研究中。

盡管目前還存在不確定性，但安全研究人員和高管們都明確一點(diǎn)：生成式AI將重塑網(wǎng)絡(luò)安全世界，這是一場(chǎng)很少有人能想象到的變革。

三年前，McAfee公司和FireEye公司前首席執(zhí)行官、NightDragon創(chuàng)始人Dave DeWalt曾提出網(wǎng)絡(luò)安全“超級(jí)周期”，將其描述為推動(dòng)網(wǎng)絡(luò)安全行業(yè)增長(zhǎng)的關(guān)鍵時(shí)期，他還談到了當(dāng)前AI浪潮背后的意義。

DeWalt說：“威脅無處不在，生成式AI創(chuàng)造了這個(gè)全新的模型。這個(gè)超級(jí)周期看起來可能是我見過的最大的周期之一。”

實(shí)踐分析

安全研究人員一直在努力收集信息，以便更清楚地了解生成式AI日益普及而引發(fā)的新興威脅。在這次Black Hat大會(huì)上，很多公司設(shè)立了實(shí)驗(yàn)室，供與會(huì)者試驗(yàn)涉及AI的各種安全技術(shù)。Nvidia DGX系統(tǒng)在如何完善數(shù)據(jù)和應(yīng)對(duì)AI方面發(fā)揮了重要作用，這次Nvidia合作舉辦了多場(chǎng)研討會(huì)，供研究人員審查安全性并試驗(yàn)AI安全工具。

隨著惡意行為者開發(fā)和部署復(fù)雜威脅行為的能力不斷提高，實(shí)踐研究也迫在眉睫。在一次會(huì)議演講中，研究人員讓我們一睹了類人數(shù)字孿生的風(fēng)采，也就是在線角色創(chuàng)建，有時(shí)甚至配備100%數(shù)字生成的假照片，以實(shí)現(xiàn)逼真的對(duì)話互動(dòng)。

來自Beyond Layer Seven的研究人員描述了一個(gè)惡意行為者利用AI冒充在線服務(wù)治療師并說服一名用戶自殺的事件。

中佛羅里達(dá)大學(xué)應(yīng)用神經(jīng)科學(xué)家Ben Sawyer博士在演講中表示：“人類可以攻擊這些模型，而這些模型可以很快變成高級(jí)威脅行為者，數(shù)字孿生顯然有能力攻擊人類，這是一種真正全新的生態(tài)系統(tǒng)，并且發(fā)展非常迅速?！?/p>

通過生成AI模仿人類互動(dòng)的能力，也為網(wǎng)絡(luò)釣魚攻擊注入了強(qiáng)大動(dòng)力。在一個(gè)演講中，哈佛大學(xué)的一名研究人員提供了證據(jù)表明，大型語(yǔ)言模型使得以前欺詐性電子郵件中發(fā)現(xiàn)的拼寫錯(cuò)誤或錯(cuò)誤語(yǔ)法的相關(guān)線索，現(xiàn)在已經(jīng)完全消失。

哈佛大學(xué)哈佛工程與應(yīng)用科學(xué)院研究員Fredrik Heiding說：“現(xiàn)在創(chuàng)建非常高效的網(wǎng)絡(luò)釣魚電子郵件變得非常容易，而且你不需要具備太多知識(shí)。”

在社會(huì)工程領(lǐng)域利用數(shù)據(jù)

復(fù)雜的網(wǎng)絡(luò)釣魚攻擊所造成的損害和社會(huì)工程這個(gè)更廣泛的用途相比，就會(huì)顯得黯然失色了。安全研究人員越來越關(guān)注使用生成式AI傳播虛假信息或者以編程方式控制輿論（通常是社交媒體渠道實(shí)現(xiàn)的）。

F5公司全球情報(bào)負(fù)責(zé)人Dan Woods在接受采訪時(shí)表示：“這是一種非常非常嚴(yán)重的威脅，我們都會(huì)受到影響而相信不真實(shí)的事情。我認(rèn)為社交媒體公司存在虛假賬戶的重大問題，現(xiàn)在這還沒有引起足夠的重視。”

安全界的一個(gè)擔(dān)憂是，生成式AI已經(jīng)打開了收集大量信息的閘門。ChatGPT和其他強(qiáng)大的AI引擎依賴于大量數(shù)據(jù)的攝取，這些數(shù)據(jù)是通過網(wǎng)絡(luò)抓取收集的或從海量數(shù)據(jù)集中上傳的，用于訓(xùn)練模型。

Zoom Video Communications公司最近澄清了他們有關(guān)AI數(shù)據(jù)收集的做法，此前該公司的服務(wù)條款發(fā)生了變化，無需事先獲得用戶許可即可將信息用于訓(xùn)練模型。

Black Hat大會(huì)觀察：網(wǎng)絡(luò)安全世界AI威脅導(dǎo)致問題叢生

Jeff Moss

DEF CON Communications總裁、Black Hat創(chuàng)始人Jeff Moss在開場(chǎng)主題演講中表示：“他們現(xiàn)在可以用我在Zoom上所做的事情來訓(xùn)練他們的系統(tǒng)。我對(duì)此并不滿意，但我無法按下按鈕說‘兄弟，別訓(xùn)練我’，這將是未來互聯(lián)網(wǎng)上的一場(chǎng)戰(zhàn)斗?！?/p>

政府加入其中

海量數(shù)據(jù)收集和AI使用帶來越來越多的威脅，這導(dǎo)致監(jiān)管方面的措施也在增加。在歐洲，立法方提出了AI Act人工智能法案，其中詳細(xì)規(guī)定了在訓(xùn)練模型中使用的受版權(quán)保護(hù)數(shù)據(jù)將是公開可用的。

近幾個(gè)月來，開源成了受到監(jiān)管機(jī)構(gòu)特別關(guān)注的一個(gè)領(lǐng)域。歐盟目前正在考慮批準(zhǔn)Cyber Resilience Act法案，該法案旨在通過針對(duì)具有數(shù)字元素的產(chǎn)品制定通用標(biāo)準(zhǔn)來改善歐盟的網(wǎng)絡(luò)安全狀況。

然而，當(dāng)前的提案將要求開源開發(fā)者對(duì)商業(yè)產(chǎn)品的安全問題承擔(dān)責(zé)任，Sonatype公司聯(lián)合創(chuàng)始人、首席技術(shù)官Brian Fox認(rèn)為，這一條款是給歐盟的開源領(lǐng)域敲響了“喪鐘”。

Fox說：“我不知道未來會(huì)如何發(fā)展，但我們現(xiàn)在面臨的挑戰(zhàn)是要提高認(rèn)知，人們需要關(guān)心這個(gè)事件并發(fā)出自己的聲音。”

開源安全在美國(guó)也開始受到更多關(guān)注。近日，美國(guó)國(guó)家網(wǎng)絡(luò)主任辦公室（ONCD）發(fā)布了一份信息請(qǐng)求，以更好地了解開源安全并制定改進(jìn)政策。

ONCD代理國(guó)家網(wǎng)絡(luò)總監(jiān)Kemba Walden也在這次Black Hat大會(huì)上露面，他表達(dá)了自己對(duì)于開源開發(fā)者社區(qū)內(nèi)部安全問題沒有得到解決的驚訝。

Walden說：“我很驚訝地發(fā)現(xiàn)，開發(fā)者社區(qū)并不一定或者并不總是經(jīng)過了安全設(shè)計(jì)方面的培訓(xùn)，我們?nèi)绾巫岄_源變得更安全，這是一個(gè)基本的問題。”

如今被廣泛使用的開源工具（例如流行的Java日志框架Log4J）中發(fā)現(xiàn)的一些漏洞，加劇了政府對(duì)開源開發(fā)人員的興趣，然而也可能是開發(fā)人員已經(jīng)成為當(dāng)前威脅環(huán)境中一大主要目標(biāo)而導(dǎo)致了這個(gè)問題的緊迫性。

GitHub安全運(yùn)營(yíng)副總裁Alexis Wales表示：“我們可能比這個(gè)領(lǐng)域的其他任何人都更了解開發(fā)者體驗(yàn)和開發(fā)者工作流程。開發(fā)商正成為一大目標(biāo)，我們現(xiàn)在在眾多威脅行為者身上看到了這一點(diǎn)?！?/p>

針對(duì)關(guān)鍵基礎(chǔ)設(shè)施

在針對(duì)開發(fā)人員的攻擊、對(duì)開源漏洞的擔(dān)憂、以及AI被廣泛使用可能引發(fā)的一波新威脅之間，安全社區(qū)還有很多值得擔(dān)心的事情，也許人們忽略了影響關(guān)鍵基礎(chǔ)設(shè)施的一些重大違規(guī)行為的未來前景。

殖民地管道勒索軟件攻擊和試圖篡改某地區(qū)供水情況，就是兩個(gè)值得注意的例子。在接受本文采訪時(shí)，一家致力于保護(hù)關(guān)鍵基礎(chǔ)設(shè)施的網(wǎng)絡(luò)安全公司的高管表達(dá)了他的擔(dān)憂，世界突然敲響警鐘很可能只是一個(gè)時(shí)間上的問題。

Claroty公司首席執(zhí)行官Yaniv Vardi表示：“我擔(dān)心我們?cè)谖鞣绞澜绲年P(guān)鍵基礎(chǔ)設(shè)施沒有得到足夠好的保護(hù)。我認(rèn)為災(zāi)難性事件遲早會(huì)發(fā)生，重點(diǎn)將是關(guān)鍵基礎(chǔ)設(shè)施?！?/p>

在整個(gè)Black Hat大會(huì)的演講以及本文的采訪過程中，沒有人樂觀地認(rèn)為全球?qū)τ谏墒紸I的迷戀會(huì)創(chuàng)造保護(hù)系統(tǒng)和網(wǎng)絡(luò)的“殺手級(jí)應(yīng)用”，也沒有人預(yù)測(cè)威脅行為者將取得勝利并統(tǒng)治世界。

Fastly公司的安全研究員Simran Khalsa在接受采訪時(shí)表示：“這兩股力量將相互推動(dòng)，我們必須隨之不斷演進(jìn)發(fā)展?！?/p>