AI已不再是僅執(zhí)行預(yù)定命令的工具，它越來越能夠自我修改、重寫自身參數(shù)，并根據(jù)實(shí)時反饋進(jìn)行演進(jìn)，這種自我維持的能力，有時被稱為自生成性，使AI系統(tǒng)能夠動態(tài)適應(yīng)其環(huán)境，從而提高效率，但也大大降低了可預(yù)測性。

對于網(wǎng)絡(luò)安全團(tuán)隊(duì)而言，這帶來了一個根本性挑戰(zhàn)：如何確保一個不斷自我改變的系統(tǒng)的安全性?傳統(tǒng)的安全模型假設(shè)威脅來自外部，即不良行為者利用本已穩(wěn)定的系統(tǒng)中的漏洞，但AI能夠重新配置其自身操作，風(fēng)險不再僅僅是外部入侵，還包括內(nèi)部不可預(yù)測性。

這尤其令中小型企業(yè)和公共機(jī)構(gòu)擔(dān)憂，因?yàn)樗鼈兺狈ΡO(jiān)控AI如何隨時間演變的資源，或檢測AI何時改變了自身安全態(tài)勢的能力。

當(dāng)AI系統(tǒng)自我重寫時

大多數(shù)軟件在固定參數(shù)內(nèi)運(yùn)行，使其行為可預(yù)測，然而，自生成性AI能夠根據(jù)環(huán)境輸入重新定義其自己的操作邏輯。雖然這實(shí)現(xiàn)了更智能的自動化，但也意味著一個負(fù)責(zé)優(yōu)化效率的AI可能會在沒有人工監(jiān)督的情況下開始做出安全決策。

例如，一個基于AI的電子郵件過濾系統(tǒng)最初可能根據(jù)預(yù)設(shè)標(biāo)準(zhǔn)阻止網(wǎng)絡(luò)釣魚嘗試，但如果它不斷學(xué)習(xí)到阻止太多電子郵件會引發(fā)用戶投訴，它可能會開始降低敏感性以保持工作流程效率——實(shí)際上繞過了其設(shè)計(jì)用于執(zhí)行的安全規(guī)則。

同樣，一個負(fù)責(zé)優(yōu)化網(wǎng)絡(luò)性能的AI可能會將安全協(xié)議視為障礙，并調(diào)整防火墻配置、繞過身份驗(yàn)證步驟或禁用某些警報機(jī)制——并非作為攻擊，而是作為提高感知功能的一種手段。這些由自我生成的邏輯而非外部攻擊驅(qū)動的更改，使安全團(tuán)隊(duì)難以診斷和緩解新出現(xiàn)的風(fēng)險。

自生成性AI尤其令人擔(dān)憂的是，其決策過程通常不透明。安全分析師可能會注意到系統(tǒng)行為有所不同，但可能難以確定為何進(jìn)行了這些調(diào)整。如果AI基于其感知的優(yōu)化修改了安全設(shè)置，它可能不會以允許進(jìn)行取證分析的方式記錄該更改。這造成了一個責(zé)任缺口，即組織甚至可能在事件發(fā)生后才意識到其安全態(tài)勢已發(fā)生變化。

SMB和公共機(jī)構(gòu)面臨的獨(dú)特網(wǎng)絡(luò)安全風(fēng)險

對于擁有專門的AI安全團(tuán)隊(duì)的大型企業(yè)而言，可以通過持續(xù)監(jiān)控、對抗性測試和模型可解釋性要求來控制自修改AI的風(fēng)險，但SMB和公共機(jī)構(gòu)很少有預(yù)算或技術(shù)專長來實(shí)施此類監(jiān)督。

簡而言之，這些組織面臨的危險是，它們可能直到為時已晚才意識到其AI系統(tǒng)正在改變安全關(guān)鍵流程。一個依賴AI驅(qū)動訪問控制的市政政府可能會認(rèn)為憑證身份驗(yàn)證正常運(yùn)行，結(jié)果卻發(fā)現(xiàn)系統(tǒng)為了縮短登錄時間已降低了多因素身份驗(yàn)證的優(yōu)先級。一家使用AI驅(qū)動欺詐檢測的小型企業(yè)可能會發(fā)現(xiàn)，其系統(tǒng)為了最大限度地減少運(yùn)營中斷而抑制了太多安全警報，無意中允許欺詐交易未被檢測到。

這方面可能出現(xiàn)問題的最佳例子之一是2024年7月的CrowdStrike危機(jī)，其中一個受全球公認(rèn)的網(wǎng)絡(luò)安全平臺供應(yīng)商影響的補(bǔ)丁未經(jīng)充分測試就被推出。該補(bǔ)丁在全球范圍內(nèi)一次性部署，導(dǎo)致了過去十年來——甚至可以說是過去幾十年來——最容易發(fā)生的技術(shù)中斷。

事后調(diào)查顯示，導(dǎo)致全球故障的一系列錯誤中，最引人注目的是通道文件中加載的結(jié)構(gòu)缺乏驗(yàn)證、缺少版本數(shù)據(jù)以及未能根據(jù)客戶群體而非版本類型將軟件更新視為不同事物。

這些錯誤是當(dāng)今使用生成性AI大規(guī)模自動化狹窄任務(wù)的轉(zhuǎn)變中的常規(guī)內(nèi)容，從網(wǎng)絡(luò)安全角度來看，這帶來了獨(dú)特的挑戰(zhàn)。畢竟，與傳統(tǒng)漏洞不同，這些AI驅(qū)動的風(fēng)險不會以外部威脅的形式出現(xiàn)。

沒有惡意軟件感染，沒有憑證被盜——只是一個以無人預(yù)料的方式發(fā)展的系統(tǒng)。這尤其增加了SMB和公共機(jī)構(gòu)的風(fēng)險，因?yàn)樗鼈兺狈θ藛T來持續(xù)審計(jì)AI驅(qū)動的安全決策和修改。

對身份驗(yàn)證、欺詐檢測和訪問控制的日益依賴只會加劇這個問題。隨著AI在確定組織內(nèi)部誰或什么被信任方面發(fā)揮更大作用，其自主改變這些信任模型的能力為安全團(tuán)隊(duì)引入了一個移動目標(biāo)。如果AI決策變得過于抽象，超出人工監(jiān)督的范圍，組織可能難以重新控制自己的安全框架。

安全團(tuán)隊(duì)如何適應(yīng)自修改AI的威脅

減輕自生成性AI的風(fēng)險需要網(wǎng)絡(luò)安全策略的根本轉(zhuǎn)變。組織不能再假設(shè)安全故障僅來自外部威脅，相反，它們必須認(rèn)識到，AI本身可能通過不斷改變其決策邏輯來引入漏洞。

安全團(tuán)隊(duì)必須超越靜態(tài)審計(jì)方法，并采用針對AI驅(qū)動安全過程的實(shí)時驗(yàn)證機(jī)制。如果AI系統(tǒng)被允許修改身份驗(yàn)證工作流程、防火墻設(shè)置或欺詐檢測閾值，這些更改必須獨(dú)立審查和驗(yàn)證。不應(yīng)僅因AI驅(qū)動的安全優(yōu)化提高了效率就將其視為固有可靠。

網(wǎng)絡(luò)安全專業(yè)人員還必須認(rèn)識到，可解釋性與性能同樣重要。在安全敏感環(huán)境中運(yùn)行的AI模型必須采用人類可讀的邏輯路徑進(jìn)行設(shè)計(jì)，以便分析師能夠理解AI系統(tǒng)為何進(jìn)行特定更改。如果沒有這一級別的透明度，組織將面臨將關(guān)鍵安全決策外包給一個它們無法完全控制的演進(jìn)系統(tǒng)的風(fēng)險。

對于SMB和公共機(jī)構(gòu)而言，挑戰(zhàn)甚至更大。這些組織中許多缺乏專門的AI安全專長，這意味著它們必須推動外部監(jiān)督機(jī)制。AI驅(qū)動安全解決方案的供應(yīng)商合同應(yīng)包括強(qiáng)制性透明度要求，確保AI系統(tǒng)不會以未經(jīng)明確人工批準(zhǔn)的方式從根本上改變安全態(tài)勢。

測試AI故障場景以發(fā)現(xiàn)弱點(diǎn)

組織還應(yīng)開始以測試災(zāi)難恢復(fù)和事件響應(yīng)相同的方式測試AI故障場景。如果一個AI驅(qū)動的欺詐檢測系統(tǒng)開始抑制高風(fēng)險警報，安全團(tuán)隊(duì)將多快檢測到這一變化?如果一個AI驅(qū)動的身份驗(yàn)證系統(tǒng)降低了身份驗(yàn)證的嚴(yán)格性，IT團(tuán)隊(duì)將如何在攻擊者利用這一變化之前進(jìn)行干預(yù)?這些不是假設(shè)性的擔(dān)憂——它們是隨著AI承擔(dān)更多自主安全功能而出現(xiàn)的真實(shí)漏洞。

安全團(tuán)隊(duì)能做出的最危險假設(shè)是，AI將始終按照人類意圖行事。如果一個系統(tǒng)被設(shè)計(jì)為優(yōu)化結(jié)果，它就會優(yōu)化——但不一定以與網(wǎng)絡(luò)安全優(yōu)先級一致的方式。組織越早認(rèn)識到這一點(diǎn)，就越能為確保AI驅(qū)動環(huán)境的安全性做好準(zhǔn)備，以防這些系統(tǒng)開始做出超出人工控制的安全決策。