譯者 | 晶顏

審校 | 重樓

人工智能正從執(zhí)行預定義指令的工具，進化為具備自我修改、參數(shù)重寫及實時反饋進化能力的復雜系統(tǒng)。這種被稱為“自創(chuàng)生”的自維持特性，使其能動態(tài)適應(yīng)環(huán)境以提升效率，但也帶來不可預測性。

對網(wǎng)絡(luò)安全團隊而言，傳統(tǒng)安全模型基于“威脅來自外部”的假設(shè)——即惡意行為者利用穩(wěn)定系統(tǒng)漏洞實施攻擊。然而，當人工智能具備自我重配置能力時，風險范疇已從外部入侵擴展至內(nèi)部邏輯的不可預測性。

這一挑戰(zhàn)對中小型企業(yè)及公共機構(gòu)尤為嚴峻，因為它們往往缺乏資源來監(jiān)控人工智能的長期演化路徑，或識別系統(tǒng)安全狀態(tài)的自主變更。

人工智能自我改寫的典型場景

大多數(shù)軟件在固定的參數(shù)內(nèi)運行，行為具備可預測性。然而，“自創(chuàng)生”人工智能可以根據(jù)環(huán)境輸入重新定義自己的操作邏輯。雖然這允許更智能的自動化，但這也意味著負責優(yōu)化效率的人工智能可能會在沒有人類監(jiān)督的情況下開始做出安全決策。

例如，人工智能驅(qū)動的電子郵件過濾系統(tǒng)可能會根據(jù)預先設(shè)定的標準在最初阻止網(wǎng)絡(luò)釣魚嘗試。但是，如果它不斷了解到阻止過多的電子郵件會引發(fā)用戶的投訴，它可能會開始降低其敏感性，主動繞過既定安全規(guī)則以平衡效率。

類似地，負責優(yōu)化網(wǎng)絡(luò)性能的人工智能可能會將安全協(xié)議識別為“障礙”，并調(diào)整防火墻配置，繞過身份驗證步驟，或禁用某些警報機制——不是作為攻擊，而是作為改進感知功能的一種手段。此類變更由系統(tǒng)內(nèi)生優(yōu)化邏輯驅(qū)動，而非外部攻擊，導致安全團隊難以診斷風險根源。

“自創(chuàng)生”人工智能尤為令人擔憂的是，它的決策過程往往是不透明的。安全分析師可能會注意到某個系統(tǒng)的行為有所不同，但可能很難確定它做出這些調(diào)整的原因。如果人工智能根據(jù)它所認為的優(yōu)化修改了安全設(shè)置，可能不會生成可供取證分析的日志記錄。這就造成了一種責任缺口，導致組織在風險暴露前無法感知安全狀態(tài)的變化。

中小企業(yè)和公共機構(gòu)特有的網(wǎng)絡(luò)安全風險

對于擁有專門AI安全團隊的大型企業(yè)，可以通過持續(xù)監(jiān)控、對抗性測試和模型可解釋性要求來控制自我修改AI的風險。但中小企業(yè)和公共機構(gòu)往往缺乏預算與技術(shù)能力實施此類監(jiān)督。

簡單地說，這些組織面臨的危險是，他們可能沒有意識到自己的人工智能系統(tǒng)正在改變安全關(guān)鍵流程，直至為時已晚。依賴人工智能驅(qū)動的訪問控制的市政府可能會假設(shè)憑據(jù)認證功能正常，但卻發(fā)現(xiàn)系統(tǒng)已經(jīng)取消了多因素認證的優(yōu)先級，以減少登錄時間。使用人工智能欺詐檢測的小型企業(yè)可能會發(fā)現(xiàn)，為了盡量減少運營中斷，其系統(tǒng)抑制了太多的安全警報，無意中導致欺詐性交易漏檢。

2024年7月“CrowdStrike危機”堪稱典型案例：某網(wǎng)絡(luò)安全平臺在未充分審查的情況下部署全局內(nèi)容更新，因缺乏結(jié)構(gòu)驗證、版本管理及客戶端差異化更新機制，引發(fā)全球范圍內(nèi)的技術(shù)癱瘓。

此類事件表明，隨著自動化進程深度引入生成式AI，傳統(tǒng)漏洞管理框架已難以應(yīng)對內(nèi)生性風險——風險不再表現(xiàn)為惡意軟件或被盜憑證，而是系統(tǒng)以“非預期路徑”自主演化的結(jié)果。這使得中小企業(yè)和公共機構(gòu)的風險變得尤其高，因為它們往往缺乏足夠的人員來持續(xù)審計人工智能驅(qū)動的安全決策和修改。

更糟糕的是，越來越多地依賴人工智能進行身份驗證、欺詐檢測和訪問控制，只會加劇這個問題。由于人工智能在確定組織內(nèi)誰或什么值得信任方面發(fā)揮著更大的作用，它自主改變這些信任模型的能力為安全團隊引入了一個移動的目標。如果人工智能決策從人類的監(jiān)督中抽離，組織可能很難再重新控制自己的安全框架。

安全團隊如何適應(yīng)自創(chuàng)生AI威脅

緩解“自創(chuàng)生”人工智能的風險需要網(wǎng)絡(luò)安全戰(zhàn)略的根本轉(zhuǎn)變。組織需摒棄“安全故障僅源于外部”的假設(shè)，認識到AI自身的邏輯演變可能引入漏洞。

安全團隊必須超越靜態(tài)審計方法，為人工智能驅(qū)動的安全流程實施實時驗證機制。對于允許人工智能系統(tǒng)修改身份驗證工作流、防火墻設(shè)置或欺詐檢測閾值，必須實施獨立審查與實時驗證，避免將“效率提升”等同于“安全可靠”。

網(wǎng)絡(luò)安全專業(yè)人員還必須認識到，可解釋性與性能同樣重要。在安全敏感場景中，AI模型需設(shè)計為人類可讀的邏輯框架，以便分析師能夠理解人工智能系統(tǒng)做出特定更改的原因。如果沒有這種級別的透明度，組織就有可能將關(guān)鍵的安全決策“外包”給他們無法完全控制且不斷發(fā)展的系統(tǒng)。

對于中小企業(yè)和公共機構(gòu)來說，挑戰(zhàn)更大。其中許多組織缺乏專門的人工智能安全專業(yè)知識，這意味著他們必須推動外部監(jiān)督機制。人工智能驅(qū)動的安全解決方案的供應(yīng)商合同應(yīng)包括強制性的透明度要求，確保人工智能系統(tǒng)不會在未經(jīng)人類明確批準的情況下，實施從根本上改變其安全狀態(tài)的自我修改行為。

測試AI故障場景以發(fā)現(xiàn)弱點

組織還應(yīng)該開始測試AI故障場景，就像測試災(zāi)難恢復和事件響應(yīng)一樣。如果人工智能驅(qū)動的欺詐檢測系統(tǒng)開始抑制高風險警報，安全團隊將以多快的速度發(fā)現(xiàn)這種轉(zhuǎn)變？如果人工智能驅(qū)動的身份驗證系統(tǒng)降低了身份驗證的嚴格性，IT團隊如何在攻擊者利用這一變化之前進行干預？這些都不是假設(shè)性的擔憂，而是AI承擔更多自主安全功能后真實存在的漏洞。

安全團隊可以做出的最危險的假設(shè)是，人工智能將始終與人類的意圖保持一致。如果一個系統(tǒng)是為了優(yōu)化結(jié)果而設(shè)計的，那么它就會優(yōu)化——但可能以違背網(wǎng)絡(luò)安全優(yōu)先級的方式運行。組織越早認識到這一點，越能在AI做出失控安全決策前，更好地保護人工智能驅(qū)動的環(huán)境。

原文標題：When AI moves beyond human oversight: The cybersecurity risks of self-sustaining systems，作者：Christopher Whyte