在采訪中，Curity的CTO Jacob Ideskog探討了智能體給企業(yè)帶來的風(fēng)險(xiǎn)，隨著這些智能體逐漸融入企業(yè)系統(tǒng)，濫用、數(shù)據(jù)泄露和未經(jīng)授權(quán)訪問的可能性也在增加。

Ideskog警告稱，行業(yè)正在“夢(mèng)游”般地陷入安全危機(jī)，這與早期API和云計(jì)算的采用過程如出一轍，同時(shí)他還概述了公司為抵御這些行為驅(qū)動(dòng)的威脅必須采取的措施。

你曾警告稱，智能體會(huì)讓行業(yè)“夢(mèng)游”般地陷入安全危機(jī)，你這么說的意思是什么?你看到了哪些跡象表明我們已經(jīng)在走這條路了?

智能體和其他非人類身份正在迅速激增，在某些企業(yè)中，它們的數(shù)量已經(jīng)超過人類用戶，比例超過80比1。許多智能體被部署后，可長(zhǎng)期廣泛訪問系統(tǒng)和數(shù)據(jù)，但并未像人類賬戶那樣實(shí)施安全控制、治理或監(jiān)控，這為濫用行為創(chuàng)造了絕佳機(jī)會(huì)，無論是通過提示注入、憑證泄露，還是利用它們生成的不安全代碼。

我們已經(jīng)看到了早期預(yù)警信號(hào)，安全研究人員已證明，可以誘使AI助手執(zhí)行未經(jīng)授權(quán)的命令、訪問敏感文件或引入供應(yīng)鏈漏洞，而這一切都不會(huì)觸發(fā)典型的安全警報(bào)，雖然這些測(cè)試是在受控條件下進(jìn)行的，但這些技術(shù)并不復(fù)雜，惡意行為者將其用于實(shí)際攻擊只是時(shí)間問題。

你如何比較智能體安全的現(xiàn)狀與早期API安全或云配置錯(cuò)誤的情況?我們是否在重蹈覆轍?

是的，我們確實(shí)在重蹈覆轍，當(dāng)前的智能體安全狀況與21世紀(jì)10年代非常相似，當(dāng)時(shí)企業(yè)急于采用云計(jì)算和API，卻未充分理解其安全影響。

在早期API時(shí)代，開發(fā)人員常常在沒有適當(dāng)身份驗(yàn)證、輸入驗(yàn)證或速率限制的情況下暴露端點(diǎn)。攻擊者發(fā)現(xiàn)可預(yù)測(cè)的模式和配置錯(cuò)誤后，許多系統(tǒng)遭到濫用或破壞。向云計(jì)算的轉(zhuǎn)變也帶來了類似的成長(zhǎng)煩惱，如存儲(chǔ)桶配置錯(cuò)誤、角色權(quán)限過大以及可見性不足。

同樣的模式正出現(xiàn)在智能體中，其功能令人印象深刻，采用它的業(yè)務(wù)壓力也在增大，但如何保障其安全性的理解卻滯后了，許多團(tuán)隊(duì)還沒有針對(duì)AI的威脅模型，他們沒有考慮如何操縱輸入、AI系統(tǒng)如何在會(huì)話間泄露上下文，或者權(quán)限過大的智能體如何在生產(chǎn)環(huán)境中采取意外行動(dòng)。

我們還看到一些與早期時(shí)代相似的操作失誤，有些企業(yè)在沒有采取適當(dāng)保護(hù)措施的情況下，直接將智能體與內(nèi)部工具和數(shù)據(jù)源集成，還有一些企業(yè)跳過監(jiān)控或日志記錄，將這些系統(tǒng)視為僅僅是前端聊天機(jī)器人。在某些情況下，對(duì)于什么構(gòu)成可接受或不安全的輸出沒有明確定義，這留下了太多的出錯(cuò)空間。

現(xiàn)在的關(guān)鍵區(qū)別在于，對(duì)于AI來說，攻擊面包括行為、語言和上下文，現(xiàn)有控制措施無法輕易鎖定這些方面，因此需要采取不同的方法，這可能包括提示加固、輸入和輸出過濾，以及持續(xù)監(jiān)控系統(tǒng)隨時(shí)間變化的行為，如果沒有專門構(gòu)建的工具和思維方式的轉(zhuǎn)變，這種程度的復(fù)雜性很難管理。

不過好消息是，我們有經(jīng)驗(yàn)可循，API和云安全的經(jīng)驗(yàn)教訓(xùn)仍然適用，最小權(quán)限、默認(rèn)安全、可審計(jì)性和分層防御等原則同樣重要，我們只是需要在新背景下應(yīng)用它們，這里的風(fēng)險(xiǎn)更多在于影響、誤解和意外行動(dòng)，而非代碼層面的漏洞。

你能否分享一個(gè)公開或匿名的真實(shí)事件，其中不安全的智能體或機(jī)器人導(dǎo)致或促成了安全漏洞或運(yùn)營(yíng)問題?

最近的一個(gè)例子涉及Cursor IDE，這是一款由AI驅(qū)動(dòng)的編碼工具，研究人員證明，通過輸入惡意提示，他們可以誘騙其內(nèi)置的AI助手在開發(fā)人員的本地機(jī)器上執(zhí)行系統(tǒng)命令。在這種情況下，攻擊者可以竊取環(huán)境變量、API密鑰和身份驗(yàn)證令牌，將敏感文件泄露到外部服務(wù)器，并可能安裝后門或更改配置。

另一個(gè)例子來自GitHub Copilot，它使用OpenAI模型來推薦代碼片段。早期，開發(fā)人員注意到Copilot有時(shí)會(huì)生成不安全的代碼，如硬編碼憑證、過時(shí)的加密或缺少輸入驗(yàn)證，這并未直接導(dǎo)致安全漏洞，但它表明，如果不仔細(xì)審查，AI生成的代碼可能會(huì)悄悄地將漏洞引入軟件供應(yīng)鏈。

這些事件表明，智能體并非被動(dòng)工具，而是系統(tǒng)中的積極參與者。如果企業(yè)不實(shí)施適當(dāng)?shù)姆雷o(hù)措施，如限定權(quán)限、提示加固、行為監(jiān)控和嚴(yán)格的輸出過濾，智能體可能成為重大的安全風(fēng)險(xiǎn)。

在典型的企業(yè)環(huán)境中，智能體的攻擊面是什么樣的?攻擊者最有可能針對(duì)哪些薄弱點(diǎn)?

在典型的企業(yè)環(huán)境中，智能體的攻擊面既廣泛又高度動(dòng)態(tài)。與傳統(tǒng)應(yīng)用程序不同，智能體通過自然語言進(jìn)行交互，這開辟了新的操縱途徑。這種混合性質(zhì)，既是軟件系統(tǒng)，又是語言界面，帶來了全新的安全挑戰(zhàn)。

最常見且最嚴(yán)重的漏洞之一是提示注入，由于智能體遵循嵌入在文本中的指令，攻擊者可以精心設(shè)計(jì)輸入，以覆蓋內(nèi)部命令、暴露隱藏提示，甚至改變智能體的預(yù)期行為。如果相關(guān)智能體與敏感數(shù)據(jù)或系統(tǒng)交互，這可能會(huì)迅速升級(jí)為未經(jīng)授權(quán)的訪問或行動(dòng)。

另一個(gè)主要風(fēng)險(xiǎn)是通過模型輸出造成的數(shù)據(jù)泄露，即使底層數(shù)據(jù)源得到妥善保護(hù)，智能體也可能在回應(yīng)巧妙措辭的問題時(shí)無意中泄露機(jī)密信息。訪問控制通常不適用于基于大語言模型(LLM)的系統(tǒng)，這意味著敏感信息可能通過間接查詢或上下文操縱而泄露。

對(duì)抗性輸入，如故意格式錯(cuò)誤、混淆或含糊不清的提示，也帶來了日益增長(zhǎng)的風(fēng)險(xiǎn)。攻擊者可能利用這些輸入繞過過濾器、誘使模型發(fā)表不安全聲明或引發(fā)意外行為。

更復(fù)雜的是，與企業(yè)工具的集成可能顯著擴(kuò)大攻擊面，能夠調(diào)用API、更新記錄、發(fā)送電子郵件或執(zhí)行工作流的智能體必須受到嚴(yán)格權(quán)限控制和隔離，如果被惡意輸入操縱，權(quán)限過大的智能體可能成為意外的攻擊智能體，在這種情況下，邊界和細(xì)粒度控制至關(guān)重要。

訓(xùn)練數(shù)據(jù)暴露是另一個(gè)薄弱點(diǎn)，如果AI模型是在內(nèi)部文檔或聊天記錄上進(jìn)行訓(xùn)練或微調(diào)的，攻擊者可能通過長(zhǎng)期探測(cè)模型來提取這些數(shù)據(jù)的片段，這是一個(gè)被嚴(yán)重忽視的風(fēng)險(xiǎn)。

最后，基礎(chǔ)設(shè)施問題仍然存在，支持AI的端點(diǎn)、API、日志記錄系統(tǒng)和中間件必須使用與其他關(guān)鍵系統(tǒng)相同的原則進(jìn)行保護(hù)，輸入驗(yàn)證不足、日志記錄不充分或缺乏速率限制可能使攻擊者不僅利用智能體，還利用其運(yùn)行環(huán)境。

AI系統(tǒng)尤其難以保障安全，原因在于其漏洞的性質(zhì)，許多漏洞并非基于代碼，而是基于行為，是模型如何解釋和響應(yīng)語言的結(jié)果，安全團(tuán)隊(duì)必須考慮意圖操縱、語義歧義和通過提示傳遞的社會(huì)工程學(xué)攻擊。

為了降低風(fēng)險(xiǎn)，企業(yè)需要采取分層防御、提示加固、輸出過濾、行為監(jiān)控、紅隊(duì)演練、訪問控制和全面觀察所有AI交互等措施，攻擊面包括模型、其指令、它訪問的數(shù)據(jù)以及它運(yùn)行的系統(tǒng)，防御者必須像語言驅(qū)動(dòng)的對(duì)手一樣思考，才能保持領(lǐng)先。

在生產(chǎn)環(huán)境中部署智能體之前，每個(gè)企業(yè)都必須實(shí)施哪些控制措施或?qū)嵺`?

部署智能體會(huì)引入一類新的威脅，必須以與其他任何關(guān)鍵系統(tǒng)相同的嚴(yán)格程度進(jìn)行管理，在上線之前，必須保護(hù)AI環(huán)境免受廣泛攻擊向量的侵害，包括提示注入、對(duì)抗性操縱和通過輸入泛濫或拒絕服務(wù)進(jìn)行的濫用，這需要強(qiáng)大的身份和訪問管理，包括對(duì)內(nèi)部用戶和集成系統(tǒng)的基于角色的控制，與AI交換的所有數(shù)據(jù)在傳輸和靜止時(shí)都必須加密，暴露的端點(diǎn)應(yīng)得到加固、監(jiān)控和速率限制。

AI模型本身必須被視為潛在的攻擊面，由于生成式模型對(duì)提示方式非常敏感，企業(yè)必須在各種條件下測(cè)試和驗(yàn)證提示，以防止意外行為。輸入/輸出過濾、結(jié)構(gòu)化響應(yīng)和受限生成等防護(hù)措施對(duì)于確保AI不會(huì)泄露敏感信息或生成不安全內(nèi)容至關(guān)重要。對(duì)提示、模型配置或系統(tǒng)指令的任何修改都必須記錄在案，并接受變更控制。

部署前的測(cè)試應(yīng)包括專門針對(duì)AI用例的紅隊(duì)演練和對(duì)抗性演練，這包括模擬提示注入、通過語言輸出進(jìn)行數(shù)據(jù)泄露、模型操縱和其他濫用場(chǎng)景。智能體的性能和行為不僅必須在正常負(fù)載下進(jìn)行評(píng)估，還必須在壓力條件和畸形輸入下進(jìn)行評(píng)估。對(duì)于連接到內(nèi)部數(shù)據(jù)的智能體，必須實(shí)施強(qiáng)大的分段和訪問控制，以確保AI不會(huì)超出其授權(quán)范圍行事。

一旦上線，持續(xù)監(jiān)控就變得至關(guān)重要。企業(yè)必須實(shí)施運(yùn)行時(shí)可觀察性，以檢測(cè)異常行為、意外輸出或安全策略違規(guī)，這包括記錄所有用戶交互的詳細(xì)信息，以便進(jìn)行審計(jì)和取證，同時(shí)實(shí)時(shí)標(biāo)記潛在的濫用行為。在適用的情況下，應(yīng)部署內(nèi)容審核管道或響應(yīng)驗(yàn)證層，以在不安輸出到達(dá)最終用戶之前進(jìn)行抑制或?qū)彶椤．?dāng)置信度較低或響應(yīng)行為偏離預(yù)期時(shí)，應(yīng)觸發(fā)回退機(jī)制，如路由至人工操作員。

網(wǎng)絡(luò)安全團(tuán)隊(duì)還應(yīng)制定針對(duì)AI的特定事件響應(yīng)計(jì)劃，這還應(yīng)涵蓋AI特有的新興故障模式，如模型幻覺、通過補(bǔ)全進(jìn)行的數(shù)據(jù)泄露、提示注入引起的行為變化或系統(tǒng)提示的利用。檢測(cè)規(guī)則、警報(bào)和劇本應(yīng)適應(yīng)這些新的風(fēng)險(xiǎn)類別。

最后，操作紀(jì)律至關(guān)重要，模型部署必須進(jìn)行版本控制，提示必須可審計(jì)，AI交互的遙測(cè)數(shù)據(jù)應(yīng)納入持續(xù)的威脅建模。如果AI與執(zhí)行操作(如執(zhí)行代碼或發(fā)送消息)的外部插件、API或智能體集成，則這些集成必須進(jìn)行沙盒隔離，并受嚴(yán)格的權(quán)限和審批工作流管理。