對(duì)現(xiàn)實(shí)世界的影響

“如果一家公司的智能體利用了過時(shí)或不準(zhǔn)確的數(shù)據(jù)，AI幻覺可能會(huì)虛構(gòu)出并不存在的漏洞，或錯(cuò)誤解讀威脅情報(bào)，導(dǎo)致不必要的警報(bào)或忽視真正的風(fēng)險(xiǎn)。此類錯(cuò)誤可能會(huì)分散對(duì)真正威脅的注意力，創(chuàng)造新的漏洞，并浪費(fèi)本已緊張的安全運(yùn)營團(tuán)隊(duì)資源。”Tanium的AI副總裁Harman Kaur在接受采訪時(shí)表示。

一個(gè)新興的擔(dān)憂是“包幻覺”現(xiàn)象，即AI模型會(huì)建議不存在的軟件包，這一問題已被識(shí)別為供應(yīng)鏈攻擊的潛在媒介，被稱為“slopsquatting”。攻擊者可以利用這些幻覺，創(chuàng)建具有建議名稱的惡意軟件包，導(dǎo)致開發(fā)者無意中將有害代碼集成到他們的系統(tǒng)中。

“如果未經(jīng)徹底驗(yàn)證和人工審查就使用AI生成的代碼，可能會(huì)引入重大風(fēng)險(xiǎn)和復(fù)雜性。初級(jí)開發(fā)者尤其容易受到錯(cuò)誤代碼或配置文件的風(fēng)險(xiǎn)影響，因?yàn)樗麄內(nèi)狈ψ銐虻哪芰碚_審核代碼。對(duì)于高級(jí)開發(fā)者而言，他們可能會(huì)及時(shí)發(fā)現(xiàn)錯(cuò)誤，然而，越來越多的人過度依賴GenAI，盲目信任其輸出。”ImmuniWeb的CEO Ilia Kolochenko表示。

另一個(gè)擔(dān)憂是AI可能產(chǎn)生虛假的威脅情報(bào)，如果這些報(bào)告被當(dāng)作事實(shí)接受，可能會(huì)分散對(duì)實(shí)際威脅的注意力，導(dǎo)致真正的漏洞得不到處理。當(dāng)AI輸出未與可靠來源進(jìn)行交叉驗(yàn)證時(shí)，風(fēng)險(xiǎn)會(huì)進(jìn)一步加劇。

緩解AI幻覺的策略

“AI幻覺是概率模型的預(yù)期副產(chǎn)品，”Qwiet AI的CTO Chetan Conikee解釋道，他強(qiáng)調(diào)重點(diǎn)不應(yīng)放在完全消除它們上，而是放在最小化對(duì)運(yùn)營的影響上。“CISO的首要任務(wù)應(yīng)該是通過設(shè)計(jì)、監(jiān)控和政策來限制運(yùn)營影響。”

這始于有意的架構(gòu)設(shè)計(jì)，Conikee建議在AI系統(tǒng)周圍實(shí)施結(jié)構(gòu)化的信任框架，這種方法包括實(shí)用的中間件，通過確定性檢查和特定領(lǐng)域過濾器來審查輸入和輸出，這一步驟確保模型不在孤立環(huán)境中運(yùn)行，而是在明確界定的范圍內(nèi)運(yùn)行，反映企業(yè)的需求和安全態(tài)勢(shì)。

可追溯性是另一個(gè)基石。“所有AI生成的響應(yīng)都必須包含元數(shù)據(jù)，包括來源上下文、模型版本、提示結(jié)構(gòu)和時(shí)間戳。”Conikee指出。當(dāng)出現(xiàn)不準(zhǔn)確時(shí)，此類元數(shù)據(jù)能夠加快審計(jì)和根本原因分析的速度，這是將AI輸出集成到業(yè)務(wù)運(yùn)營或面向客戶的工具中的關(guān)鍵保障措施。

對(duì)于部署大型語言模型(LLM)的企業(yè)，Conikee建議除非必要，否則應(yīng)避免開放式生成。相反，企業(yè)應(yīng)依賴基于精心策劃的內(nèi)部知識(shí)庫的檢索增強(qiáng)生成(RAG)。“這確保了模型從經(jīng)過驗(yàn)證的信息中提取數(shù)據(jù)，并與內(nèi)部標(biāo)準(zhǔn)保持一致。”Conikee解釋道。

嚴(yán)格的測(cè)試也很重要。“在測(cè)試階段應(yīng)納入幻覺檢測(cè)工具，”Conikee說。在模型進(jìn)入生產(chǎn)環(huán)境之前，安全領(lǐng)導(dǎo)者應(yīng)定義可接受的風(fēng)險(xiǎn)閾值和故障模式。“目標(biāo)不是完美的準(zhǔn)確性，而是對(duì)GenAI的使用地點(diǎn)和方式進(jìn)行可衡量和可審計(jì)的控制。”

通過將信任、可追溯性和控制嵌入到AI部署中，CISO可以在創(chuàng)新與責(zé)任之間取得平衡，在不影響進(jìn)展的情況下控制幻覺：

1. 實(shí)施檢索增強(qiáng)生成(RAG)：RAG結(jié)合了AI的生成能力與從經(jīng)過驗(yàn)證的數(shù)據(jù)源中提取信息的檢索系統(tǒng)，這種方法使AI輸出基于事實(shí)數(shù)據(jù)，降低了產(chǎn)生幻覺的可能性。

2. 采用自動(dòng)化推理工具：像亞馬遜這樣的公司正在開發(fā)使用數(shù)學(xué)證明來驗(yàn)證AI輸出的工具，確保它們與既定規(guī)則和政策保持一致，這些工具可以提供一層保障，特別是在關(guān)鍵應(yīng)用中。

3. 定期更新訓(xùn)練數(shù)據(jù)：確保AI系統(tǒng)基于當(dāng)前和準(zhǔn)確的數(shù)據(jù)進(jìn)行訓(xùn)練，可以最小化產(chǎn)生幻覺的風(fēng)險(xiǎn)，過時(shí)或有偏見的數(shù)據(jù)可能導(dǎo)致AI生成不正確的輸出。

4. 融入人工監(jiān)督：在關(guān)鍵場(chǎng)景中，人類專家應(yīng)審查AI生成的輸出，這種監(jiān)督可以捕捉AI可能遺漏的錯(cuò)誤，并提供AI所缺乏的上下文。

5. 教育用戶了解AI的局限性：培訓(xùn)用戶了解AI的能力和局限性，可以培養(yǎng)對(duì)AI輸出的健康懷疑態(tài)度，鼓勵(lì)用戶驗(yàn)證AI生成的信息，可以防止不準(zhǔn)確信息的傳播。

GuidePoint Security的進(jìn)攻性安全高級(jí)副總裁Victor Wieczorek解釋說：“我們需要實(shí)際的護(hù)欄，這意味著將AI響應(yīng)直接與記錄的政策相關(guān)聯(lián)，標(biāo)記或記錄高風(fēng)險(xiǎn)輸出，并確保在重大事項(xiàng)到達(dá)客戶之前由人類進(jìn)行審查。將模型視為一名新實(shí)習(xí)生：它可以幫助起草想法和處理常規(guī)問題，但不應(yīng)就任何敏感事項(xiàng)做出最終決定。”