如何檢測并盡量減少AI模型中的幻覺？

作者：布加迪 2024-08-05 09:14:14

一些國家已開始起草有關(guān)AI模型的法規(guī)，以提供使用和適用性方面的框架。不妨弄清楚神經(jīng)網(wǎng)絡(luò)為何、如何開始產(chǎn)生幻覺，以及如何盡量避免這個(gè)問題。

譯者 | 布加迪

審校 | 重樓

我們幾乎每天都會(huì)聽到關(guān)于更廣泛地成功實(shí)施AI工具的故事。隨著ChatGPT、Midjourney及其他模型向公眾開放，越來越多的人開始在日常生活中依賴AI。

雖然機(jī)器學(xué)習(xí)算法很明顯能夠滿足更具挑戰(zhàn)性的需求，但它們還不夠完美。AI頻繁出現(xiàn)的幻覺問題阻礙它們成為人類最可靠的替代者。雖然對(duì)于普通用戶來說，AI錯(cuò)誤只是一笑了之的小故障，但對(duì)于業(yè)務(wù)流程來說，這種不可預(yù)測性可能導(dǎo)致各種后果，輕則失去客戶信任，重則官司纏身。

什么是AI幻覺?

雖然有時(shí)我們無法確定AI錯(cuò)誤的原因，但幻覺通常來源于生成式系統(tǒng)創(chuàng)建文本的方式。AI在響應(yīng)用戶的查詢時(shí)，根據(jù)一系列之前的數(shù)據(jù)給出一組可能的單詞。一些單詞跟在其他單詞之后的可能性不是確保最后一句話準(zhǔn)確的可靠方法。AI可以拼湊出聽起來似乎合理但不一定準(zhǔn)確的術(shù)語——在人類看來，這些術(shù)語可能看起來完全是無稽之談。一個(gè)例子是向ChatGPT詢問哪些國家有匹配和不匹配的結(jié)算市場。雖然它能夠提供“連續(xù)凈結(jié)算”(CNS)作為匹配結(jié)算系統(tǒng)的例子，但我對(duì)系統(tǒng)所在的國家(本例中是美國)感興趣，提示在這里生成了錯(cuò)誤的輸出。

然而，有時(shí)檢測AI幻覺可能來得比較棘手。雖然一些錯(cuò)誤很明顯，但其他錯(cuò)誤比較微妙，可能不會(huì)被人注意到，當(dāng)輸出是自動(dòng)處理的或者由在該領(lǐng)域?qū)I(yè)知識(shí)有限的人處理時(shí)尤為如此。未被發(fā)現(xiàn)的AI問題可能會(huì)導(dǎo)致不可預(yù)見、不想要的后果。在擁有準(zhǔn)確可靠信息至關(guān)重要的領(lǐng)域尤其如此。此外，一個(gè)提示越專門化，AI模型的準(zhǔn)確性通常可能因缺乏它可能參閱的支持性補(bǔ)充材料而有所不同。上面的CNS例子就是一個(gè)典例;我無法通過谷歌搜索找到國家列表，希望ChatGPT可以提供一份整合的列表，但后者面臨類似的障礙。

以下是因AI幻覺而出現(xiàn)的幾類常見問題：

不準(zhǔn)確的決策：AI幻覺可能導(dǎo)致不正確的決策和診斷，特別是在醫(yī)療保健或信息安全等準(zhǔn)確度至關(guān)重要的領(lǐng)域，對(duì)個(gè)人和企業(yè)都是有害的。
歧視性和冒犯性的結(jié)果：幻覺可能導(dǎo)致生成歧視性或冒犯性的結(jié)果，這可能會(huì)損害組織的聲譽(yù)，并導(dǎo)致道德和法律問題。
不可靠的分析：如果AI生成不準(zhǔn)確的數(shù)據(jù)，它可能導(dǎo)致不可靠的分析結(jié)果。組織可能會(huì)根據(jù)不正確的信息做出決策，結(jié)果可能付出高昂的代價(jià)。有時(shí)數(shù)據(jù)可能過時(shí)，一個(gè)典例就是ChatGPT的免費(fèi)版本，它只保存到2022年的數(shù)據(jù)，因此從中收集的數(shù)據(jù)可能不可靠。
倫理和法律問題：由于幻覺，AI模型可能會(huì)泄露敏感信息或生成冒犯性內(nèi)容，從而導(dǎo)致法律問題。
錯(cuò)誤信息：生成虛假信息會(huì)給公司和最終用戶帶來各種問題，比如破壞信任、傷害或負(fù)面影響公眾輿論。

為什么LLM會(huì)產(chǎn)生幻覺?

AI幻覺是一個(gè)復(fù)雜的問題，用戶和開發(fā)人員都不完全清楚其原因。以下是可能導(dǎo)致或促成幻覺的幾個(gè)關(guān)鍵因素：

訓(xùn)練數(shù)據(jù)不完整或有偏差。如果訓(xùn)練數(shù)據(jù)集有限及/或提示未全覆蓋可能的場景，模型可能無法充分響應(yīng)查詢。如果用于訓(xùn)練AI的數(shù)據(jù)含有偏差，模型輸出也會(huì)有這樣的偏差。
過度訓(xùn)練和缺乏上下文。使用特定數(shù)據(jù)過度訓(xùn)練的模型可能會(huì)喪失對(duì)新的、不可預(yù)見的情形做出適當(dāng)響應(yīng)的能力，尤其是在缺乏上下文信息的情況下。建議將數(shù)據(jù)集分為三種類型：訓(xùn)練數(shù)據(jù)、驗(yàn)證數(shù)據(jù)和測試數(shù)據(jù)，這種劃分確保了模型面對(duì)測試模型和樣本數(shù)據(jù)之外的數(shù)據(jù)都有上佳的表現(xiàn)。
誤解或不適當(dāng)?shù)哪Ｐ蛥?shù)大小。模型參數(shù)大小不當(dāng)可能會(huì)導(dǎo)致不可預(yù)測的AI行為，特別是在復(fù)雜查詢或不尋常情形下。
不清楚的提示。用戶使用時(shí)，模棱兩可或過于籠統(tǒng)的用戶查詢可能導(dǎo)致不可預(yù)測或不相關(guān)的響應(yīng)。

如何避免幻覺?

重要的是要記住，LLM就像“黑盒子”——就連數(shù)據(jù)科學(xué)家也無法完全遵循生成過程并預(yù)測輸出。這就是為什么無法百分之百保護(hù)貴公司不受AI幻覺的影響。目前，使用AI模型的公司需要專注于預(yù)防、檢測和盡量減少AI幻覺。以下是維護(hù)機(jī)器學(xué)習(xí)模型的幾個(gè)技巧：

徹底清理和準(zhǔn)備用于訓(xùn)練和調(diào)整AI模型的數(shù)據(jù)。這不僅需要?jiǎng)h除不相關(guān)或錯(cuò)誤的信息，還需要確保數(shù)據(jù)的多樣性，并代表不同的觀點(diǎn)。
注意AI模型的大小和復(fù)雜性。許多公司都在竭力開發(fā)更龐大、更復(fù)雜的AI模型，以提升它們的功能。然而，這也可能導(dǎo)致模型過度飽和，甚至對(duì)開發(fā)人員自己來說，解讀和解釋模型工作也是一個(gè)挑戰(zhàn)。

為了從一開始就避免這些不確定性和混亂，通過強(qiáng)調(diào)AI模型的可解讀性和可解釋性來規(guī)劃模型的開發(fā)很重要。這意味著記錄模型構(gòu)建過程，為關(guān)鍵利益相關(guān)者確保透明度，并選擇這樣一種架構(gòu)：盡管數(shù)據(jù)量和用戶需求不斷增長，仍易于解讀和解釋模型性能。這也將有助于滿足監(jiān)管要求，因?yàn)檫@個(gè)領(lǐng)域受到政府的嚴(yán)格審查。

進(jìn)行徹底的測試。AI模型測試不僅應(yīng)該包括標(biāo)準(zhǔn)查詢和處理常見輸入格式，還應(yīng)該分析其在極端條件下和處理復(fù)雜查詢時(shí)的行為。測試AI對(duì)各種輸入的響應(yīng)可以預(yù)測模型在各種情形下的表現(xiàn)。這可能有助于在用戶遇到不準(zhǔn)確的結(jié)果之前改進(jìn)數(shù)據(jù)和模型架構(gòu)。
確保人參與驗(yàn)證過程。這也許是識(shí)別可能不被自動(dòng)檢查注意的細(xì)微差別的關(guān)鍵。從事這項(xiàng)任務(wù)的人員應(yīng)該在AI和技術(shù)、客戶服務(wù)和合規(guī)等方面具備相應(yīng)的技能和經(jīng)驗(yàn)。
另一個(gè)關(guān)鍵因素是定期從最終用戶那里收集反饋，特別是在模型已經(jīng)實(shí)施、正在積極使用之后。AI模型的用戶可能會(huì)提供人工智能幻覺及其他偏差方面的寶貴見解。為了使這個(gè)過程有效，重要的是建立方便的、易于訪問的反饋渠道。
定期監(jiān)測和更新AI模型以保持其有效性很重要。應(yīng)該基于用戶反饋、團(tuán)隊(duì)研究、當(dāng)前行業(yè)趨勢(shì)以及來自質(zhì)保和監(jiān)測工具的性能數(shù)據(jù)進(jìn)行這番改進(jìn)。持續(xù)監(jiān)測模型性能并根據(jù)收集到的分析信息進(jìn)行主動(dòng)改進(jìn)，可以大大降低產(chǎn)生幻覺的風(fēng)險(xiǎn)。

如果你不使用AI模型來處理敏感信息，可以嘗試運(yùn)用搜索增強(qiáng)生成來減少幻覺的風(fēng)險(xiǎn)。AI將不再單單依賴現(xiàn)有的訓(xùn)練數(shù)據(jù)和來自用戶的上下文，而是將在網(wǎng)上搜索相關(guān)信息。然而，這項(xiàng)技術(shù)還沒有顯示出非常可靠的結(jié)果。未經(jīng)過濾的搜索結(jié)果有時(shí)就像AI模型幻覺一樣不真實(shí)。