最近 ??OpenAI?? 發(fā)表了一篇文章《Why Language Models Hallucinate》，解釋為什么會(huì)出現(xiàn) "幻覺"，周末我讀了一下，總結(jié)這篇文章。

什么是"幻覺"？

幻覺是語(yǔ)言模型生成了似是而非的答案，即使很簡(jiǎn)單的問題，但是模型可能給出一些不符合事實(shí)的答案，比如：

問題：請(qǐng)用一句話回復(fù)，其中第三個(gè)詞是 “dog”
回答：I have a dog. 詞列表：I, have, dog, a.

以上就是一個(gè) "幻覺" 錯(cuò)誤，??dog?? 并不是第三個(gè)詞。

幻覺分類：

• 內(nèi)在幻覺（Intrinsic Hallucinations）：生成的內(nèi)容與輸入的源信息沖突，類似上面的這個(gè)問題。
• 外在幻覺（Extrinsic Hallucinations）：生成了與源信息無(wú)關(guān)的內(nèi)容，大部分情況是沒有原始事實(shí)，會(huì)導(dǎo)致大模型開始 “胡說八道”。

為什么會(huì)出現(xiàn) "幻覺"？

錯(cuò)誤的獎(jiǎng)勵(lì)機(jī)制

"幻覺" 出現(xiàn)的一個(gè)原因源于目前的評(píng)估方法所設(shè)的錯(cuò)誤獎(jiǎng)勵(lì)機(jī)制。想像一下我們?cè)谧鲞x擇題的時(shí)候，對(duì)于不知道答案的情況下，我們會(huì)怎么選擇？我們直接回答不知道，還是猜測(cè)一個(gè)答案？大家應(yīng)該更傾向猜測(cè)一個(gè)答案，畢竟有一定的概率猜中答案，這樣就能獲得分?jǐn)?shù)，如果留空則沒有獎(jiǎng)勵(lì)分?jǐn)?shù)。同樣，如果只以準(zhǔn)確度（即完全答對(duì)問題的百分比）來為模型評(píng)分，那就會(huì)鼓勵(lì)模型猜測(cè)，而不是說"我不知道"。所以根本原因是模型在訓(xùn)練過程中，并沒有將棄權(quán)作為評(píng)估模型的一個(gè)指標(biāo)，而是根據(jù)準(zhǔn)確度來排列模型的先后次序。

以上是大模型幻覺率的排行榜，可以看到 "幻覺" 并不是模型越大，"幻覺" 就越低，而是和本身的模型評(píng)分標(biāo)準(zhǔn)相關(guān)。盡管知道錯(cuò)誤的獎(jiǎng)勵(lì)機(jī)制會(huì)導(dǎo)致 "幻覺" 的出現(xiàn)，但衡量準(zhǔn)確度的評(píng)分機(jī)制仍在排行榜和模型資料卡上占據(jù)主導(dǎo)地位，促使開發(fā)人員建立傾向猜測(cè)而非選擇不作答的模型，這樣就進(jìn)一步加劇模型更加自信的提供錯(cuò)誤答案。

預(yù)訓(xùn)練數(shù)據(jù)和微調(diào)問題

"幻覺" 出現(xiàn)的另一個(gè)原因就是預(yù)訓(xùn)練本身就是概率預(yù)測(cè)下一個(gè)詞，這里必然存在一定概率出現(xiàn)非事實(shí)回答，這個(gè)時(shí)候有人可能會(huì)說：為啥拼寫和符號(hào)等問題不會(huì)錯(cuò)？這個(gè)是由于某些事實(shí)的數(shù)據(jù)量小，或者事實(shí)沒有規(guī)律可言的情況下，模型只能按照概率選擇下一個(gè)詞，導(dǎo)致開始 "胡說八道"，所以模型的學(xué)習(xí)目標(biāo)（最小化交叉熵?fù)p失進(jìn)行概率密度估計(jì)）在統(tǒng)計(jì)上必然會(huì)導(dǎo)致其生成錯(cuò)誤。

同時(shí)，Gekhman等人在研究中討論了一個(gè)問題：用新知識(shí)進(jìn)行LLM微調(diào)是否會(huì)促使幻覺現(xiàn)象的發(fā)生。發(fā)現(xiàn) ??LLM?? 學(xué)習(xí)帶有新知識(shí)的樣本，要比學(xué)習(xí)與模型預(yù)先存在的知識(shí)樣本，學(xué)得更慢，一旦學(xué)習(xí)了這些帶有新知識(shí)的樣本，模型產(chǎn)生幻覺的傾向就會(huì)增加。

如何減少 "幻覺"？

基于如上兩個(gè)出現(xiàn)的原因，其對(duì)應(yīng)方案如下。

完善的評(píng)分準(zhǔn)則

對(duì)于模型訓(xùn)練過程中相對(duì)于表示不確定答案，向自信的錯(cuò)誤答案施予更嚴(yán)重的懲罰，并對(duì)表示不確定的答案給予部分分?jǐn)?shù)。論文中認(rèn)為只針對(duì)表示不確定的答案增設(shè)若干新測(cè)試尚不足夠，更有必要更新以準(zhǔn)確度為基礎(chǔ)的熱門評(píng)估機(jī)制，借此令評(píng)分標(biāo)準(zhǔn)不再鼓勵(lì)猜測(cè)。假如主要的評(píng)分機(jī)制持續(xù)獎(jiǎng)勵(lì)僥幸猜測(cè)，模型就會(huì)持續(xù)學(xué)習(xí)猜想答案，修定評(píng)分機(jī)制更有助擴(kuò)大幻覺減少技術(shù)的采納范圍。

提升訓(xùn)練數(shù)據(jù)質(zhì)量或者引入外部數(shù)據(jù)

分布偏移：當(dāng)測(cè)試或用戶提問的分布與訓(xùn)練數(shù)據(jù)分布不同時(shí)（OOD），模型更易出錯(cuò)。垃圾進(jìn)，垃圾出：訓(xùn)練數(shù)據(jù)本身包含的錯(cuò)誤、半真半假的信息和偏見，會(huì)被模型學(xué)習(xí)并復(fù)制。所以高質(zhì)量的訓(xùn)練數(shù)據(jù)對(duì)于模型是非常重要的，對(duì)于模型不了解的知識(shí)，應(yīng)選擇類似 ??RAG?? 等外部數(shù)據(jù)源，補(bǔ)充一些事實(shí)的缺失問題。

參考

（1）??https://zhuanlan.zhihu.com/p/721611756??

（2）https://openai.com/zh-Hant-HK/index/why-language-models-hallucinate/

本文轉(zhuǎn)載自??周末程序猿??，作者：周末程序猿