到現在為止，我們仍舊對大模型「幻覺」如何、為何產生，知之甚少。

最近，來自Technion、谷歌和蘋果的研究人員發現，LLM「真實性」的信息集中在特定的token，而且并得均勻分布。

正如論文標題所示，「LLM知道的往往要比表現出來的更多」。

論文地址：https://arxiv.org/pdf/2410.02707

不僅如此，他們還發現，內部表征可以用來預測LLM可能會犯錯的錯誤類型。

它的優勢在于，未來有助于開發出針對性的解決方案。

最后，研究團隊還解釋了，大模型內部編碼和外部行為之間存在的差異：

它們可能在內部編碼了正確答案，卻持續生成錯誤答案。

幻覺，如何定義？

事實錯誤、偏見，以及推理失誤，這些統稱為「幻覺」。

以往，大多數關于幻覺的研究，都集中在分析大模型的外部行為，并檢查用戶如何感知這些錯誤。

然而，這些方法對模型本身如何編碼、處理錯誤提供了有限的見解。

近期另有一些研究表明，LLM內部狀態其實「知道」那些輸出可能是錯誤的，而且這種「知識」被編碼在模型內部狀態中。

這一發現可以幫助提高錯誤檢測的性能，并進一步緩解這些問題。

不過其中一個缺陷是，這些研究主要集中了檢驗模型生成最后一個token、或提示符中最后一個token。

由于LLM通常會生成長篇的相應，因此這一做法可能會錯過關鍵細節。

在最新研究中，研究團隊采取了不同的方法：

不只是看最終的輸出，而是分析「確切的答案token」，如若修改，將會改變答案的正確性的相應token。

最終證明了，LLM內部表征所包含的真實性信息，比以往要多得多。

但這種錯誤檢測器難以在不同數據集之間泛化，這說明真實性編碼并非統一的，而是多方面的。

更好的錯誤檢測

給定一個大模型M，輸入提示p、模型生成的響應?，任務預測?是正確還是錯誤的。

假設可以訪問LLM內部狀態（即白盒設置），但不能訪問任何外部資源（如搜索引擎或其他LLM）。

數據集使用的是，包含N個問題-標簽對，代表著一系列問題，代表著對應的真實答案。

對于每個問題q_i，作者讓模型M生成響應y_i，得到預測答案集。

接下來， 研究人員構建了錯誤檢測數據集，通過將每個生成的響應?_i與真實標簽y_i比較，以評估其正確性。

比較結果會產生出一個正確的標簽z_i ∈ {0, 1}（1表示正確，0表示錯誤）。

這種比較可以通過自動啟發式方法，在指令型LLM的協助下完成。

最終的錯誤檢測數據集為。其排除了LLM拒絕回答的情況，因為這些可以輕易地被分類為錯誤。

接下來，研究人員在Mistral 7B和Llama 2模型的四個變體上進行了實驗。

這些模型跨越了十個數據集，涵蓋了各種任務。

其中包括問答、自然語言推理、數學問題解決、情感分析。

他們允許模型生成不受限制的響應，來模擬真實世界的使用情況。

這里，一共用到了三種錯誤檢測方法：Aggregated probabilities / logits、P(True)、Probing。

精確答案token

現有的方法經常忽略一個關鍵的細微差別：用于錯誤檢測的token選擇，通常關注最后生成的token或取平均值。

然而，由于大模型通常會生成長篇回復，這種做法可能會錯過關鍵細節。

還有一些方法使用提示最后的一個token，但本質上是不正確的，因為大模型的單向性，未能考慮生成響應和丟失的情況，其中同一模型的不同采樣答案在不同情況下，有所不同正確性。

對此，研究人員檢查了以往未經檢查的token位置：確切的答案token，代表生成響應中最有意義的部分。

他們將精確答案token定義為那些修改會改變答案的正確性token，而忽略了后續生成的內容。

如下圖圖1，說明了不同的token位置。

實驗結果

真實性編碼模式

研究人員首先專注于探索分類器，以了解LLM的內部表征。

具體來說，廣泛分析了層和token選擇對這些分類器激活提取的影響。這是通過系統地探測模型的所有層來完成的，從最后一個問題token開始，一直到最終生成的token。

下圖2顯示了Mistral-7b-Instruct各個層和token中經過訓練的探測器的AUC指標。

雖然，某些數據似乎更容易進行錯誤預測，但所有數據集都表現出一致的真實性編碼模式。

對于token來說，提示后立即出現了強烈的真實性信號，表明這種表征編碼了有關模型正確回答問題的一般能力的信息。

對著文本生成的進行，該信號會減弱，但在確切的答案token處，再次達到峰值。

再生成過程即將結束時，信號強度再次上升，表明了該表征編碼了整個生成過程的特征，盡管它仍弱于確切答案token。

錯誤檢測結果

接下來，研究人員通過比較使用、不使用精確答案token的性能，來評估各種錯誤檢測方法。

表1比較了三個代表性數據集的AUC。

在這里，他們展示了最后一個精確答案token的結果，它的性能優于第一個精確答案token及其前面的token，而最后一個精確答案token之后的token性能類似。

合并精確答案token，有助于改進幾乎所有數據集中的不同錯誤檢測方法。

任務之間的泛化

以上，探測分類器在檢測錯誤方面有效性，表明了大模型對其輸出的真實性進行了編碼。

但目前仍不清楚的是，它們跨任務的通用性。

然而，理解這一點對于實際應用至關重要，因為錯誤檢測器可能會遇到與訓練時完全不同的示例。

因此，研究人員探討在一個數據集上訓練的探測器，是否可以檢測其他數據集的錯誤。

如下圖3顯示了Mistral-7b-Instruct的泛化結果。在這種情況下，高于0.5的值表明泛化成功。

乍一看，結果似乎與之前的研究一致：大多數熱圖值超過0.5，這意味著跨任務具有一定程度的泛化性。

然而，再仔細檢查，發現大部分性能可以通過基于logit的真實性檢測來實現，該檢測僅觀察輸出logits。

圖3b顯示了從最強的基于Logit的基線（Logit-min-exact）中減去結果后的相同熱圖。

這張 調整后的熱圖揭示了探測器的泛化能力很少超過單獨檢查 logits所能達到的效果。

這意味著明顯的概括并非源于真實性的普遍內部編碼，而是反映了已經可以通過邏 輯等外部特征獲取的信息。

調查錯誤類型

在確定了錯誤檢測的局限性后，研究人員轉向錯誤分析。

錯誤分類

圖4說明了，三種代表性的錯誤類型。

在其中一個（圖4a）中，模型通常會給出正確的答案，但偶爾會出錯，這意味著存在正確的信息，但采樣可能會導致錯誤。

在第二種類型中（圖4b），模型經常做出錯誤的響應，盡管它能夠提供正確的答案，這表明盡管不斷犯同樣的錯誤，但仍然保留了一些知識。

在第三種類型中（圖4c），模型生成了大多數答案都是錯誤的，反映出對任何生成的答案的信心較低。

研究人員通過記錄每個示例的三個特定特征來對錯誤進行分類：（a）生成的不同答案的數量；(b) 正確答案的頻率；(c) 最常見的錯誤答案的頻率。

預測錯誤類型

表2列出了所有模型的測試集結果。

檢測正確答案

最后，在確定模型編碼各種與真實性相關的信息后，作者又研究了這種內部真實性，如何在響應生成過程中，與外部行為保持一致。

為此，他們使用了探測器（5個經過錯誤檢測訓練），從針對同一問題生成的30個響應中，選擇一個答案。

然后，根據所選答案來衡量模型的準確性。

Mistral-7b-instruct的結果如下圖5所示，總體而言，使用探測器選擇答案可以提高大模型在所有檢查任務中的準確性。

總之，這項研究的發現，可以幫助未來研究人員去設計更好的幻覺環節系統。

遺憾的是，它使用的技術需要訪問內部LLM表征，這也主要適用于開源模型的使用。