大語言模型（LMs）在許多自然語言處理任務上表現優異，但它們在記憶和回憶不太常見或不流行的事實知識方面存在明顯的局限性。并且，當涉及到長尾實體（即那些在網絡上討論較少、出現頻率較低的實體）的問題時，LMs 的性能顯著下降，并且增加模型規模并不能有效地解決這一問題。

此外，LMs 對于自身知識邊界的認識有限，有時會產生幻覺，即生成看似合理但實際上錯誤的信息。這種不確定性以及對模型輸出的信任問題，在實際應用中部署 LMs 時顯得尤為重要。

因此，何時應該依賴LMs的參數知識（即存儲在其參數中的知識）？何時不應該信任其輸出？以及如何通過非參數記憶（例如檢索增強技術）來彌補參數記憶的不足？來自艾倫人工智能研究院發表在2023年ACL的一篇論文《When Not to Trust Language Models: Investigating Effectiveness of Parametric and Non-Parametric Memories》深入探究了這些問題，并提出了極具啟發性的解決方案。

1、大模型的“記憶困境”：何時不該信任它們？

為了評估LMs在記憶事實知識的能力，通過閉卷問答（QA）任務來評估，并使用少量樣本進行測試。簡單來看下作者的評估思路：

研究重點和任務

研究重點：事實知識。這項工作關注于實體的具體細節知識，將事實知識定義為一個三元組（主體、關系、對象）。如圖2左圖

任務格式：開放域問答（QA）。將任務構建為開放域QA，即給定一個問題，模型需要在沒有任何預給定段落的情況下預測答案。

評估指標：準確率。如果預測的任何子串與任何金標準答案完全匹配，則將預測標記為正確。

分析維度

作者們假設在Web上討論較少的事實知識可能不會被LMs很好地記憶。先前的研究通常使用預訓練語料庫中對象實體的詞頻來理解記憶能力。相反，本文通過研究是否可以根據輸入問題中的信息預測記憶，并據此改進模型。因此，本文工作集中在事實知識三元組中的另外兩個變量：主體實體和關系類型。

主體實體流行度：使用Wikipedia月度頁面瀏覽量作為實體流行度的衡量標準，以此來代理實體在網絡上被討論的頻率。

關系類型：也考慮了關系類型作為事實知識記憶的關鍵因素。

基準數據集

PopQA：現有的常見開放領域 QA 數據集（如Natural Questions，NQ）通常由高流行度的主體實體主導，并且由于問題表面形式的多樣性，通常很難識別關系類型。為了能夠基于上述分析維度對記憶能力進行細粒度分析，構建了一個新的大規模實體中心開放域QA數據集，包含14k個問題，覆蓋了可能在流行QA數據集中被遺漏的長尾實體的事實信息。

PopQA構建流程如下：使用了維基百科頁面的瀏覽量作為衡量實體受歡迎程度的標準，從 Wikidata 中隨機抽取了 16 種不同關系類型的知識三元組，并使用自然語言模板將其轉換為自然語言問題。

問題的可接受答案集是滿足知識圖譜中存在(S,R,E) 的實體集E。

EntityQuestions：這是另一個廣泛使用的開放領域問答數據集，它也具有長尾分布的特點，即大部分問題是關于不太流行的實體。

EntityQuestions：另一個流行的開放域QA數據集，也涵蓋了長尾實體分布。

結果

整體模型性能：圖 4 的左上角展示了模型在 PopQA 上的整體表現，結果顯示，即使沒有使用上下文示例，較大的LMs也能展現出合理的性能。

主體實體流行度預測記憶：圖 4（底部）顯示，幾乎所有關系類型的主體實體流行度與模型準確率之間都存在正相關關系。總體而言，主體實體流行度與準確率之間的相關性在較大的 LMs 中更強；GPT-3 003 顯示出最高的正相關性（約為 0.4），而 GPT-Neo-1.3B 的相關性相對較弱（約為 0.1）。

關系類型影響記憶：在圖 4 中可以看到，模型對某些關系類型的平均性能高于其他類型。這表明某些關系類型的事實知識比其他類型更容易記憶。同時，對于某些關系類型的問題，模型可能不需要記憶知識三元組就能通過利用表面線索來猜測答案。例如，某些關系類型（如國籍）允許模型利用主體實體名稱中的表面線索。此外，模型通常對答案實體數量較少的問題輸出最主導的答案實體（例如，對于顏色關系類型的問題，答案是“紅色”）。

擴展可能不會幫助尾部知識：如圖 4 左側所示，隨著模型規模的擴大，PopQA 數據集上的整體表現有所提升。然而，圖 5 顯示，在 PopQA 和 EntityQuestions 上，模型規模的增加對于流行度較低的問題的性能改善相對較小。

關系類型結果分解：圖 6 更詳細地展示了流行度、準確率和關系類型之間的關系，顯示了不同模型在導演和國家關系類型上的準確性與流行度分布。對于前兩種類型，可以看到流行度與準確性之間存在明顯的正趨勢，并且隨著模型規模的增大，LMs記憶的知識也更多。另一方面，在“國家”關系類型中，沒有模型顯示出趨勢，而整體準確性較高，表明LMs經常利用線索來回答不太流行的問題。

2、檢索增強：為大模型“補課”

前面分析表明，即使是當前最先進的 LMs 在處理不太受歡迎的主體或某些關系類型時也存在困難，并且增加模型規模并不會帶來進一步的性能提升。因此下面探索研究了檢索增強 LMs的有效性，這些模型利用非參數記憶（即檢索到的文本）來提高性能。

實驗設置：采用了簡單直接的方式將檢索到的上下文與原始問題連接起來。從維基百科中獲取相關段落來作為附加的上下文信息，使用BM25和神經密集檢索器作為檢索模型。BM25是一種基于統計信息檢索的算法，而神經密集檢索器則利用深度學習技術來計算文檔與查詢之間的相似度。

結果

圖7顯示，檢索顯著提升了性能，一個較小的 LM（例如，GPT-Neo 2.7B）通過 Contriever 檢索增強后，表現優于普通的 GPT-3。

對不流行實體的幫助

對于主體實體不太受歡迎的問題，非參數記憶顯著提升了所有測試模型的表現。例如，在PopQA數據集中最不受歡迎的4000個問題上，基于神經密集檢索器增強的GPT-neo 2.7B模型甚至超過了強大的GPT-3 davinci-003模型。

對流行實體可能造成的誤導

然而，對于關于流行實體的問題，檢索增強可能會導致大型LMs表現下降。這是因為檢索到的上下文有時會誤導這些已經能夠很好地記住相關信息的模型。對于 10% 的問題，檢索增強導致 LM 錯誤地回答了它本可以正確回答的問題。

3、Adaptive Retrieval：自適應檢索

雖然引入非參數記憶有助于處理長尾分布，但強大的 LMs 已經記憶了流行實體的事實知識，檢索增強可能會帶來負面影響。于是本文探索了一種兩全其美的方法，即自適應檢索（Adaptive Retrieval），該方法僅根據輸入查詢信息決定何時檢索段落，并在必要時使用檢索到的非參數記憶增強輸入。

自適應檢索基于這樣的發現：當前最佳的LMs已經記憶了更受歡迎的知識，因此只有在它們沒有記憶事實知識并且需要找到外部非參數知識時才使用檢索。

使用PopQA 數據集來選擇一個基于輸入查詢信息的流行度閾值，并且僅在低于該閾值的情況下才進行檢索。對于更受歡迎的實體，則不使用檢索。閾值是獨立為每種關系類型確定的。

流行度閾值確定

采用暴力搜索（Brute Force Search）的方法來選擇閾值。具體步驟如下：

1. 定義自適應準確率：自適應準確率是指在給定的流行度閾值下，模型的綜合表現。具體來說：

• 對于流行度低于閾值的問題，模型使用檢索增強（非參數記憶）的結果。
• 對于流行度高于或等于閾值的問題，模型使用自身的參數記憶（即不進行檢索）的結果。

2. 搜索最優閾值：通過暴力搜索的方式，嘗試不同的流行度閾值，并計算每個閾值下的自適應準確率。最終選擇使自適應準確率達到最高的那個閾值。

性能提升結果

圖9顯示了基于每種關系類型的閾值自適應檢索非參數記憶的結果。可以看出，對于較大的模型，自適應檢索非參數記憶是有效的。在POPQA上的最佳性能是使用GPT-3 davinci-003自適應地與GenRead和Contriever結合，準確率達到了46.5%，比任何非自適應方法高出5.3%。

閾值隨模型規模變化

盡管自適應檢索對較大模型顯示出性能提升，但較小模型并沒有實現相同的性能提升。圖10顯示，較小的LMs幾乎總是需要檢索，表明對于小LMs，參數記憶并不比非參數記憶更可靠。相比之下，大型模型通常檢索得少得多。例如，GPT-3 davinci-003僅對40%的問題進行檢索，而較小的GPT-NeoX 20B也不在超過20%的問題上檢索文檔。

推理成本降低

自適應檢索還提高了效率；如果我們知道不需要檢索文檔，我們可以跳過檢索組件，并且輸入長度變得更短，這在檢索和語言模型組件中都提高了延遲。圖11顯示了GPT-J 6B和GPT-NeoX 20B的推理延遲，以及GPT-3的API成本。特別是對于較大的LMs，連接檢索上下文會導致顯著增加的延遲（例如，對于GPT-J 6B，推理時間延遲幾乎翻倍）。自適應檢索能夠將推理時間降低高達9%，從標準檢索中節省成本。圖12顯示了EntityQuestions的準確率和成本節省。盡管EntityQuestions缺乏流行實體，但自適應檢索能夠減少API成本15%，同時保持與僅檢索相當的性能。

4、總結

這篇論文深入探討了在什么情況下為大型語言模型（LLM）應用檢索增強生成技術會更有效果。并提供了一種有效的解決方案，幫助我們更合理地應用檢索增強技術，讓語言模型在更多場景下發揮出更好的性能。

但是對于自適應的方式，采用暴力搜索的方式選取自適應閾值，尤其是在效率和可擴展性方面存在明顯的局限性。這種基于暴力搜索的策略需要對大量可能的閾值進行遍歷，計算成本較高，且難以適應動態變化的數據分布或大規模應用場景。因此，探索更高效、更智能的閾值選擇方法值得研究。