大型語言模型 (LLM) 已通過 In-context Learning 在各種復雜任務上展現(xiàn)出卓越的性能，并且無需針對特定任務進行訓練或微調，近期 prompt 和解碼方面取得的進展也使 LLM 解決復雜推理任務變成了現(xiàn)實。

然而，LLM 可能會存儲過時、不全面或不正確的知識，要將 LLM 成功部署到實際應用中，外部知識來源（例如維基百科）至關重要。此前，人們嘗試將知識用于較小的語言模型 (LM)，例如 T5、BERT 和 RoBERTa，但這些方法通常需要額外的訓練或微調，成本高昂，對于 LLM 來說完全不切實際。

基于此，來自羅徹斯特大學、騰訊 AI Lab 和賓夕法尼亞大學的研究者聯(lián)合提出了一種稱為 Rethinking with Retrieval (RR) 的后處理方法，以在 LLM 中利用外部知識。 

論文地址：https://arxiv.org/pdf/2301.00303v1.pdf

該研究的思路是首先使用思維鏈 (chain-of-thought，CoT) prompting 方法生成一組不同的推理路徑，類似于 Wang et al. (2022) 的方法。然后該研究使用這些路徑中的每個推理步驟來檢索相關的外部知識，讓 RR 方法可以提供更合理的解釋和更準確的預測。

該研究使用 GPT-3 175B 和幾種常見的外部知識源（維基百科、維基數(shù)據(jù)、WordNet 和 Conceptnet）來評估 RR 方法在三個復雜推理任務上的有效性，包括常識推理、時序推理和表格推理。實驗結果表明，無需額外的訓練或微調，RR 在這三項任務上始終優(yōu)于其他方法，這表明 RR 方法在利用外部知識來提高 LLM 性能方面具有很大優(yōu)勢。

利用檢索進行重新思考

實際上，盡管 LLM 已準確捕捉了回答問題所需的要素，但這些模型有時還是會生成錯誤的結果。這種現(xiàn)象說明 LLM 存儲和檢索知識的方式存在一些問題，包括：

• 預訓練語料庫中存在過時、不正確或缺失的相關知識； 
• 預訓練時對相關知識的存儲有誤； 
• 推理階段對相關知識的錯誤檢索。

RR 方法的大致思路如下：給定一個輸入問題 Q，RR 方法先利用思維鏈（chain-of though）prompting 生成一組不同的推理路徑 R_1、R_2、……、R_N，其中每個推理路徑 R_i 由解釋 E_i 和跟在其后的預測 P_i 組成，然后再從合適的知識庫 KB 中檢索相關知識 K_1、……、K_M 來支持每個推理路徑中的解釋，并選擇最符合該知識的預測。

思維鏈（CoT）prompting。與標準 prompting 明顯不同，CoT prompting 包括在 prompting 中進行分步推理實例演示來生成一系列捕獲推理過程的短句。

例如，給定輸入問題：「亞里士多德使用筆記本電腦嗎？」CoT prompting 旨在生成完整的推理路徑：

CoT prompting 的推理過程為：「亞里士多德死于公元前 322 年。第一臺筆記本電腦于 1980 年發(fā)明。因此，亞里士多德沒有使用筆記本電腦。所以答案是 no。」而非簡單地輸出「No」。

對不同的推理路徑采樣。與 Wang et al. (2022) 相似，該研究對一組不同的推理路徑 R_1、R_2、……、R_N 進行了采樣，而不是像 Wei et al. (2022) 那樣只考慮最優(yōu)比例路徑（greedy path）。對于「亞里士多德是否使用筆記本電腦？」這一問題，可能的推理路徑如下：

(R_1) 亞里士多德死于 2000 年。第一臺筆記本電腦發(fā)明于 1980 年。因此，亞里士多德使用過筆記本電腦。所以該問題的答案為是。

(R_2) 亞里士多德于公元前 322 年去世。第一臺筆記本電腦發(fā)明于 2000 年。因此，亞里士多德沒有使用過筆記本電腦。所以答案為否。

知識檢索。不同的知識庫可以用來處理不同的任務。例如，為了解決「亞里士多德使用筆記本電腦了嗎？」這個問題，我們可以使用維基百科作為外部知識庫 KB。信息檢索技術可用于基于分解的推理步驟從維基百科中檢索相關知識 K_1、……K_M。理想情況下，針對此問題我們可以從維基百科中獲得以下兩段內容：

(K_1) 亞里士多德（公元前 384 至公元前 322 年）是古希臘古典時期的希臘哲學家和博學大師

(K_2) 第一臺筆記本電腦 Epson HX-20 于 1980 年發(fā)明……

忠實的推理。我們可以使用函數(shù) f_KB（R_i）來估算每個推理路徑 R_i 的置信度，該函數(shù)建立在從知識庫 KB 檢索的相關知識 K_1、……、K_M 基礎之上。最終的預測可以通過運用以下推斷過程來獲得：

實驗評估

本節(jié)中，該研究介紹了 RR 在三個復雜推理任務上的評估：常識推理、時序推理和表格推理。

實驗設置。在所有實驗中，除非另有說明，該研究都使用 GPT-3 text-davinci-002。實驗完成期間生成的最大 token 數(shù)量被設置為 256，zero-shot、few-shot 以及 chain-of-thought prompting，溫度參數(shù)（temperature）固定設置為 0。

結果。如表 1 所示，本文提出的方法 RR，在所有三個推理任務上始終優(yōu)于所有基準，而無需額外的訓練或微調。這些結果凸顯出了 RR 在利用外部知識提高 LLM 表現(xiàn)方面的有效性。

該研究在 StrategyQA 數(shù)據(jù)集上展示了帶有 CoT prompting 方法的關于 GPT-3 的分析。在仔細檢查 GPT-3 的輸出后，該研究觀察到 RR 可以為許多問題提供合理的解釋和正確的預測。例如，當給出「佐治亞州的奧爾巴尼會在紐約州的奧爾巴尼之前先達到十萬名住戶嗎？」這個問題時，GPT-3 產生了以下輸出：

總體來看對于問題的輸出答案質量很高。然而，該研究也觀察到 GPT-3 可能偶爾會為其解釋提供不正確的事實支持，或為其預測做出不正確的推理，盡管它通常能夠識別出合適的觀點。

錯誤的支持事實。如表 2 所示，GPT-3 為 Lil Jon 在 Billboard 榜單中排名最高的歌曲提供了錯誤的事實支持，指出排名最高的歌曲是 Get Low 而非正確答案 Yeah。另外，GPT-3 還做出了錯誤的推理，即富士山的山頂不會高于日本海，而不是正確答案會高于。

更多技術細節(jié)請參閱原論文。