「任何認為自動回歸式 LLM 已經接近人類水平的 AI，或者僅僅需要擴大規模就能達到人類水平的人，都必須讀一讀這個。AR-LLM 的推理和規劃能力非常有限，要解決這個問題，并不是把它們變大、用更多數據進行訓練就能解決的。」

一直以來，圖靈獎得主 Yann LeCun 就是 LLM 的「質疑者」，而自回歸模型是 GPT 系列 LLM 模型所依賴的學習范式。他不止一次公開表達過對自回歸和 LLM 的批評，并產出了不少金句，比如：

「從現在起 5 年內，沒有哪個頭腦正常的人會使用自回歸模型。」

「自回歸生成模型弱爆了！（Auto-Regressive Generative Models suck!）」

「LLM 對世界的理解非常膚淺。」

讓 LeCun 近日再次發出疾呼的，是兩篇新發布的論文：

「LLM 真的能像文獻中所說的那樣自我批判（并迭代改進）其解決方案嗎？我們小組的兩篇新論文在推理 (https://arxiv.org/abs/2310.12397) 和規劃 (https://arxiv.org/abs/2310.08118) 任務中對這些說法進行了調查（并提出了質疑）。」

看起來，這兩篇關于調查 GPT-4 的驗證和自我批判能力的論文的主題引起了很多人的共鳴。

論文作者表示，他們同樣認為 LLM 是了不起的「創意生成器」（無論是語言形式還是代碼形式），只是它們無法保證自己的規劃 / 推理能力。因此，它們最好在 LLM-Modulo 環境中使用（環路中要么有一個可靠的推理者，要么有一個人類專家）。自我批判需要驗證，而驗證是推理的一種形式（因此對所有關于 LLM 自我批判能力的說法都感到驚訝）。

同時，質疑的聲音也是存在的：「卷積網絡的推理能力更加有限，但這并沒有阻止 AlphaZero 的工作出現。這都是關于推理過程和建立的 (RL) 反饋循環。我認為模型能力可以進行極其深入的推理（例如研究級數學）。」

對此，LeCun 的想法是：「AlphaZero「確實」執行規劃。這是通過蒙特卡洛樹搜索完成的，使用卷積網絡提出好的動作，并使用另一個卷積網絡來評估位置。探索這棵樹所花費的時間可能是無限的，這就是推理和規劃。」

在未來的一段時間內，自回歸 LLM 是否具備推理和規劃能力的話題或許都不會有定論。

接下來，我們可以先看看這兩篇新論文講了什么。

論文 1：GPT-4 Doesn’t Know It’s Wrong: An Analysis of Iterative Prompting for Reasoning Problems

第一篇論文引發了研究者對最先進的 LLM 具有自我批判能力的質疑，包括 GPT-4 在內。

論文地址：https://arxiv.org/pdf/2310.12397.pdf

接下來我們看看論文簡介。

人們對大型語言模型（LLM）的推理能力一直存在相當大的分歧，最初，研究者樂觀的認為 LLM 的推理能力隨著模型規模的擴大會自動出現，然而，隨著更多失敗案例的出現，人們的期望不再那么強烈。之后，研究者普遍認為 LLM 具有自我批判（ self-critique ）的能力，并以迭代的方式改進 LLM 的解決方案，這一觀點被廣泛傳播。

然而事實真的是這樣嗎？

來自亞利桑那州立大學的研究者在新的研究中檢驗了 LLM 的推理能力。具體而言，他們重點研究了迭代提示（iterative prompting）在圖著色問題（是最著名的 NP - 完全問題之一）中的有效性。

該研究表明（i）LLM 不擅長解決圖著色實例（ii）LLM 不擅長驗證解決方案，因此在迭代模式下無效。從而，本文的結果引發了人們對最先進的 LLM 自我批判能力的質疑。

論文給出了一些實驗結果，例如，在直接模式下，LLM 在解決圖著色實例方面非常糟糕，此外，研究還發現 LLM 并不擅長驗證解決方案。然而更糟糕的是，系統無法識別正確的顏色，最終得到錯誤的顏色。

如下圖是對圖著色問題的評估，在該設置下，GPT-4 可以以獨立和自我批判的模式猜測顏色。在自我批判回路之外還有一個外部聲音驗證器。

結果表明 GPT4 在猜測顏色方面的準確率低于 20%，更令人驚訝的是，自我批判模式（下圖第二欄）的準確率最低。本文還研究了相關問題：如果外部聲音驗證器對 GPT-4 猜測的顏色提供可證明正確的批判，GPT-4 是否會改進其解決方案。在這種情況下，反向提示確實可以提高性能。

即使 GPT-4 偶然猜出了一個有效的顏色，它的自我批判可能會讓它產生幻覺，認為不存在違規行為。

最后，作者給出總結，對于圖著色問題：

• 自我批判實際上會損害 LLM 的性能，因為 GPT-4 在驗證方面很糟糕；
• 來自外部驗證器的反饋確實能提高 LLM 的性能。

論文 2：Can Large Language Models Really Improve by Self-critiquing Their Own Plans?

在論文《Can Large Language Models Really Improve by Self-critiquing Their Own Plans?》中，研究團隊探究了 LLM 在規劃（planning）的情境下自我驗證 / 批判的能力。

這篇論文對 LLM 批判自身輸出結果的能力進行了系統研究，特別是在經典規劃問題的背景下。雖然最近的研究對 LLM 的自我批判潛力持樂觀態度，尤其是在迭代環境中，但這項研究卻提出了不同的觀點。

論文地址：https://arxiv.org/abs/2310.08118

令人意外的是，研究結果表明，自我批判會降低規劃生成的性能，特別是與具有外部驗證器和 LLM 驗證器的系統相比。LLM 會產生大量錯誤信息，從而損害系統的可靠性。

研究者在經典 AI 規劃域 Blocksworld 上進行的實證評估突出表明，在規劃問題中，LLM 的自我批判功能并不有效。驗證器可能會產生大量錯誤，這對整個系統的可靠性不利，尤其是在規劃的正確性至關重要的領域。

有趣的是，反饋的性質（二進制或詳細反饋）對規劃生成性能沒有明顯影響，這表明核心問題在于 LLM 的二進制驗證能力，而不是反饋的粒度。

如下圖所示，該研究的評估架構包括 2 個 LLM—— 生成器 LLM + 驗證器 LLM。對于給定的實例，生成器 LLM 負責生成候選規劃，而驗證器 LLM 決定其正確性。如果發現規劃不正確，驗證器會提供反饋，給出其錯誤的原因。然后，該反饋被傳輸到生成器 LLM 中，并 prompt 生成器 LLM 生成新的候選規劃。該研究所有實驗均采用 GPT-4 作為默認 LLM。

該研究在 Blocksworld 上對幾種規劃生成方法進行了實驗和比較。具體來說，該研究生成了 100 個隨機實例，用于對各種方法進行評估。為了對最終 LLM 規劃的正確性進行真實評估，該研究采用了外部驗證器 VAL。

如表 1 所示，LLM+LLM backprompt 方法在準確性方面略優于非 backprompt 方法。

在 100 個實例中，驗證器準確識別了 61 個（61%）。

下表顯示了 LLM 在接受不同級別反饋（包括沒有反饋）時的表現。