思維鏈緩存-Buffer of Thoughts，北大、UC伯克利、斯坦福最新研究大幅提升LLM推理
論文鏈接: https://arxiv.org/abs/2406.04271
代碼鏈接: https://github.com/YangLing0818/buffer-of-thought-llm
近年來，大語言模型（LLMs）如GPT-4、PaLM和LLaMA在各種推理任務中展現了驚人的性能。然而，盡管這些模型在規模和性能上不斷提升，它們在處理復雜推理任務時仍面臨一定的挑戰。
為了解決這些問題，我們提出了一種名為Buffer of Thoughts（BoT）的新型思維增強推理框架。BoT的核心在于引入一個輕量級的meta-buffer，其中存儲了一系列從不同問題解決過程中提煉出的高層次thought-template。這些模板可以在解決類似問題時被檢索和實例化，從而大幅提升推理的準確性、效率和魯棒性。
Buffer of Thoughts框架
與以往的方法不同，我們創新性地提出了一個緩存思維鏈框架，如下圖所示:
Buffer-of-Thought和之前prompt-based方法對比
- Problem Distiller：該模塊負責從問題描述中提取關鍵信息和潛在約束，并將其轉化為易于理解和推理的格式。通過這種方式，BoT能夠更好地聚焦于問題的關鍵點，減少推理過程中的錯誤。
- Meta Buffer：該模塊存儲了大量的高層次思維模板，這些模板涵蓋了文本理解、創造性語言生成、常識推理、數學推理、代碼編程和應用調度等不同類別。每個模板都是從歷史任務中提煉出來的，能夠在相似任務中復用，從而提高推理的通用性和靈活性。
- Buffer Manager：該模塊負責動態更新元緩沖區，從已解決的問題中提煉新的高層次思維模板，持續提升模型的推理能力。通過這種方式，BoT能夠不斷學習和進化，適應更多樣化的任務需求。
在面對復雜的推理任務時，具體推理流程如下：
- 問題提煉：首先，BoT會利用problem distiller從問題描述中提取關鍵信息和潛在約束，并將其轉化為易于理解和推理的格式。
- 模板檢索：接下來，BoT會在meta buffer中檢索與當前問題最相關的思維模板。這些模板包含了解決類似問題的高層次策略和步驟。
- 實例化推理：然后，BoT會根據檢索到的thought template實例化具體的推理結構，并結合問題提煉器提取的信息進行推理。
- 動態更新：最后，BoT會利用buffer manager將新的問題解決過程提煉成高層次思維模板，并動態更新到元緩沖區中，以便未來復用
我們在10個具有挑戰性的推理任務上進行了廣泛的實驗，包括Game of 24、Geometric shapes、Checkmate In One等。實驗結果表明，BoT在這些任務上顯著超越了現有的最先進方法。例如，在Game of 24上，BoT的準確率達到82.4%，相比于傳統Chain-of-Thought提升了11%。在Geometric shapes任務上，BoT的準確率高達93.6%，相比于現有方法提升了20%。
此外，BoT在推理效率和魯棒性上也表現出色。與Multi-query prompting方法相比，**BoT的推理成本僅為其12%**，但推理準確率顯著提升。同時，BoT在面對不同任務時表現出更高的成功率，平均成功率比第二好的方法高出10%。
模型大小與性能的權衡分析
如下圖所示，在Game of 24、word list sorting和Checkmate-in-One任務中，Llama3-8B和Llama-70B模型可能會產生較差的結果。然而，配備了我們的BoT后，這兩個模型的準確率顯著提高。值得注意的是，BoT+Llama3-8B在某些任務上可以超越單獨使用Llama3-70B模型的結果。我們的BoT使得較小的模型能夠展示出接近甚至超越較大模型的能力，顯著縮小了它們之間的推理能力差距。此外，它大大減少了大型語言模型在處理復雜問題時所需的推理成本。
魯棒性分析-相比較之前的思維鏈思維鏈，BoT的推理魯棒性也更好：
BoT魯棒性分析
時間成本分布分析
如圖所示，我們測量了BoT推理框架中各組件在不同任務中的平均時間成本。提取任務信息和模板檢索所需的時間相對較短，而實例化推理所需的時間較長?？傮w而言，考慮到不同組件的復雜性，我們的BoT在時間成本分布上實現了相對平衡，展示了BoT框架的效率。
BoT的提出為大語言模型的推理能力帶來了革命性提升。通過利用預先積累的高質量思維模板，BoT不僅顯著提高了推理準確性，還大幅降低了推理成本，為未來的智能推理系統提供了新的研究方向和應用前景。
本文轉自 AI生成未來 ，作者：大仲馬
