如何讓LLM在規劃能力上變得更聰明，想象一下，如果我們的AI助手能夠記住過去的經歷，并且在需要的時候能夠回憶起來，那會是多么方便的事情啊！

首先，我們要明白，對于AI來說，記憶是提升規劃能力的關鍵。目前，有兩種主要的方法可以通過記憶來增強LLM-Agents的規劃能力：基于RAG的記憶和參數記憶。

RAG，也就是檢索增強生成，它能夠用檢索到的信息來增強LLM的最新知識。想象一下，如果AI能夠把過去的經驗存儲在記憶中，并在需要的時候檢索出來，那會是多么棒的事情！這些記憶通常以文本、表格形式或知識圖譜等形式存儲。例如，有的系統會把每天的人類行為經驗以文本形式存儲起來，然后基于當前情況的相關性和新鮮度來檢索記憶。還有的系統會使用向量編碼模型將每個記憶編碼成向量，并建立索引結構，以便在檢索時快速找到相關信息。下面這些工作都歸屬于這個范疇，后面我們可能會詳細去分享具體內容。

• Generative Agents：這項工作存儲了類似于人類的日常經驗，并根據當前情況的相關性和新鮮度來檢索記憶。這些記憶以文本形式存儲，并且可以根據與當前任務的相關性進行檢索。
• MemoryBank、TiM 和 RecMind：這些方法將每個記憶編碼成向量，并使用索引結構（如FAISS庫）來組織這些向量。在檢索時，使用當前狀態的描述作為查詢來檢索記憶池中的記憶。這些方法的區別在于它們更新記憶的方式不同。
• MemGPT：這項工作借鑒了計算機架構中的多級存儲概念，將LLM的上下文視為RAM，并將額外的存儲結構視為磁盤。LLM可以自主決定是檢索歷史記憶還是將當前上下文保存到存儲中。
• REMEMBER：這個方法將歷史記憶以Q值表的形式存儲，每個記錄是一個包含環境、任務、動作和Q值的元組。在檢索時，會同時檢索正面和負面記憶，以便LLM根據環境和任務的相似性生成計劃。

另一方面，參數記憶可以通過微調LLM，將Agent的歷史經驗樣本嵌入到模型參數中。這些經驗樣本通常來自Agent與環境的交互，可能包括關于環境的常識知識、與任務相關的先驗知識，以及成功或失敗的經驗。雖然微調一個大參數的模型成本很高，但通過PEFT，可以通過只訓練一小部分參數來降低成本并加快速度。

但是，這兩種方法都有各自的優勢和局限性。基于RAG的方法提供了實時、低成本的外部記憶更新，主要在自然語言文本中，但依賴于檢索算法的準確性。而微調則通過參數修改提供了更大的記憶容量，但記憶更新成本高，并且在保留細節方面存在挑戰。

最后，我們還需要考慮如何生成記憶。記憶增強的LLM-Agents在規劃中表現出更強的生長潛力和容錯能力，但記憶的生成嚴重依賴于LLM的生成能力。如何通過自生成的記憶來提升較弱的LLM-Agents，仍然是一個值得探索的挑戰領域。

本文轉載自 ??探索AGI??，作者： 獼猴桃