“ 大模型是無狀態的，而記憶的本質只是把對話記錄放到對話上下文中。”

在大模型應用中，記憶是一個很重要的功能模塊，特別是在對話場景中，記憶能夠讓大模型“記住”你的對話場景和上下文。因為大模型本身是無狀態的，因此對模型來說每次對話都是一次全新的對話，大模型不知道你之前說了什么；因此，大模型就像一個擁有健忘癥的人。

但在實際開發過程中，特別是使用一些開發框架之后，我們很多人都被記憶模塊開發給帶偏了，甚至很多人都沒弄明白記憶的本質到底是什么。

大模型記憶功能

再次強調一個概念，對用戶來說與大模型的唯一交互窗口只有提示詞(prompt)；雖然這句話說的并不是完全準確，但從開發的過程來說基本上屬于準確的。

原因就在于，不論是我們設置系統提示詞，還是用戶輸入，亦或者是記憶，工具調用等；最終在輸入大模型時，都會被封裝到提示詞中，因此才有了對用戶來說與大模型唯一的交互窗口只有提示詞。但與大模型交互其它還有其它參數，如溫度等。

那大模型的記憶功能到底是什么？

雖然說對話記憶最終也要被封裝到提示詞中，但對記憶功能來說還是有一定的格式要求的，特別是在對話場景中；畢竟在某些場景下，是不需要記憶功能的。

在大模型對話中主要有三個角色，system-系統角色，human-用戶角色和assistant-AI(模型)角色。

首先，系統角色的作用是設定大模型當前的角色類型；比如說是技術大佬，是營銷專家；因為大模型的訓練數據比較復雜，就類似于一個高中生，學了政治歷史物理化學等多門學科，而有些話題需要限定在某個學科下，這個就是角色類型。

而用戶角色就很容易理解了，用戶就是使用者，也就是我們，我們不論是提出問題還是增加一些背景描述都屬于用戶角色的范疇。

而模型角色就是指模型本身，模型就是用模型角色來回答或處理用戶的問題。

因此，在對話場景中記憶一般都是以下格式：

SystemMessage: 模型的系統角色
HumanMessage: 用戶問題
AIMessage: 模型回答
HumanMessage: 用戶問題
AIMessage: 模型回答
... ...
ToolMessage: 工具返回

由于會存在多輪對話，因此會有多個HumanMessage和AIMessage，因此一般記憶都是使用數組進行存儲；但注意點是，SystemMessage只會有一個，原因就是系統角色只需要設置一次。

如果是在智能體中，可能還會存在工具調用的結果，因此還會有一個工具消息。

雖然說記憶功能只需要把對話歷史丟到提示詞中即可，但由于模型上下文窗口的限制，以及從成本的角度考慮，一般會對記憶進行優化；比如說，只保存最近n次的對話記錄，亦或者對整個對話記錄進行總結提煉，以減少記憶超長等問題的出現。

而根據記憶存儲的方式也分為長期記憶和短期記憶，所謂的長期記憶就是把記憶保存到數據庫中，如向量數據庫，傳統數據庫，redis等等；而短期記憶就是把記憶保存到內存中，隨著系統的重啟或超時會丟失。

本文轉載自????AI探索時代???? 作者：DFires