精品欧美一区二区三区在线观看 _久久久久国色av免费观看性色_国产精品久久在线观看_亚洲第一综合网站_91精品又粗又猛又爽_小泽玛利亚一区二区免费_91亚洲精品国偷拍自产在线观看 _久久精品视频在线播放_美女精品久久久_欧美日韩国产成人在线

記一次由上下文超長(zhǎng)導(dǎo)致的輸出不完整問題——在智能體中怎么處理記憶問題? 原創(chuàng)

發(fā)布于 2025-11-24 09:48
瀏覽
0收藏

“ 上下文管理是大模型應(yīng)用穩(wěn)定性的一個(gè)重要環(huán)節(jié)。”

今天在優(yōu)化智能體的時(shí)候發(fā)現(xiàn)一個(gè)問題,就是智能體第一次思考和工具調(diào)用都是正常的,但第二次思考的時(shí)候就輸出一個(gè)think標(biāo)簽就結(jié)束了;而且不是因?yàn)榇a出現(xiàn)異常結(jié)束,而是智能體輸出了stop結(jié)束符。

所以,這個(gè)問題就很奇怪,代碼都是正常但智能體執(zhí)行一般就正常結(jié)束了;哪怕是出現(xiàn)異常導(dǎo)致結(jié)束也沒問題,但這種正常結(jié)束好像就沒那么好排查了。

所以,經(jīng)過測(cè)試發(fā)現(xiàn)復(fù)現(xiàn)的頻率還挺高,之后經(jīng)過多輪復(fù)現(xiàn)之后發(fā)現(xiàn),問題大概率是出現(xiàn)上下文窗口上,上下文超長(zhǎng)導(dǎo)致模型正常終止。

而出現(xiàn)這種問題,歸根結(jié)底就是模型的上下文管理有問題,再準(zhǔn)確點(diǎn)說就是模型歷史記錄沒做好。

智能體的歷史記錄

在Langchain的技術(shù)體系中,記憶或者說歷史記錄有兩種實(shí)現(xiàn),一種是基于Memory的大模型記憶功能;另一種是Langgraph中的檢查點(diǎn),利用MemorySaver進(jìn)行記憶存儲(chǔ)。

從記憶的持久性上又分為本地存儲(chǔ)和外部存儲(chǔ)(如redis)的方式,但不論哪種方式本質(zhì)上都是把對(duì)話內(nèi)容保存下來,供后續(xù)拼接到上下文中。

記一次由上下文超長(zhǎng)導(dǎo)致的輸出不完整問題——在智能體中怎么處理記憶問題?-AI.x社區(qū)

而作者這次bug出現(xiàn)的原因就在于記憶沒有管理好;導(dǎo)致上下文超長(zhǎng),最后模型結(jié)束。

多說一句,上下文管理是模型應(yīng)用中的重要環(huán)節(jié),原因在于任何模型都會(huì)有上下文窗口限制,并且不同的模型上下文窗口大小不同;并且,其理論窗口大小并不是最優(yōu)窗口大小。

舉例來說,現(xiàn)在最新的模型上下文長(zhǎng)度能達(dá)到128K,但其最優(yōu)長(zhǎng)度可能只有100K或者更少。

所以,怎么管理模型上下文?

模型上下文一般由以下幾個(gè)部分組成:

  • 用戶問題
  • 歷史記錄
  • 參考內(nèi)容
  • 系統(tǒng)提示詞prompt

而其中系統(tǒng)提示詞的長(zhǎng)度基本上是固定的,用戶問題的長(zhǎng)度也有限;因此,上下文超長(zhǎng)的主要原因基本上集中在歷史記錄和參考內(nèi)容上。

其中歷史記錄會(huì)根據(jù)存儲(chǔ)的數(shù)據(jù)和對(duì)話次數(shù)的增大而不斷增長(zhǎng);參考文檔也因?yàn)椴煌奈臋n切分和拼裝方式,導(dǎo)致其長(zhǎng)度不固定。

所以,一般情況下會(huì)對(duì)歷史對(duì)話的輪數(shù),以及參考文檔的數(shù)量進(jìn)行限制;防止上下文超長(zhǎng)。

但在Langgraph中,哪些東西有可能被存到歷史記錄中?

事實(shí)上在系統(tǒng)中,那些內(nèi)容被存到歷史記錄中這個(gè)是完全可以由開發(fā)人員控制的;但在langgraph中已經(jīng)實(shí)現(xiàn)的記憶存儲(chǔ)中,會(huì)把messges中的所有數(shù)據(jù)都存到記錄記錄中。

但這在某些場(chǎng)景下是有問題的,或者說在大部分場(chǎng)景下都是有問題的;比如說,具備思考模式的模型,以及工具調(diào)用的結(jié)果,其實(shí)這些內(nèi)容是不需要被存儲(chǔ)到歷史記錄中的;這玩意就像在開會(huì)時(shí),做會(huì)議紀(jì)要,只需要把每個(gè)人說的內(nèi)容記下來就行,而沒必要把別人怎么想的也記下來。

因此,這時(shí)就需要在記憶模塊把思考過程和工具返回的結(jié)果給過濾掉,最終只記錄對(duì)話過程中的問題和回答。

class TrimmedInMemorySaver(InMemorySaver):
    """帶自動(dòng)裁剪功能的 InMemorySaver(LangGraph v0.2+ 兼容)"""
    def __init__(self, max_tokens=3000, strategy="last", *args, **kwargs):
        super().__init__(*args, **kwargs)
        self.max_tokens = max_tokens
        self.strategy = strategy
    def put(
        self,
        config: RunnableConfig,
        checkpoint: Checkpoint,
        metadata: CheckpointMetadata,
        new_versions: ChannelVersions,
    ) -> RunnableConfig:
        thread_id = config.get("configurable", {}).get("thread_id")
        if not thread_id:
            return super().put(config, checkpoint, metadata, new_versions)
        # 嘗試從 checkpoint 中提取 messages(根據(jù)你項(xiàng)目 checkpoint 結(jié)構(gòu)調(diào)整)
        messages = None
        if isinstance(checkpoint, dict) and "channel_values" in checkpoint:
            messages = checkpoint["channel_values"].get("messages")
        elif isinstance(checkpoint, dict) and "messages" in checkpoint:
            messages = checkpoint["messages"]
        logger.info(f"InMemorySaver中的messages: {messages}")
        # logger.info(f"InMemorySaver中的messages過濾之后的messages: {messages}")
        """ list 類型 BaseMessage messages.type """
        if messages:
            fliter_messages = [
                message
                for message in messages
                if not isinstance(message, ToolMessage)
            ]
            logger.info(f"記憶去除toolmessage: {fliter_messages}")
            # 關(guān)鍵:傳入 token_counter(這里用近似計(jì)數(shù)器)
            trimmed_messages = trim_messages(
                fliter_messages,
                max_tokens=self.max_tokens,
                strategy=self.strategy,
                token_counter=count_tokens_approximately,
                # 可選:保證以 human 開始并以 human/tool 結(jié)束以確保消息序列有效
                # start_notallow="human",
                # end_notallow=("human", "tool"),
                include_system=True,
            )
            logger.info(f"trimmed_messages之后 記憶去除think標(biāo)簽和toolmessage: {trimmed_messages}")
            # 寫回裁剪后的 messages(視 checkpoint 具體結(jié)構(gòu))
            if "channel_values" in checkpoint:
                checkpoint["channel_values"]["messages"] = trimmed_messages
            else:
                checkpoint["messages"] = trimmed_messages
        # 繼續(xù)調(diào)用父類的 put 執(zhí)行真正保存
        return super().put(config, checkpoint, metadata, new_versions)

這樣,一是可以大大減少思考過程和工具調(diào)用結(jié)果對(duì)模型的干擾,其次是可以控制歷史記錄的長(zhǎng)度,防止上下文超長(zhǎng)帶來問題。

通過這樣的方式,就可以避免模型上下文超長(zhǎng)問題,但同樣也會(huì)導(dǎo)致部分記憶丟失;這時(shí)只能要想盡可能的保存記憶,那就只能對(duì)記憶進(jìn)行壓縮。

但不論怎么樣,只要上下文窗口限制還在,那么就永遠(yuǎn)無(wú)法避免記憶丟失的問題。


本文轉(zhuǎn)載自???AI探索時(shí)代?? 作者:DFires

?著作權(quán)歸作者所有,如需轉(zhuǎn)載,請(qǐng)注明出處,否則將追究法律責(zé)任
收藏
回復(fù)
舉報(bào)
回復(fù)
相關(guān)推薦
视频一区国产视频| 麻豆成人入口| 亚洲婷婷综合久久一本伊一区| 国产一区二区在线播放| 青青草国产在线观看| 国产suv精品一区| 色婷婷久久99综合精品jk白丝| 午夜一区二区三区| 亚洲天堂网视频| 伊人久久大香线蕉综合热线 | 操日韩av在线电影| 9.1在线观看免费| 欧美日韩五码| 亚洲一区二区在线免费观看视频| 老牛影视免费一区二区| 国产免费高清av| 另类国产ts人妖高潮视频| 久久激情视频久久| 在线观看国产网站| 日本精品在线观看| 在线观看亚洲成人| 欧美视频在线观看视频| 亚洲成a人v欧美综合天堂麻豆| 国产91精品久久久久久久网曝门| 国产精品久久久久久久久久久久久久 | 成人黄页在线观看| 91精品国产综合久久香蕉的用户体验| 国产精品suv一区二区| 色天天久久综合婷婷女18| 亚洲娇小xxxx欧美娇小| 日本黄色大片在线观看| 日韩电影精品| 欧美性受xxxx黑人xyx性爽| 97视频在线免费| av网址在线免费观看| 欧美极品xxx| 久久国产精品高清| 亚洲爆乳无码一区二区三区| 九九精品视频在线看| 国产精品jizz在线观看麻豆| 可以在线观看av的网站| 午夜日韩电影| 久久中文字幕在线| 麻豆一区在线观看| 精品美女视频| 亚洲男人天堂2024| 五十路六十路七十路熟婆| 亚洲视频三区| 日韩欧美一级在线播放| 欧美一级xxxx| vam成人资源在线观看| 欧美日韩国产在线播放网站| 日本久久精品一区二区| 777午夜精品电影免费看| 色综合久久88色综合天天| www.中文字幕在线| 亚洲私拍视频| 日本高清不卡一区| 日韩在线第三页| 欧美极品免费| 欧美日韩国产影片| 亚洲欧美天堂在线| 精品视频在线一区| 日韩视频在线一区二区| 久久黄色一级视频| 97久久亚洲| 亚洲激情在线观看视频免费| 亚洲熟女一区二区| 色天下一区二区三区| 亚洲日韩中文字幕| 亚洲图片第一页| 97精品国产福利一区二区三区| zzjj国产精品一区二区| 免费一级片视频| 日韩视频在线一区二区三区 | 动漫精品一区一码二码三码四码| 黄色综合网站| 欧美一级大胆视频| 少妇又紧又色又爽又刺激视频| 蜜乳av一区二区三区| 成人激情视频免费在线| 性欧美videos另类hd| av在线综合网| 婷婷久久青草热一区二区| 蜜桃视频网站在线观看| 亚洲午夜电影在线| 成年人免费在线播放| 全球中文成人在线| 欧美成人aa大片| 极品粉嫩小仙女高潮喷水久久| 狠狠综合久久av一区二区蜜桃| 日韩中文字幕国产| 九九九免费视频| 久久久久久穴| 亚洲综合日韩中文字幕v在线| 欧美天堂在线视频| 国产欧美一区二区三区在线看蜜臀 | 欧美一级片在线播放| 亚洲天堂网视频| 成人av网站在线观看| 日本一区二区三区视频在线播放| 免费大片黄在线观看视频网站| 亚洲图片自拍偷拍| 亚洲精品怡红院| 成人高潮a毛片免费观看网站| 亚洲人成电影网站| 草视频在线观看| 日韩国产一区二| 成人av电影免费| av网站在线免费观看| 亚洲午夜在线视频| 一级做a免费视频| 自拍偷拍精品| 欧美日韩国产成人高清视频| 无码人妻丰满熟妇区bbbbxxxx| 国产一区二区电影| 亚洲不卡一卡2卡三卡4卡5卡精品| 国产欧美久久久久久久久| 色综合久久久久综合体桃花网| 一本之道在线视频| 欧美在线电影| 日本精品久久电影| 午夜精品久久久久久久99热黄桃| 国产清纯白嫩初高生在线观看91 | 在线视频综合导航| 亚洲少妇一区二区| 日韩一区亚洲二区| 欧美在线性视频| 亚洲精品久久久久久无码色欲四季| 国产视频一区不卡| 丝袜老师办公室里做好紧好爽| 精品亚洲a∨一区二区三区18| 中文国产亚洲喷潮| 天堂网视频在线| 内射一区二区三区| 亚洲a级精品| 久久久久久成人精品| 一个人看的www日本高清视频| 91理论电影在线观看| 最新中文字幕久久| 伊人久久综合一区二区| 亚洲成色999久久网站| 日日噜噜夜夜狠狠久久波多野| 欧美aa在线视频| 日本成人三级电影网站| 亚洲精品成人图区| 欧美精品一区二区三区在线| 亚洲国产精品免费在线观看| a天堂在线资源| 林ゆな中文字幕一区二区| 日韩在线激情视频| 亚洲天堂网在线观看视频| 国产欧美综合在线观看第十页| 黄色av网址在线播放| 秋霞影视一区二区三区| 国产69精品久久久久久| 天堂中文字幕av| 疯狂做受xxxx欧美肥白少妇| 日本69式三人交| 国产一区二区你懂的| 久久精品中文字幕一区二区三区 | 成人av免费播放| 亚洲精品高清在线观看| 日韩久久久久久久久久久| 中文字幕亚洲综合久久五月天色无吗''| 成人黄色在线免费| 在线观看中文字幕的网站| 日韩精品自拍偷拍| 日韩av黄色片| 久久人人97超碰com| 五月婷婷狠狠操| 亚洲成av人电影| 超碰97网站| 裤袜国产欧美精品一区| 色婷婷综合成人av| www.麻豆av| 狠狠躁夜夜躁人人躁婷婷91| 日本一卡二卡在线播放| 精品一区二区影视| 国产成a人亚洲精v品在线观看| 美女视频免费精品| 国产精品久久久| 尤物视频在线看| 日韩精品免费在线视频| 中文字幕人妻一区二区三区视频| 中文字幕欧美一区| 能看毛片的网站| 久久亚洲欧洲| 国产盗摄视频在线观看| 欧美日韩一区二区三区四区不卡| 国产精品久久久久久久久男| 中文av资源在线| 日韩高清免费观看| 一起草av在线| 婷婷亚洲久悠悠色悠在线播放| 中文天堂资源在线| 高清不卡在线观看| xx欧美撒尿嘘撒尿xx| 亚洲国产高清视频| 日韩三级电影免费观看| www.豆豆成人网.com| 国产精品1区2区在线观看| 高潮毛片在线观看| 国产午夜精品全部视频播放| 成 人 黄 色 片 在线播放| 日本韩国一区二区三区| 久草资源在线视频| 国产精品久久看| 熟女人妻在线视频| 国产精品资源在线看| 黄色av免费在线播放| 国产字幕视频一区二区| 亚洲精品一区二区三| 美女主播精品视频一二三四| 国产专区欧美专区| gay欧美网站| 久久久久免费视频| 美女写真理伦片在线看| 亚洲日韩中文字幕| 亚洲av成人无码久久精品老人 | 亚洲欧美另类在线| 亚洲天堂最新地址| 久久综合九色综合欧美就去吻| 亚洲av无一区二区三区久久| 麻豆精品久久精品色综合| 中国丰满人妻videoshd| 黄色欧美成人| 操bbb操bbb| 久久亚洲国产| 日韩欧美三级电影| 亚洲电影男人天堂| 久久99精品久久久久久秒播放器| 日本99精品| 91丨九色丨国产| www.91精品| 国产精品专区一| 日韩av一级| 国产精品久久久久久久久久久久久| 手机在线理论片| 91av视频在线免费观看| 97在线超碰| 午夜精品福利在线观看| 免费在线国产视频| 欧美猛交ⅹxxx乱大交视频| 国精产品一区| 久久久国产成人精品| 麻豆视频免费在线观看| 日韩中文字幕在线看| 天堂地址在线www| 北条麻妃在线一区二区| 免费大片在线观看www| www.亚洲人.com| caopo在线| 欧美日韩高清区| 国产伦久视频在线观看| 2019中文字幕免费视频| 三级在线观看视频| 秋霞av国产精品一区| 黑人巨大精品| 国产精品十八以下禁看| 成人久久网站| 91视频国产精品| 国产成人澳门| 麻豆一区区三区四区产品精品蜜桃| 亚洲精品中文字幕99999| 日韩av一区二区三区美女毛片| 国产一区二区在线| 在线观看亚洲视频啊啊啊啊| 亚洲天天综合| 久久久久久久久久网| 久久精品男女| 日本中文字幕精品—区二区| 国产在线播放一区| 免费看黄色片的网站| 91网站最新网址| 日韩免费成人av| 亚洲精品久久嫩草网站秘色| 日本天堂在线视频| 欧洲色大大久久| 99精品国产99久久久久久97| 亚洲激情视频网站| 97超碰人人在线| 久久69精品久久久久久久电影好 | 国产美女被下药99| 麻豆精品久久| 久久久久久久久久码影片| 欧美日韩在线播放视频| 免费cad大片在线观看| 亚洲欧美久久| 国产女同无遮挡互慰高潮91| 99re热视频精品| 国产精品麻豆一区| 激情亚洲一区二区三区四区| 国产精华7777777| 欧美xxxxxxxxx| h视频在线播放| 欧美激情中文字幕乱码免费| 日韩在线免费| 国产91色在线|亚洲| 精品国产乱码久久久久久果冻传媒| 伊人久久在线观看| 日韩av中文字幕一区二区三区| 国产在线视频三区| 久久精品网站免费观看| 青娱乐av在线| 欧美日韩中文字幕一区| 五月激情六月婷婷| 欧美成人免费在线观看| 丝袜美腿一区| 久久99欧美| 欧美激情五月| 爱爱爱爱免费视频| 91啪亚洲精品| 国产无精乱码一区二区三区| 在线播放亚洲一区| 天天躁日日躁狠狠躁喷水| 久久综合久久88| 国产乱子精品一区二区在线观看| 国内精品一区二区| 一区二区日韩欧美| 爱情岛论坛vip永久入口| 91亚洲精品久久久蜜桃| 久久精品一区二区三| 欧美日韩不卡在线| 精品无吗乱吗av国产爱色| 高清一区二区三区日本久| 成人在线分类| 亚洲精品白虎| 日韩在线卡一卡二| 成人片黄网站色大片免费毛片| 亚洲国产一区在线观看| 国产激情无套内精对白视频| 久久精品国产欧美激情| 亚洲精品一区三区三区在线观看| 久久99精品久久久久久久久久| 在线电影一区| 极品白嫩的小少妇| 亚洲精品伦理在线| 99热这里只有精品66| 日韩在线观看免费高清完整版| 欧美日韩五码| 水蜜桃一区二区| 日本亚洲欧美天堂免费| 精品国产aaa| 欧美性大战久久| 中文字幕在线播放| 国产精品视频1区| 性欧美69xoxoxoxo| 亚洲一区二区在线视频观看| 国产精品成人在线观看| 国产婷婷在线视频| 欧美日韩第一页| 国产女人18毛片水真多18精品| 毛片av在线播放| 丁香婷婷综合色啪| 日韩精品久久久久久久| 亚洲第一中文字幕| 理论不卡电影大全神| 任我爽在线视频精品一| 天堂影院一区二区| 林心如三级全黄裸体| 欧美日韩aaa| 超碰在线观看免费版| 99一区二区三区| 亚洲黄色免费| 蜜桃av乱码一区二区三区| 欧美午夜精品一区二区蜜桃| 免费在线观看黄色| 99久久99久久精品国产片| 国产情侣久久| 美女100%露胸无遮挡| 91精品国产麻豆国产自产在线| 性网站在线观看| 久久爱av电影| 美女脱光内衣内裤视频久久网站| 日日噜噜夜夜狠狠久久波多野| 欧美大片国产精品| 粉嫩一区二区| 黄瓜视频免费观看在线观看www | 中文字幕一区二区三区人妻电影| 91福利国产精品| 国产在线高清视频| 精品国产一区二区三区免费| 日本不卡中文字幕| 欧美成人免费观看视频| 亚洲精品视频中文字幕| 精品三级在线| 国产一级做a爰片久久毛片男| 久久男人中文字幕资源站| 91精品视频免费在线观看 | 国产中文在线播放| 日韩高清dvd| 豆国产96在线|亚洲| 天天爽夜夜爽人人爽| 色综合久久中文字幕综合网小说| 色愁久久久久久| 四川一级毛毛片| 91福利区一区二区三区| 国产精品一区hongkong| 亚洲图片欧洲图片日韩av|