從 Gemini 2.5 Pro 的百萬級窗口，到 Llama 4 Scout 震撼的千萬級 Token，模型的上下文（Context）競賽似乎永無止境。

這很容易讓人產生一種錯覺：「管他呢，把所有資料都扔進去就行了」。

但 Andrej Karpathy 一語道破天機：構建 LLM 應用的藝術，在于學會「恰到好處地填充上下文窗口」。

如果把上下文當成一個雜物抽屜，那你得到的也只會是垃圾。一個臃腫、混亂的上下文不僅會拉低模型表現(xiàn)，甚至會導致它「精神錯亂」，出現(xiàn)以下幾種典型「翻車」現(xiàn)場：

• 上下文中毒 (Context Poisoning):一個錯誤或幻覺進入上下文，被模型反復引用，毒化后續(xù)所有輸出。
• 上下文分心 (Context Distraction):上下文太長，導致模型過度關注歷史信息，而忽略了自身訓練中學到的知識。
• 上下文混淆 (Context Confusion):無關信息太多，模型被帶偏，生成低質量回復。
• 上下文沖突 (Context Clash):新加入的信息或工具與上下文中的既有內容產生矛盾。

問題的本質是信息管理。上下文中的每一個 Token 都在影響模型的輸出。好在，我們有的是辦法。

這里有 6 個立竿見影的上下文管理策略，能幫你打造出更聰明、更高效的 AI Agent。

1. RAG：只給模型它真正需要的

• 全稱：Retrieval-Augmented Generation (檢索增強生成)
• 核心：在生成回答前，先精準地檢索出最相關的信息，喂給模型。

每次有新的長上下文模型發(fā)布，「RAG 已死」的論調就會卷土重來。但事實是，RAG 依然是信息管理的基石。簡單粗暴地塞入全部文檔，只會讓模型在信息垃圾堆里迷失方向。

思維方式： 不要指望模型能自動忽略無關信息，你需要主動進行預處理，把最精煉的知識遞到它嘴邊。這就像開卷考試，你不會帶一整座圖書館，而是只帶幾頁寫滿核心考點的「小抄」。

2. Tool Loadout：為任務量身打造「武器庫」

• 核心：根據(jù)當前任務，動態(tài)選擇最相關的工具（Tool）定義，加載到上下文中。

「Loadout」是個游戲術語，指玩家在進入關卡前，根據(jù)情況選擇最佳的武器和裝備組合。構建 Agent 也是同理。

當工具數(shù)量超過 30 個時，模型就開始「犯迷糊」；超過 100 個，幾乎必然出錯。研究表明，通過 RAG 的方式為工具描述建立索引，根據(jù)用戶指令動態(tài)挑選出少于 30 個最相關的工具，能將工具選擇的準確率提升高達 3 倍。

即使在未能提升準確率的場景下，精簡工具也能帶來 18% 的功耗節(jié)省和 77% 的速度提升——這在端側設備上至關重要。

思維方式： 工具不是越多越好，而是越準越好。給模型一個精簡、定制化的「工具箱」，而不是一個大而全的五金店。

3. Context Quarantine：用「隔離艙」避免交叉感染

• 核心：將復雜的任務分解成多個獨立的子任務，每個子任務在自己的「隔離」上下文中運行。

Anthropic 的一項研究展示了這種策略的威力。當被要求識別標普 500 信息技術公司所有董事會成員時，單個 Agent 連續(xù)搜索，最終失敗。而多 Agent 系統(tǒng)則將任務分解，讓多個「子 Agent」并行在各自獨立的上下文中進行搜索，最后匯總結果。

結果如何？這種多 Agent 系統(tǒng)的表現(xiàn)超越了單個頂級 Agent 90.2%。

思維方式： 化整為零，分而治之。通過隔離上下文，可以防止信息交叉污染，實現(xiàn)并行處理，大幅提升復雜任務的處理效率和質量。這本質上是為 AI 引入了「分工協(xié)作」的現(xiàn)代工作流。

4. Context Pruning：定期「修剪」信息枝葉

• 核心：從上下文中主動識別并移除不相關或不再需要的信息。

隨著 Agent 與用戶互動，上下文會不斷累積。此時需要一個「園丁」角色，定期修剪掉多余的「枝葉」。你可以讓主 LLM 來做，也可以設計一個專門的 LLM 工具來審查和編輯上下文。

一個名為 ??Provence?? 的模型，可以高效地完成這項任務。在一次測試中，它將一篇維基百科文章壓縮了 95% 的內容，只留下了與問題直接相關的核心信息。

思維方式： 保持上下文的結構化和動態(tài)性。將上下文視為一個需要維護的花園，而不是一個只進不出的倉庫。定期清理，才能保證核心信息始終處于「C 位」。

5. Context Summarization：把對話歷史「壓縮」成摘要

• 核心：將冗長的上下文內容提煉成一個簡潔的摘要。

這最初是為了解決早期模型窗口限制的無奈之舉，但現(xiàn)在有了新的意義——避免「上下文分心」。Google Brain 團隊在訓練一個玩《寶可夢》的 Gemini Agent 時發(fā)現(xiàn)，當上下文超過 10 萬 Token 后，Agent 傾向于重復歷史行為，而不是創(chuàng)造新策略。

通過定期生成摘要來替代冗長的對話歷史，可以幫助模型「忘記」不必要的細節(jié)，重新聚焦于核心目標。

思維方式： 摘要不僅是壓縮，更是「重聚焦」。它幫助模型擺脫路徑依賴，為更具創(chuàng)造性的多步推理保留寶貴的「注意力」資源。

6. Context Offloading：給模型一個「草稿紙」

• 核心：將信息存儲在上下文之外，通過工具來管理和訪問。

這是我最喜歡的策略，因為它簡單到讓你不敢相信它會有效。

Anthropic 將其稱為「think」工具，但你完全可以把它理解為一個給 LLM 用的「草稿紙 (Scratchpad)」。模型可以將中間步驟、思考過程、工具調用結果等臨時記錄在這個「草稿紙」上，而不污染主上下文。

當需要時，模型可以回頭查閱筆記。這在處理需要多步推理、嚴格遵守指令或決策成本高昂的任務時尤其有效。數(shù)據(jù)顯示，這種方法能將專用 Agent 的基準測試表現(xiàn)提升高達 54%。

思維方式： 將模型的「工作記憶」和「長期記憶」分離開。主上下文是用于最終決策的「工作臺」，而草稿紙則是用于思考和推演的「白板」，讓工作臺永遠保持整潔。

總結：上下文不是免費的

構建 AI Agent 最難的部分，往往就是上下文管理。

現(xiàn)代 LLM 巨大的上下文窗口是一種強大的能力，但絕不是我們懶惰的借口。上述所有策略都指向一個核心洞察：上下文中的每一個 Token 都不是免費的，它有好有壞，都在影響模型的行為。

在你構建下一個 Agent 或優(yōu)化現(xiàn)有 Agent 時，不妨問問自己：

上下文里的每一條信息，都對得起它所占的位置嗎？

如果答案是否定的，現(xiàn)在你知道該怎么做了。

原文地址：???https://www.dbreunig.com/2025/06/26/how-to-fix-your-context.html??

本文轉載自???草臺AI???，作者：RangerEX