核心摘要

智能體需要上下文來執行任務。上下文工程，是一門將恰當信息精準填入智能體上下文窗口的藝術與科學。本文將當下主流智能體中常見的上下文工程策略歸納為幾大類。

上下文工程的本質

安德烈·卡帕西（Andrej Karpathy）曾將大型語言模型（LLMs）比作一種新型操作系統。其中，LLM如同中央處理器（CPU），其上下文窗口則扮演著隨機存取存儲器（RAM）的角色，作為模型的工作記憶。 正如RAM容量有限，LLM的上下文窗口在處理多種上下文源時也面臨限制。因此，正如操作系統需要精心策劃哪些數據進入CPU的RAM，“上下文工程”也扮演著同樣的角色?？ㄅ廖鲗Υ说木倏偨Y是：

“[上下文工程是]…一種精妙的藝術與科學，旨在為下一步在上下文窗口中填入恰到好處的信息。”

那么，在構建LLM應用時，我們需要管理哪些上下文類型？上下文工程是一個涵蓋以下幾個方面的總稱：

?指令：如提示、記憶、少樣本示例、工具描述等。

?知識：如事實、記憶等。

?工具：來自工具調用的反饋。

面向智能體的上下文工程實踐

今年，隨著LLM推理與工具調用能力的飛躍，智能體熱潮席卷而來。智能體通過LLM調用與工具調用的交替進行，常用于處理長期任務。

然而，長期任務和不斷積累的工具調用反饋意味著智能體常常消耗大量tokens，這引發諸多問題：可能超出上下文窗口大小限制、導致成本/延遲激增，或降低智能體性能。德魯·布倫尼格（Drew Breunig）精辟地概述了長上下文導致性能問題的幾種具體方式：

?上下文中毒（Context Poisoning）：當幻覺內容混入上下文時。

?上下文干擾（Context Distraction）：上下文過多，干擾模型訓練時。

?上下文混淆（Context Confusion）：多余的上下文影響模型響應時。

?上下文沖突（Context Clash）：上下文部分內容相互矛盾時。

基于此，Cognition公司強調了上下文工程的關鍵地位：

“‘上下文工程’…實際上是構建AI智能體的工程師們的首要任務?！?/p>

Anthropic也明確指出：

“智能體對話?？缭綌蛋佥?，需要精心的上下文管理策略。”

那么，如今人們如何應對這一挑戰？我將現有方法歸納為四大類：寫入、選擇、壓縮和隔離，并提供了一些具體示例。

1. 寫入上下文

寫入上下文指的是將信息保存在上下文窗口之外，以供智能體后續使用。

暫存器（Scratchpads）

人類解決任務時會做筆記，以備將來相關任務之需。智能體也在獲得這一能力！通過“暫存器”進行筆記記錄，是一種在任務執行期間持久化信息的方法。核心思想是將信息保存在上下文窗口之外，確保智能體隨時可用。Anthropic的多智能體研究員案例就是一個清晰的例子：

“首席研究員（LeadResearcher）首先構思方案，并將其計劃存入 記憶（Memory） 以持久化上下文，因為上下文窗口若超過20萬tokens將被截斷，而保留該計劃至關重要?！?/p>

暫存器可通過多種方式實現：它可以是一個簡單的工具調用，將內容寫入文件；也可以是一個在會話期間持久存在的運行時狀態對象中的字段。

無論是哪種方式，暫存器都讓智能體能保存有用信息來完成任務。

記憶（Memories）

暫存器幫助智能體解決單個會話中的任務，而有時智能體需要跨多個會話進行記憶。Reflexion模型引入了在每次行動后進行反思并重用這些自生成記憶的理念。Generative Agents則定期從過去的智能體反饋集合中合成記憶。

這些概念已融入ChatGPT、Cursor、Windsurf等熱門產品，它們都具備基于用戶-智能體交互自動生成長期記憶的機制。

2. 選擇上下文

選擇上下文指的是將信息拉入上下文窗口中，以輔助智能體執行任務。

暫存器

如何從暫存器中選擇上下文取決于其實現方式。若它是一個工具，智能體只需通過工具調用來讀?。蝗羲鼘儆谥悄荏w運行時狀態，開發者則可在每一步選擇性地將部分狀態暴露給智能體。這為后續向LLM暴露暫存器上下文提供了精細控制。

記憶

如果智能體能保存記憶，也必須能選擇與當前任務相關的記憶。這有多種好處：

? 智能體可選擇少樣本示例（情景記憶）來模仿期望行為；

? 選擇指令（程序記憶）來引導行為；

? 或選擇事實（語義記憶）來提供任務相關上下文。

一個挑戰是如何確保選出最相關的記憶。一些流行智能體只使用一組固定的文件，這些文件總是被拉入上下文。例如，許多代碼智能體使用文件保存指令（“程序”記憶）或示例（“情景”記憶）。Claude Code使用??CLAUDE.md??，而Cursor和Windsurf則使用規則文件。

然而，若智能體存儲了大量的事實和/或關系（如語義記憶），選擇會變得更難。ChatGPT就是一個很好的例子，它從大量特定于用戶的記憶中進行存儲和選擇。

常用于記憶索引的向量（Embeddings）和/或知識圖譜是輔助選擇的常用技術。但記憶選擇依然充滿挑戰。在AIEngineer世界博覽會上，西蒙·威利森（Simon Willison）分享了一個記憶選擇失誤的例子：ChatGPT從記憶中提取了他的位置，并意外地注入到他請求的圖像中。這種意料之外或不合時宜的記憶檢索可能讓一些用戶感到上下文窗口“不再由自己掌控”！

工具

智能體使用工具，但若工具過多，可能會不堪重負，通常是因為工具描述重疊，導致模型在選擇時混淆。一種方法是對工具描述應用RAG（檢索增強生成），通過語義相似性為任務檢索最相關的工具。最近的研究表明，這能將工具選擇準確性提高3倍。

知識

RAG是一個核心的上下文工程挑戰。代碼智能體是RAG大規模生產應用的絕佳范例。來自Windsurf的瓦倫（Varun）很好地總結了其中的一些挑戰：

“索引代碼≠上下文檢索…[我們正在做的是]索引和向量搜索…[通過]抽象語法樹（AST）解析代碼并沿著語義邊界進行分塊…

但隨著代碼庫規模的增長，向量搜索作為檢索啟發式方法變得不可靠…我們必須依賴多種技術的組合，比如??grep??/文件搜索、基于知識圖譜的檢索，以及…一個重新排名步驟，根據相關性對[上下文]進行排序?！?/p>

3. 壓縮上下文

壓縮上下文旨在僅保留執行任務所需的tokens。

上下文摘要

智能體交互可跨越數百輪并調用大量tokens。摘要（Summarization）是一種常見的應對方法。使用過Claude Code的用戶會發現，當上下文窗口超過95%時，它會運行“自動壓縮（auto-compact）”，對用戶-智能體交互的完整軌跡進行總結。這種壓縮可采用遞歸或分層摘要等策略。

在智能體設計的特定節點添加摘要也很有用。例如，它可用于后處理某些工具調用（如消耗大量tokens的搜索工具）。又如，Cognition提到在智能體-智能體邊界使用摘要，以減少知識交接時的tokens。若需捕獲特定事件或決策，摘要可能充滿挑戰。Cognition為此使用了微調模型，這凸顯了這一步驟需要投入的心血。

Cognition 是一家專注于人工智能軟件開發的公司，尤其以其開發的 AI 軟件工程師 Devin 而聞名。

上下文修剪（Trimming）

與摘要通常使用LLM提煉相關內容不同，修剪常用于過濾或“剪除”上下文。這可采用硬編碼的啟發式方法，如從消息列表中刪除舊消息。德魯還提到了Provence，一個專門為問答任務訓練的上下文修剪器。

4. 隔離上下文

隔離上下文指的是將上下文進行分割，以幫助智能體執行任務。

多智能體（Multi-agent）

隔離上下文最流行的方式之一是將其分配給多個子智能體。OpenAI Swarm庫的動機之一是“關注點分離”，即一個智能體團隊可以處理子任務。每個智能體都擁有特定的工具、指令和獨立的上下文窗口。

Anthropic的多智能體研究員案例為此提供了論據：許多擁有隔離上下文的智能體比單個智能體表現更優，主要是因為每個子智能體的上下文窗口可以專注于更狹窄的子任務。正如該博客所言：

“[子智能體]在各自的上下文窗口中并行運行，同時探索問題的不同方面。”

當然，多智能體也面臨挑戰，如tokens消耗（據Anthropic報告，可比聊天多達15倍）、需要精心設計的提示工程來規劃子智能體工作，以及子智能體之間的協調。

利用環境進行上下文隔離

HuggingFace的深度研究員展示了另一個有趣的上下文隔離示例。大多數智能體使用工具調用API，返回可傳遞給工具（如搜索API）的JSON對象（工具參數），以獲取工具反饋（如搜索結果）。HuggingFace使用了一個代碼智能體（CodeAgent），它輸出包含所需工具調用的代碼，并在沙盒中運行。之后，從工具調用中選定的上下文（如返回值）再傳遞回LLM。

這使得上下文可以在環境中與LLM隔離。Hugging Face指出，這是一種隔離tokens密集型對象的絕佳方式：

“[代碼智能體允許]更好地處理狀態…需要將這個圖像/音頻/其他內容存儲起來以備后用嗎？沒問題，只需將其作為變量分配到你的狀態中，你便可隨時使用?！?/p>

狀態（State）

值得一提的是，智能體的運行時狀態對象也是一種出色的上下文隔離方法。它與沙盒作用類似。狀態對象可以設計一個具有特定字段（如Pydantic模型）的模式，上下文可以被寫入其中。模式的一個字段（如??messages??）可在每一輪暴露給LLM，而模式可在其他字段中隔離信息，以供更具選擇性的使用。

結論

面向智能體的上下文工程模式仍在不斷演進，但我們可以將常見方法歸納為四類：

?寫入上下文：將其保存在上下文窗口之外，以幫助智能體執行任務。

?選擇上下文：將其拉入上下文窗口中，以幫助智能體執行任務。

?壓縮上下文：僅保留執行任務所需的tokens。

?隔離上下文：將其分割，以幫助智能體執行任務。

理解和運用這些模式，是當今構建高效智能體的核心所在。

本文轉載自??螢火AI百寶箱??，作者： 螢火AI百寶箱