智能體系統如何「邊做邊學」？斯坦福團隊探索在線優化的新范式
如何讓智能體進行復雜推理與工具調用？傳統方法主要有兩類：訓練單一的大語言模型，使其同時承擔思考與工具調用的任務；要么依賴靜態提示詞驅動的 training-free 智能體系統。
然而，前者在長鏈推理、工具多樣化與動態環境反饋下訓練常變得不穩定，缺乏可擴展性（scalability）；后者則缺少學習與適應能力，難以應對復雜場景。
為此，斯坦福大學聯合德州農工大學（Texas A&M）、加州大學圣地亞哥分校（UC San Diego）和 Lambda 的研究團隊提出了 AgentFlow 框架，通過多個獨立 Agent 模塊協作，并且提出 Flow-GRPO 算法用于訓練。在評測中，AgentFlow 在搜索、代理、數學與科學任務上均取得顯著提升，即便是 3B 模型，也能超越 405B 的 Llama-3.1 和 200B 的 GPT-4o。
該方法創新性地將智能體協作推理與強化學習融為一體，提出流中強化學習機制，讓智能體系統在推理流中協同演化，形成「動態共振」效應。使其在長期規劃能力、工具調用效率和動態推理深度上實現大幅提升，并在搜索、數學、科學及智能體任務等多個領域展現優秀的泛化能力。
- 項目主頁：https://agentflow.stanford.edu/
- 論文鏈接：https://huggingface.co/papers/2510.05592
- 開源代碼：https://github.com/lupantech/AgentFlow
- 開源模型：https://huggingface.co/AgentFlow
- 在線 Demo：https://huggingface.co/spaces/AgentFlow/agentflow
- YouTube 視頻：https://www.youtube.com/watch?v=kIQbCQIH1SI
該工作目前不僅在 X 上收獲了超高的關注度，同時榮登 Huggingface Paper 日榜第二名！
https://x.com/lupantech/status/1976016000345919803
https://huggingface.co/papers/date/2025-10-08
研究動機：
從「單兵作戰」到「團隊協作」
目前，讓語言模型學會使用工具進行復雜任務推理主要有兩種思路：一種是訓練一個「全能型」模型，讓它既要思考又要調用工具，所有操作都在一個完整的上下文中交織進行；另一種是采用「智能體系統」，將任務分解給多個專門化的智能體模塊協同完成。
第一種方法在簡單場景中表現良好，但在面對長鏈推理、多樣化工具調用以及動態環境反饋時，訓練過程往往不穩定，難以實現良好的可擴展性。第二種方法雖然具備更高的靈活性，但多數系統依賴人工設計的提示詞與邏輯，缺乏從經驗中自我學習與優化的能力。
這使得研究團隊思考：能否讓智能體系統也具備「邊做邊學」的能力，使其能夠在交互中不斷進化？
AgentFlow：
在流中學習的智能體系統
為了解決以上挑戰，研究團隊提出了 AgentFlow —— 一個可訓練的、工具集成的智能體系統，旨在突破現有方法在可擴展性與泛化能力上的限制。AgentFlow 采用了模塊化的智能體結構，由四個具備記憶能力的專門化智能體協同配合，共同完成復雜推理，從而實現「即時學習」：
- 規劃器（Action Planner）：分析任務、制定策略并選擇最合適的工具
- 執行器（Tool Executor）：調用工具集并整合工具執行結果
- 驗證器（Verifier）：基于系統維護的累積記憶評估中間結果是否滿足目標與約束
- 生成器（Generator）：整合所有信息與驗證反饋，生成最終答案或行動建議
AgentFlow 的關鍵創新在于：規劃器（Planner）并非固定不變，而是能夠在智能體交互的「流」（flow）中實時進行 on-policy 優化，使決策過程隨著環境變化及其他智能體的反饋不斷自適應進化。通過這一機制，各模塊在推理流中協同演化，使整個智能體系統在復雜環境下實現自適應推理（adaptive reasoning）與魯棒工具調用（robust tool-calling）。
Flow-GRPO：
流中強化學習優化算法
實現智能體流中強化學習訓練的核心挑戰在于多輪信用分配（multi-turn credit assignment）：即如何在長時跨度（long-horizon）且獎勵稀疏（sparse reward）的條件下，穩定且高效地訓練。為此團隊提出動作級別的（Action Level）的多輪推理優化目標：
通過將軌跡最終結果的成功或失敗信號（outcome reward）廣播至每一步，將原本復雜的多輪強化學習問題轉化為一系列可處理的單輪策略更新。該方法不僅緩解了獎勵稀疏問題，還顯著提升了訓練效率，為智能體在復雜多輪推理中的穩定學習提供了基礎。
實驗結果：
AgentFlow 全面基準測試
為了充分評估 AgentFlow 的泛化能力與高效性，研究團隊在 10 個跨各個領域的基準測試上進行了系統評測，涵蓋知識檢索、智能體任務、數學推理和科學推理四大類。 以 Qwen-2.5-7B-Instruct 為基座模型的 AgentFlow 在各項基準上均超越現有領先方法：
- 知識檢索（Search）：提升 +14.9%
- 智能體推理（Agentic Reasoning）：提升 +14.0%
- 數學推理（Math）：提升 +14.5%
- 科學推理（Science）：提升 +4.1%
值得注意的是，AgentFlow 的表現甚至超過了大規模的專有模型，如 GPT-4o（~200B）。
實驗發現：
小模型的「大智慧」
研究團隊在 10 個基準測試上進行了評估，涵蓋知識檢索、智能體任務、數學推理和科學推理四大類。 一些有趣的發現：
- 模型規模不是唯一答案
使用 7B 參數的 AgentFlow 在多個任務上超過了約 200B 參數的 GPT-4o，Llama3.1-405B，在搜索任務上領先 8.2%，在智能體任務上領先 15.8%。這再一次展現了，合理的系統設計和訓練方法可能比單純堆砌參數訓練 All in one 的大模型更有效。
- 「在流中學習」至關重要
對比實驗顯示，若采用離線監督學習（SFT）方式訓練規劃器，性能反而顯著下降，平均降低 19%。這表明，智能體在真實交互環境「流」中進行在線學習是實現高效推理的必要條件。此外，盡管 AgentFlow 的推理流本身能夠利用其強大的任務分解能力帶來顯著性能提升，但仍可能出現循環錯誤或卡頓問題。通過在真實環境中的訓練，智能體系統展現出快速修正錯誤的工具調用、更精細的子任務規劃，以及全局任務解決性能的提升。
這些結果進一步證明了模塊協作機制以及流中強化學習在提升多輪智能體系統穩定性與效率方面的顯著作用。
- 自主發現新的解決路徑
有意思的是，經過 Flow-GRPO 的強化訓練規劃器，系統學會了根據任務特點選擇合適的工具組合；同時，經過訓練的系統會自發探索出新的工具使用模式，比如組合使用維基百科搜索（Wikipedia Search）和特定網頁增強搜索（Web Search）的連招，通過工具鏈獲得更加深入地信息挖掘，而這些模式幾乎沒有在未訓練的推理流中出現。
- 動態推理深度與性能提升
對于相同的數據集下的不同難度任務：譬如說多跳搜索（Multihop Search），智能體任務中的密集長鏈推理任務，AgentFlow 在經過 Flow-GRPO 訓練后能夠隨著最大限制推理步數的上升穩步提升性能，同時又不會大幅提升平均推理步數——這表示對于長難任務會增加有效的推理步數來提升正確率，而不會一味地所有任務都隨著最大輪數限制而延長推理步數。
結語
AgentFlow 為智能體訓練提供了一種全新的思路：與其追求一個功能完備的單一大語言模型或「一次性完美」的智能體系統，不如讓智能體在系統中自我適應與持續學習。通過將群體智能與「邊做邊學」的范式相結合，AgentFlow 使智能體系統能夠在協同演化中不斷優化，從而高效應對復雜任務。
盡管從研究探索到實際應用仍有較長的距離，但這樣的工作讓我們看到：Agentic AI 依然蘊藏著巨大的潛力與想象空間。
