今天分享一篇ICLR25的一篇文章，標題為：AUTOMATED DESIGN OF AGENTIC SYSTEMS（自動化Agent設計系統(tǒng)）。

手寫workflow太累啦，這篇文章探討了如何自動化設計強大的Agent系統(tǒng)（ADAS系統(tǒng)），其通過一種元智能體（meta-agent）來自動編寫和迭代優(yōu)化Agent，讓他自動化去發(fā)明新穎的構建模塊和組合方式。同時通過一個名為 元智能體搜索（Meta Agent Search） 迭代地編程新穎智能體，并根據其性能進行評估和優(yōu)化。

該方法特點總結如下：

1.自動化Agent設計系統(tǒng)： 自動發(fā)明新穎的構建模塊并設計強大的智能體系統(tǒng)。

2.代碼空間搜索： 在代碼空間中定義和搜索智能體的方法，理論上允許發(fā)現(xiàn)任何可能的智能體系統(tǒng)（包括提示、工具使用、工作流等），并利用大模型的編程能力來實現(xiàn)自動化發(fā)現(xiàn)。

3.元智能體搜索算法： 引入了 Meta Agent Search 算法，通過讓元智能體迭代地編程新穎智能體，并根據其性能進行評估和優(yōu)化，從而實現(xiàn)性能的持續(xù)提升和泛化能力的增強。

一、概述

?Title:AUTOMATED DESIGN OF AGENTIC SYSTEMS

?URL:?? https://arxiv.org/abs/2408.08435??

?Authors:Shengran Hu, Cong Lu, Jeff Clune

?Code:?? https://github.com/ShengranHu/ADAS??

1 Motivation

?手動設計智能體系統(tǒng)效率低下：當前 Foundation Models (FMs) 雖強大，但解決復雜問題時往往需要將其作為模塊構建成多組件的智能體系統(tǒng)（如 Chain-of-Thought, Self-Reflection）。這些系統(tǒng)以及各種構建塊（如思維鏈推理、記憶結構、工具使用、自反思等）的開發(fā)和組合，通常需要研究人員和工程師付出大量手動調優(yōu)和精力，且容易受限于領域特定知識。

?長期來看自動化解決方案最終取代手動設計：機器學習的歷史表明，手動設計的解決方案最終會被更高效的學習型解決方案所取代（例如，計算機視覺中手動設計的 HOG 特征被 CNN 學習到的特征取代，以及 AutoML、AI-GA 等方法在自動設計神經網絡、生成環(huán)境方面的成功）。這暗示著智能體系統(tǒng)設計也應走向自動化。

2 Methods

本文提出了一種名為 自動化智能體系統(tǒng)設計 (Automated Design of Agentic Systems, ADAS) 的新研究方向，其核心思想是讓一個“元智能體”（meta agent）通過編寫和修改代碼來自動發(fā)現(xiàn)和設計更優(yōu)秀的智能體系統(tǒng)。

主要模塊說明:

1）搜索空間 (Search Space): 定義了 ADAS 方法能夠表示和發(fā)現(xiàn)的智能體系統(tǒng)類型。提出在 代碼空間 中定義整個智能體系統(tǒng)。選擇 Python 等圖靈完備的編程語言作為搜索空間，可以嘗試各種提示、工具使用邏輯、工作流和它們的任意組合。

2） 搜索算法 (Search Algorithm): 元智能體（基于 GPT-4等強大的LLM）迭代地編程新穎的智能體。元智能體根據一個不斷增長的、包含先前發(fā)現(xiàn)的智能體及其性能的檔案來生成新的智能體。相當于迭代去探索（新穎或有價值）的可能結果。

實現(xiàn)細節(jié)：

? 為元智能體提供一個包含基本功能（如 FM 查詢 API、提示格式化）的簡單框架（少于 100 行代碼）。

? 元智能體只需編寫一個??forward?? 函數(shù)來定義新智能體的功能。

? 可以可選地用基線智能體（如 Chain-of-Thought, Self-Refine）初始化檔案。

3）評估函數(shù) (Evaluation Function): 以智能體在任務驗證數(shù)據上的 準確率或 F1 分數(shù) 作為性能指標來優(yōu)化。

3 Conclusion

?新穎智能體設計：Meta Agent Search 能夠系統(tǒng)地發(fā)現(xiàn)具有新穎設計的智能體，這些智能體在 ARC 挑戰(zhàn)等任務中顯著超越了手 SOTA 手動設計的智能體。

?跨領域和模型通用性：論文中的研究表明，通過 Meta Agent Search 發(fā)現(xiàn)的智能體不僅在特定領域表現(xiàn)出色，而且在跨領域（如從數(shù)學到閱讀理解）和跨模型（如從 GPT-3.5 到 Claude-Sonnet）的遷移中仍能保持卓越性能，這體現(xiàn)了其強大的魯棒性和通用性。

?克服手動設計限制：這項研究展示了 ADAS 在自動化智能體系統(tǒng)設計方面的巨大潛力，能夠節(jié)省大量人類手動調優(yōu)的努力，并可能比手動設計更快地發(fā)現(xiàn)更有效的解決方案。

4 Limitation

• ?領域復雜性限制：目前的評估主要集中在單步 QA 任務上，尚未擴展到涉及多步驟交互和復雜環(huán)境的真實世界應用中，這限制了其在更復雜場景下的驗證。
• ?未充分利用現(xiàn)有構建模塊：盡管理論上代碼空間允許從頭開始編程所有組件，但實踐中效率低下。當前的方法未能充分利用現(xiàn)有的人類努力，例如搜索引擎工具、RAG 框架（如 LangChain），以及多模態(tài)能力等，這可能限制了智能體的復雜性和功能性。
• ?探索算法相對簡單：Meta Agent Search 的搜索算法設計相對簡單，主要側重于探索“有趣”的新設計。缺乏更復雜的探索與利用平衡機制，如 Quality-Diversity 或其他 AI-GA 算法中的高級策略，可能限制了其在超大搜索空間中的探索效率和最優(yōu)性。

5 Future Work

• ?適配更復雜的領域：將 Meta Agent Search 擴展到更復雜的領域，如涉及與復雜環(huán)境進行多步交互的真實世界應用。
• ?新穎性搜索算法：改進 Meta Agent Search 的搜索算法，結合 Quality-Diversity、AI-GA 等領域的更復雜理念，以更有效地平衡探索與利用。

二、總結

結論1: 自動化Agent系統(tǒng)設計可能代表著智能體開發(fā)的新范式。 手動設計智能體系統(tǒng)所面臨的效率低下和創(chuàng)新局限性。利用LLM的強大編程能力在代碼空間中進行搜索，可能能夠自動發(fā)明新穎、高效的智能體構建塊和組合方式，可以加速了智能體系統(tǒng)的發(fā)展。

結論2: 元智能體搜索算法能夠持續(xù)發(fā)現(xiàn)超越 SOTA 手動設計的智能體。 本文提出的 Meta Agent Search 算法在多個領域（包括邏輯推理、閱讀理解、數(shù)學、多任務和科學問題解決）的實驗中表現(xiàn)出色，在未見過的領域也有強大的泛化和遷移能力。一定程度證明了自動化設計智能體系統(tǒng)是可行的。

結論3: 代碼空間搜索是實現(xiàn)通用智能體設計和 AI 進步的關鍵。 理論上這種方法能發(fā)現(xiàn)任何可能的智能體系統(tǒng)——包括提示、工具使用、工作流和它們的任意組合。

本文轉載自????NLP PaperWeekly????，作者：NLP PaperWeekly