最近大型語言模型（LLM）的成功促使越來越多的人探索通過它解決各種復雜的任務，其中 LLM 增強的自主 agent（LAA）尤為引人矚目。LLA 將 LLM 的智能擴展到了順序動作執(zhí)行中，在通過收集觀察結(jié)果與環(huán)境交互并解決復雜任務方面展現(xiàn)出了優(yōu)越性能。這類代表性工作有 BabyAGI、AutoGPT3、ReAct、Langchain 等。

但這些探索可能還不夠，主要在以下三個方面存在局限：

首先，最優(yōu) agent 架構(gòu)尚未確定。以 ReAct 為例，它向 agent 提示預定義的樣本，LLM 學會通過上下文學習生成下一步動作。此外，ReAct 認為一個 agent 在動作執(zhí)行之前應有中間推理步驟。

其次，現(xiàn)有 LAA 中 LLM 能否發(fā)揮多大功效，目前并沒有全面的了解。現(xiàn)在的初步工作只比較了一些 LLM 骨干的性能，比如 ReAct 將 PaLM 作為骨干 LLM，ReWOO 則將 OpenAI 的 text-davinci-003 模型作為 agent 規(guī)劃的指令調(diào)優(yōu) Alpaca 模型。同時目前很少有工作全面比較使用不同預訓練 LLM 的 LAA 性能。最近雖有一些工作發(fā)布了評估 LLM 作為 agent 的基準，但未能共同考慮 agent 架構(gòu)和它們的 LLM 骨干。

最后，越來越復雜的任務可能需要多個 agent 共同發(fā)揮作用。比如 ReWOO 最近發(fā)現(xiàn)將推理從觀察中解耦出來可以提升 LAA 的效率。

在今天介紹的這篇論文中，來自 Salesforce Research 的研究者認為，隨著任務復雜度的增加，特別是在開放域環(huán)境中，協(xié)調(diào)多個 agent 來完成一項任務會更好。舉例而言， 對于網(wǎng)頁導航任務，我們可以使用一個點擊 agent 來與點擊按鈕進行交互，并請求另一個搜索智能體來檢索其他資源。

論文鏈接：https://arxiv.org/pdf/2308.05960.pdf

研究者建議全面比較 LAA 的性能，并深入探索了 LAA 的 agent 架構(gòu)和 LLM 骨干。具體地講，他們基于現(xiàn)有環(huán)境構(gòu)建了 agent 基準，從而評估建構(gòu)在不同 LLM 骨干之上的不同 agent 架構(gòu)的性能。該 agent 基準中的任務還劃分了不同的復雜程度，使得 agent 性能與任務復雜度的關(guān)聯(lián)分析成為可能。

此外，這些 agent 架構(gòu)在設(shè)計上旨在廣泛驗證現(xiàn)有的設(shè)計選擇。關(guān)于多個 LAA 的編排，研究者提出了一種新穎的架構(gòu) BOLAA，它在多個協(xié)作 agent 之上有一個控制器模塊，用于多個分工 LAA 的選擇和通信。

本文的貢獻主要體現(xiàn)在以下幾個方面：

• 開發(fā)了 6 種不同的 LAA agent 架構(gòu)，并將這些架構(gòu)與不同骨干 LLM 結(jié)合，從而在提示、自我思考和規(guī)劃中驗證 LAA 的設(shè)計直覺。同時開發(fā)了用于編排多 agent 策略的架構(gòu) BOLAA，增加了單體 agent 的動作交互能力；
• 在決策制定網(wǎng)頁導航環(huán)境和知識推理任務環(huán)境中進行廣泛實驗，報告了最終稀疏獎勵和中間召回方面的性能，這為 LAA 及其兼容的 LLM 的最優(yōu)選擇提供了定性指示；
• 結(jié)果顯示，與其他 LAA 架構(gòu)相比，BOLAA 在 WebShop 環(huán)境中始終取得了最佳性能。這些表明了在解決復雜任務時多個專業(yè) agent 的協(xié)作至關(guān)重要，可以說應該與訓練具有強泛化能力的大型 LLM 同等重要。

愛丁堡大學博士生符堯認為，這項工作揭示了一種新的分布式計算范式：分布式 AI 計算。在傳統(tǒng)分布式計算中，每個節(jié)點處理部分任務；同樣在分布式 AI 計算中，一個 agent 就變成了處理部分任務的節(jié)點。

Agent 架構(gòu)

在這部分，研究者比較了不同的 LAA 架構(gòu)。他們首先展示了如何基于現(xiàn)有工作的直覺來設(shè)計不同的單體 LAA，然后展示了多個 LAA 的編碼設(shè)計，即 BOLAA。

每種類型的 LAA 都能夠通過自己的交互策略與環(huán)境交互。常見的 agent 類型包括：

• Zeroshot LAA
• ZeroshotThink LAA
• ReAct LAA
• PlanAct LAA
• PlanReAct LAA

BOLAA：協(xié)調(diào)多個 agent

盡管現(xiàn)有的 LLM 在完成各種語言理解任務方面取得了成功，但仍有許多問題尚未得到充分探討，如上下文長度限制、上下文內(nèi)學習和泛化能力等。因此，采用單體 LAA 來完成所有任務具有挑戰(zhàn)性，尤其是在任務復雜度較高的情況下。研究者因此提出了一種新的 agent 架構(gòu)，用于協(xié)調(diào)多個 LAA。

如圖 3 所示，BOLAA 有兩個主要模塊，即分工 agent 池和控制器。

分工 agent 池管理多個 LAA，每個 LAA 可能只專注于生成一種類型的執(zhí)行。例如在網(wǎng)絡(luò)導航環(huán)境中，可以建立點擊 LAA 和搜索 LAA。這樣，前者只生成下一個點擊按鈕，而后者只輸出搜索查詢，從而將復雜的任務劃分為可行的任務。控制器的設(shè)計目的是從 agent 池中有選擇地調(diào)用 LAA。

控制器有一個 agent 選擇層，用于選擇最相關(guān)的 LAA 進行調(diào)用。然后，控制器為選定的 LAA 構(gòu)建信息并建立通信。從分工 LAA 獲得響應后，控制器將其解析為可執(zhí)行的操作，然后與環(huán)境交互。

請注意，也可以將這些分工 LAA 設(shè)計為思考 / 計劃 agent。這樣，自我思考和規(guī)劃工作流也會被保留下來。

實驗結(jié)果

研究者從兩個環(huán)境中構(gòu)建了評估基準，WebShop 和 HotPotQA 以及維基百科 API 的用例。

關(guān)于評估指標，研究者使用每個環(huán)境中的獎勵得分來評估 LAA 性能。在 WebShop 環(huán)境中，獎勵被定義為購買商品與 ground-truth 商品之間的屬性重疊率。在 HotPotQA 環(huán)境中，獎勵被定義為 agent 答案與 ground-truth 答案之間的 F1 分數(shù)分級。

此外，研究者為 WebShop 環(huán)境開發(fā)了召回性能，如果在一個任務會話中檢索到 ground-truth 項目，召回性能定義為 1；如果沒有檢索到地面實況項目，召回性能定義為 0。召回率以 WebShop 環(huán)境中所有任務的平均召回分數(shù)來報告。

決策模擬

研究者比較了 WebShop 環(huán)境中 LAA 的決策性能。下表 1 列出了平均獎勵方面的表現(xiàn)。Agent 提示是根據(jù)不同 LLM 模型的最大上下文長度構(gòu)建的。關(guān)于 BOLAA，研究者設(shè)計了一個搜索 LAA 和一個點擊 LAA，分別生成搜索查詢和點擊元素。觀察結(jié)果如下：

• 與其他 LAA 架構(gòu)相比，BOLAA 的性能最佳，尤其是在高性能 LLM 上構(gòu)建時。
• 將 LLM 與最佳 LAA 架構(gòu)配對至關(guān)重要。
• 強大的 LLM 能夠在 Zeroshot LAA arch 下進行泛化。
• 當 Agent 基于開源 LLM 構(gòu)建時，規(guī)劃流通常可以提高性能。

知識推理模擬

隨后，研究者在 HotPotQA 環(huán)境中進行了基準測試，以評估 LAA 的多步驟推理能力。由于在該環(huán)境中，可用的搜索、查找和完成運算都與知識推理有關(guān)，很難分開，因此他們將 BOLAA arch 留待此后工作中使用，只比較其他 agent arch 的性能。結(jié)果如下表 3 所示：

總體來說，ReAct agent 引擎的性能最好，這可以從幾個方面來解釋。

首先，少樣本提示對于 LAA 的行為生成和推理能力是必要的，尤其是在使用較小規(guī)模語言模型進行實驗時。其次，通過比較 ReAct、PlanAct 和 PlanReAct，可以得出結(jié)論：LAA 的規(guī)劃流阻礙了其在知識推理環(huán)境和任務中的表現(xiàn)。原因在于，知識推理任務需要上下文信息來進行推理，而規(guī)劃流是在交互之前執(zhí)行的。因此，這些生成的規(guī)劃往往會導致 LAA 產(chǎn)生更多幻覺。第三，在知識推理任務中，模型大小比上下文長度更重要。大型模型的推理能力更強，因此表現(xiàn)更好。

此外，OpenAI gpt-3.5 模型的卓越推理能力再次得到驗證。研究者還觀察到 Llama2-70b 在所有開源 LLM 中表現(xiàn)最佳，這表明 Llama-2 模型未來可能會進行微調(diào)。

在比較了 LAA 和 LLM 的總體性能之后，研究者對它們在任務復雜度方面的性能進行了更詳細的研究，結(jié)果如下圖所示：

更多研究細節(jié)，可參考原論文。