假如你目前正在使用和研究類似CAMEL的多智能體系統，現在已經有了扮演研究者的Agent和負責寫論文的Agent，再添加一個事實核查Agent會改善結果嗎？

如果無法有效評估這種更改的影響，就很難確定前進的方向。

當然，從另一個角度來說，有一個令人信服的基準測試用來給大家刷分也是很重要的（狗頭）。

近日，來自CAMEL AI、KAUST、清華等高校和機構的研究人員推出了一個跨平臺的多模態智能體基準測試——CRAB。

值得一提的是，CAMEL AI團隊最早做出了基于大語言模型的多智能體開源項目：https://www.camel-ai.org/、https://github.com/camel-ai/camel。

論文地址：https://arxiv.org/abs/2407.01511

這個Benchmark涉及當前AI應用的幾個重點：多模態、多智能體和跨平臺。

多模態能力就不用說了，畢竟是現實需求。

而多智能體系統則能夠更好的為人類服務，解決更佳復雜的任務。

對于跨平臺，可以舉個例子：比如用手機拍完照片，然后發到電腦上P圖，這就需要跨越了兩種操作系統（平臺）。

所以，多模態、多智能體和跨平臺，是當下AI打工人能夠完成真實場景下的復雜任務所必備的能力。

上圖展示了CRAB的總體架構，同時也是多智能體系統基準測試的工作流程。

通過將指令分配給基準測試系統內的主Agent和圖評估器，來初始化任務。

工作流是一個循環：主Agent觀察、計劃和指示子Agent，子Agent在各自的平臺中執行操作。

圖評估器監控平臺中任務的狀態，在整個工作流中不斷更新和輸出任務完成指標。

總的來說，CRAB是一個與現實世界情況密切相關的基準測試，能夠更準確地反映多智能體系統在復雜任務中的表現。

那么，在這種要求甚高的測試中，最強大的一些模型能考多少分呢？

——答：全班第一考了35.26分（CR指的是完成率）。

其實還行，畢竟是突擊考試。而現在靶子已經畫好了，可以期待今后的模型或者AI系統進化出更貼近現實的能力。

跨平臺多模態智能體評估

Crab提供了一個全面的交互式的任務評估框架，Agent需要在各種設備和平臺上同時運行，滿足在不同系統中高效完成任務的條件。

作者提出了一種稱為圖評估器的新型評估方法，與傳統的基于目標或者軌跡的方法不同，圖評估器通過檢查完成任務的中間過程將任務分解為多個子目標。

每個子目標都被分配了一個判斷函數來驗證其完整性，并且每個節點都被視為圖評估器中的一個節點。

圖結構描述了子目標之間的順序和并行關系，因此提供了細粒度的指標，同時又適應多種解決方案。

上表將Crab與現有框架進行了比較，包括測試涉及的幾項關鍵能力：

Interactive Environment區分是使用交互式平臺還是靜態數據集；

Multimodal Observation指定了基于視覺的觀察（例如屏幕截圖）的可用性；

Cross-platform表示支持多個操作系統或平臺；

Evaluation描述了評估指標，分為基于目標（僅根據最終目標檢查平臺狀態）、基于軌跡（將Agent操作軌跡與標準操作序列進行比較）、多重（因任務而異）或基于圖（每個節點作為中間檢查點的 DAG）；

Task Construction展示了任務構建方法，包括人工制作、LLM啟發（比如LLM生成任務草稿，但由人工驗證和注釋）、模板（填寫任務模板中的空白）或子任務組合（組成多個子任務以構建任務和評估器）。

基于Crab框架，作者開發了一個基準測試Crab Benchmark-v0，支持Android環境和Ubuntu環境。

基準測試總共包含100個真實世界的任務，包括跨平臺和單平臺跨多個難度級別的任務。

任務涉及各種常見問題，以及實際應用程序和工具，包括但不限于日歷、電子郵件、地圖、網絡瀏覽器、和終端，以及智能手機和臺式機之間的常見交互。

框架

假設Agent在數字設備（比如臺式機）上自主執行任務。這種設備通常有輸入設備（鼠標和鍵盤）用于人機交互，以及輸出設備（屏幕）來允許人類觀察其狀態。

作者將這種類型的設備表示為一個平臺。在形式上可以定義為一個無獎勵的部分可觀測馬爾可夫決策過程（POMDP），用元組M:=（S，A，T，O）表示。

其中S表示狀態空間，A表示動作空間，T:S×A→S是轉移函數，O是觀測空間。

考慮到現實場景中多個設備的協作性質，可以將多個平臺組合成一個集合M=M1，M2，...，Mn，其中n是平臺的數量，每個平臺Mj=（Sj，Aj，Tj，Oj）。

定義一個需要跨多個平臺操作的任務，該任務被形式化為一個元組（M，I，R），其中M是平臺集合，I是以自然語言指令的形式表示的任務目標，R是任務的獎勵函數。

系統中的Agent使用預定義的系統提示、并保留其對話歷史記錄。

Agent系統由負責規劃、推理和執行操作的單個Agent組成，或者由多個Agent進行協作。

把復雜任務分解為多個更簡單的子任務，是讓Agent系統能夠更加精準的完成復雜任務的方法之一。

研究人員將這一概念引入基準測試領域，將復雜任務分解為具有順序和并行連接的子任務，也就是上圖中的分解任務圖（GDT）。

GDT提供了一種新的任務分解方法：用DAG結構表示分解后的子任務。在GDT中，每個節點都是一個子任務，形式化為一個元組（m，i，r），其中m指定了執行子任務的平臺，i提供了自然語言指令，r表示獎勵函數。

這個函數評估m的狀態并輸出一個布爾值，以確定子任務是否完成。GDT中的邊表示子任務之間的順序關系。

跨平臺

與單一平臺任務相比，跨平臺任務有三個主要優勢：

首先，跨平臺任務反映了現實世界場景，人類同時使用多個設備來完成任務。

其次，這些任務需要在平臺之間進行復雜的消息處理和信息傳遞，要求Agent規劃行動、為每個平臺構建輸出，并記住需要傳遞的內容，從而展示出對現實世界的高層次理解，和解決復雜任務的能力。

最后，多Agent系統被證明在執行復雜任務時更加有效，而跨平臺任務非常適合多Agent系統，因為它們可以通過每個平臺中不同的觀測空間、行動空間和專門知識進行劃分。

Crab使用統一接口允許Agent在所有平臺中操作。作者通過名稱、所屬平臺、功能的具體描述和參數來定義一個動作。

Agent必須在每個回合提供動作名稱、參數和目標平臺。Crab將動作轉換為相應的功能，并通過網絡將其路由到物理或虛擬設備。

圖評估器

為了評估大語言模型作為Agent的能力，大多數基準測試僅基于Agent操作后平臺的最終狀態來評估Agent。

只判斷最終目標是成功還是失敗，顯然不夠公平，就像大題不會做，但寫個解是應該給分的。

另一種方法是基于軌跡匹配，將Agent的操作與每個任務的預定義標準操作序列進行比較。

然而，在現實世界系統中，任務可能有多條有效的執行路徑，比如復制文件可以使用文件管理器，也可以使用命令行。

評估指標

所以本文采用了與平臺狀態同步的圖評估器，通過子任務完成的當前狀態來跟蹤Agent的進度。

除了傳統的成功率（SR），只有在所有子任務都完成時才將任務標記為成功，作者還引入了三個指標，衡量Agent的性能和效率：

完成率（CR）測量完成子任務節點數的比例，計算方式為C/N，其中C是已完成節點的數量，N是總節點數。該指標直觀地反映了Agent在給定任務上的進展情況。

執行效率（EE）計算為CR/A，其中A表示執行的動作次數，反映了Agent的任務執行效率。

成本效率（CE）計算為CR/T，其中T是Agent使用的總token數，評估了Agent消耗資源的效率。

實驗

要在Crab Benchmark-v0中運行，多模態模型需要支持：

（1）接受多模態混合輸入，系統同時提供屏幕截圖和文本指令作為提示；

（2）處理多輪對話，大多數任務需要Agent執行多個操作，必須在上下文中存儲歷史消息；

（3）通過函數調用生成結構化輸出。

實驗選擇了四種滿足這些標準的多模態模型：GPT-4o、GPT-4 Turbo、Gemini 1.5 Pro和Claude 3 Opus，下表給出了其中一部分結果：