一次示范讓Agent適應(yīng)各種新環(huán)境，浙大杭電智能體框架入選NeurIPS

2024-11-29 13:58:49

Builder首先需要分析并確定主要錯(cuò)誤的來(lái)源為“Imperfect Rules”或“Imperfect Agents”，然后相應(yīng)的針對(duì)性的提示會(huì)指導(dǎo)Builder進(jìn)行規(guī)則管理。

只需一次人類(lèi)示范，就能讓智能體適應(yīng)新環(huán)境？

來(lái)自杭州電子科技大學(xué)和浙江大學(xué)的研究者，提出了一套新的智能體框架AutoManual。

該研究有效解決了智能體過(guò)度依賴人類(lèi)專家提供的知識(shí)，難以自主適應(yīng)新環(huán)境的問(wèn)題。

圖片

通過(guò)模仿人類(lèi)認(rèn)識(shí)世界“記筆記”的過(guò)程，AutoManual可以讓智能體執(zhí)行任務(wù)成功率高達(dá)97%。

不僅如此，智能體在過(guò)程中學(xué)習(xí)的經(jīng)驗(yàn)還可以供人類(lèi)閱讀，甚至給其他智能體提供規(guī)劃指導(dǎo)。

現(xiàn)有智能體對(duì)人類(lèi)依賴較大

目前，基于大語(yǔ)言模型的智能體（LLM Agents）展現(xiàn)出強(qiáng)大的潛力，能夠自主完成各個(gè)領(lǐng)域的任務(wù)，如機(jī)器人規(guī)劃、游戲角色控制與網(wǎng)站導(dǎo)航。

AgentBench: Evaluating LLMs as Agents.Xiao Liu (TH

然而，這些智能體往往是為特定環(huán)境和特定任務(wù)設(shè)計(jì)的。

如果我們分析一個(gè) LLM Agent 的系統(tǒng)提示詞（System Prompts），會(huì)發(fā)現(xiàn)它通常由這五個(gè)部分組成：

角色描述；
可供使用的動(dòng)作函數(shù)；
輸出格式；
額外指示或要求；
人類(lèi)專家的示例。

對(duì)于新的環(huán)境，其中的前三項(xiàng)可以根據(jù)新環(huán)境對(duì)已有模板做調(diào)整后很快速地定義好；

但對(duì)于后兩項(xiàng)提示詞，會(huì)需要人工匯總環(huán)境知識(shí)，并不斷調(diào)試這些提示，以及準(zhǔn)備多個(gè)人類(lèi)專家示例，才能使 LLM Agent在新環(huán)境中順暢運(yùn)行。

那么，是否能讓智能體自己從環(huán)境交互中學(xué)習(xí)這些知識(shí)呢？

已有的一些工作使用自我反思self-reflection或技能庫(kù)skill library，來(lái)讓智能體在交互中自我提升，部分緩解了對(duì)人工的依賴。

然而，這些反思和技能并沒(méi)有用于對(duì)環(huán)境形成深入的理解，即理解環(huán)境的知識(shí)或機(jī)制。

因此，直接使用經(jīng)驗(yàn)中的技能來(lái)作為大模型的上下文示例，容易形成路徑依賴。

從人類(lèi)認(rèn)識(shí)世界過(guò)程獲得靈感

AutoManual框架有效地解決這一難題，其研究者從人類(lèi)認(rèn)識(shí)世界的過(guò)程中獲取了靈感——

當(dāng)面對(duì)陌生的環(huán)境時(shí)，人類(lèi)會(huì)通過(guò)探索發(fā)現(xiàn)、記錄與更新自身的理解來(lái)逐漸認(rèn)識(shí)到新環(huán)境的規(guī)律；

而且，人類(lèi)可以將自己的理解整理出來(lái)，以文本的方式傳授給他人。

AutoManual就效仿了這種過(guò)程來(lái)記錄和更新LLM Agent對(duì)環(huán)境的理解。

最終，AutoManual框架將生成的一本指導(dǎo)手冊(cè)，不僅可以提高智能體對(duì)新環(huán)境的適應(yīng)性，還可以為較小的模型的規(guī)劃提供指導(dǎo)，并且易于人類(lèi)閱讀。

僅需一個(gè)人類(lèi)演示，AutoManual便在機(jī)器人規(guī)劃環(huán)境ALFWorld將智能體的成功率提高到97%，在網(wǎng)站導(dǎo)航環(huán)境MiniWoB++上的任務(wù)成功率則達(dá)到98%。

具體來(lái)說(shuō)，AutoManual 框架整體由三個(gè)階段組成：

Building階段：Planner Agent與Builder Agent合作從環(huán)境的交互中構(gòu)建出一系列的規(guī)則。當(dāng)規(guī)則超過(guò)最大限制時(shí)，Consolidator Agent將合并或刪除冗余的規(guī)則；
Formulating階段：Formulator Agent將規(guī)則制定成一個(gè)Markdown格式的指導(dǎo)手冊(cè)；
Testing階段：將指導(dǎo)手冊(cè)提供給測(cè)試時(shí)的Planner Agent，來(lái)評(píng)估效果。

△AutoManual框架總覽

首先在Building 階段，研究者受在線強(qiáng)化學(xué)習(xí)的啟發(fā)，使用了兩個(gè)交替的迭代過(guò)程來(lái)構(gòu)建環(huán)境規(guī)則：

基于當(dāng)前規(guī)則，Planner Agent與環(huán)境進(jìn)行一輪交互；
Builder Agent根據(jù)該交互軌跡使用規(guī)則系統(tǒng)來(lái)更新規(guī)則。

與傳統(tǒng)強(qiáng)化學(xué)習(xí)相比，基于文本的規(guī)則管理取代了樣本效率低下的參數(shù)優(yōu)化。

具體而言，對(duì)于Planner Agent，研究者采用Python代碼來(lái)表示的可執(zhí)行的計(jì)劃，這是因?yàn)橐延泄ぷ鞅砻魇褂么a作為輸出能有效提升LLM Agent效果。

在每一輪的開(kāi)始，Planner的輸入為目前已知的規(guī)則，技能庫(kù)或反思庫(kù)中相關(guān)的案例，當(dāng)前的任務(wù)與初始觀測(cè)。

而每次Planner 的輸出分為四個(gè)部分：

對(duì)當(dāng)前觀測(cè)的分析；
相關(guān)規(guī)則的解讀；
總體計(jì)劃；
一個(gè)劃分為多個(gè)步驟的Python代碼塊。

然后，代碼將在環(huán)境中執(zhí)行，并得到反饋與新的觀察結(jié)果。

在這一整輪結(jié)束時(shí)，根據(jù)任務(wù)是否成功，結(jié)果可以分為三種情況：Direct Success、Indirect Success（發(fā)生錯(cuò)誤但稍后解決）和 Failure。

對(duì)于不同情況，提示 Planner 相應(yīng)地匯總技能代碼或反思，而這些技能和反思會(huì)存入技能庫(kù)或反思庫(kù)來(lái)輔助后續(xù)的任務(wù)完成。

△Planner Agent與環(huán)境進(jìn)行交互形成Trajectory的過(guò)程

對(duì)于Builder Agent，其將根據(jù)Planner這輪的軌跡，使用規(guī)則系統(tǒng)的工具函數(shù)來(lái)編寫(xiě)和更新規(guī)則。

為了促進(jìn)規(guī)則管理，研究者引入了一個(gè)結(jié)構(gòu)化的規(guī)則系統(tǒng)，規(guī)則系統(tǒng)中的每個(gè)規(guī)則都具有以下四個(gè)屬性：

規(guī)則的類(lèi)型（分為了6種規(guī)則）；
規(guī)則的內(nèi)容；
規(guī)則的示例；
驗(yàn)證日志。

然而，研究者發(fā)現(xiàn)Builder Agent在面對(duì)這種結(jié)構(gòu)化的規(guī)則系統(tǒng)時(shí)，有時(shí)候會(huì)出現(xiàn)幻覺(jué)，例如從失敗的軌跡中得出成功經(jīng)驗(yàn)的規(guī)則。

為了降低錯(cuò)誤創(chuàng)建規(guī)則的風(fēng)險(xiǎn)，研究者對(duì)Builder采用了case-conditioned prompting策略：

△Case-Conditioned Prompting策略示例

在Building階段結(jié)束后，F(xiàn)ormulating階段的目標(biāo)是增強(qiáng)規(guī)則的可讀性和全局理解。

因此，作者選擇引入Formulator Agent對(duì)規(guī)則自動(dòng)進(jìn)行分類(lèi)，總結(jié)每類(lèi)的關(guān)鍵點(diǎn)，并以Markdown的格式將它們制定成一本指導(dǎo)手冊(cè)。

只需一個(gè)人類(lèi)示例

為了測(cè)試AutoManual框架的效果，研究團(tuán)隊(duì)在三個(gè)知名的交互式環(huán)境中進(jìn)行了實(shí)驗(yàn)：

ALFWorld，一個(gè)家用機(jī)器人的虛擬環(huán)境，提供了基于文本的交互方式；
MiniWoB++，一個(gè)模擬Web環(huán)境，智能體通過(guò)執(zhí)行鍵盤(pán)和鼠標(biāo)操作在網(wǎng)頁(yè)上完成各種任務(wù)；
WebArena，一個(gè)逼真的Web環(huán)境，復(fù)制了現(xiàn)實(shí)的Reddit網(wǎng)站的功能和數(shù)據(jù)。

在Building和Formulating階段，所有Agent都配備了GPT-4-turbo （gpt-4-1106-preview）。

在Testing階段，Planner Agent將配備GPT-4-turbo 或 GPT-3.5-turbo，來(lái)評(píng)估生成的手冊(cè)是否可以指導(dǎo)較小的模型。

從ALFWorld任務(wù)的結(jié)果中可以看出，AutoManual需要很少的環(huán)境相關(guān)的專家先驗(yàn)知識(shí)，只提供一個(gè)人類(lèi)示例即可獲得十分出色的結(jié)果。

圖片