近日，微軟研究院的一個(gè)團(tuán)隊(duì)發(fā)布了一個(gè)名為 Agent Lightning 的框架，它使任何人工智能（AI）智能體都能通過強(qiáng)化學(xué)習(xí)進(jìn)行訓(xùn)練。

圖片

這個(gè)框架的核心突破在于，它實(shí)現(xiàn)了智能體執(zhí)行與強(qiáng)化學(xué)習(xí)（RL）訓(xùn)練過程的完全解耦。

這一設(shè)計(jì)允許開發(fā)者將該框架無縫集成到他們現(xiàn)有的智能體中，并且?guī)缀?/span>不需要修改任何代碼。

這意味著，無論智能體是使用LangChain、AutoGen等流行框架構(gòu)建，還是從頭開始編寫，都能應(yīng)用此訓(xùn)練方法。

1.訓(xùn)練與執(zhí)行的徹底解耦

圖片

Overview of Agent Lightning

當(dāng)前訓(xùn)練AI智能體的方法，通常將訓(xùn)練系統(tǒng)與智能體的內(nèi)部邏輯緊密耦合在一起。

這種緊密耦合的方式，要求開發(fā)者必須在訓(xùn)練系統(tǒng)內(nèi)部重建或大幅改造他們的智能體，過程費(fèi)時(shí)費(fèi)力且容易出錯(cuò)。

為了打破這一瓶頸，Agent Lightning 提出了一種創(chuàng)新的“訓(xùn)練-智能體解聚合” (TA Disaggregation) 架構(gòu)。

圖片

圖注：Training-Agent Disaggregation architecture

這個(gè)架構(gòu)將系統(tǒng)清晰地劃分為兩個(gè)核心組件：Lightning服務(wù)器和 Lightning 客戶端。

Lightning服務(wù)器作為強(qiáng)化學(xué)習(xí)訓(xùn)練系統(tǒng)的控制器，負(fù)責(zé)管理整個(gè)訓(xùn)練流程和模型參數(shù)的更新。

Lightning客戶端則作為智能體的運(yùn)行時(shí)環(huán)境，獨(dú)立負(fù)責(zé)運(yùn)行智能體的具體應(yīng)用邏輯和數(shù)據(jù)收集。

服務(wù)器通過一個(gè)類似OpenAI的API接口，向客戶端提供更新后的模型訪問權(quán)限。

客戶端的智能體在執(zhí)行任務(wù)時(shí)調(diào)用此API，就像使用任何標(biāo)準(zhǔn)的LLM服務(wù)一樣，完全無需感知背后復(fù)雜的訓(xùn)練過程。

這種分離設(shè)計(jì)使得訓(xùn)練框架變得“智能體無關(guān)”，它只專注于優(yōu)化模型和管理硬件資源，不關(guān)心智能體的具體實(shí)現(xiàn)。

同時(shí)，智能體也變得“訓(xùn)練器無關(guān)”，開發(fā)者可以聚焦于智能體的業(yè)務(wù)邏輯，而不受限于訓(xùn)練基礎(chǔ)設(shè)施的束縛。

為了實(shí)現(xiàn)無代碼修改的數(shù)據(jù)捕獲，客戶端巧妙地運(yùn)用了如OpenTelemetry等可觀測性框架，自動(dòng)檢測和記錄執(zhí)行軌跡。

這種架構(gòu)還天然支持?jǐn)?shù)據(jù)并行，客戶端可以同時(shí)在單個(gè)或多個(gè)節(jié)點(diǎn)上運(yùn)行大量智能體實(shí)例，極大地提升了數(shù)據(jù)吞吐量和訓(xùn)練效率。

此外，客戶端運(yùn)行時(shí)還內(nèi)置了全面的錯(cuò)誤處理機(jī)制，確保單個(gè)智能體的崩潰不會(huì)中斷整個(gè)長時(shí)間的訓(xùn)練流程。

它還提供了一種“自動(dòng)中間獎(jiǎng)勵(lì)”（AIR）機(jī)制，能夠基于系統(tǒng)監(jiān)控信號(hào)為智能體的中間步驟分配獎(jiǎng)勵(lì)，有效緩解了稀疏獎(jiǎng)勵(lì)問題。

通過這種方式，Agent Lightning 成功地將計(jì)算密集的模型訓(xùn)練與邏輯靈活多樣的智能體應(yīng)用分離開來，為大規(guī)模訓(xùn)練真實(shí)世界的AI智能體鋪平了道路。

2.統(tǒng)一數(shù)據(jù)接口與分層強(qiáng)化學(xué)習(xí)

圖片

該圖展示了 Agent Lightning 如何通過統(tǒng)一數(shù)據(jù)接口在執(zhí)行過程中系統(tǒng)化地記錄狀態(tài)變化與軌跡，用于強(qiáng)化學(xué)習(xí)優(yōu)化。

Agent Lightning 的理論基石，是將復(fù)雜的智能體執(zhí)行過程抽象為一個(gè)馬爾可夫決策過程（MDP）。

在這個(gè)模型中，智能體執(zhí)行的某個(gè)瞬間快照被定義為“狀態(tài)”，它包含了描述執(zhí)行狀況所需的一組變量。

策略大語言模型（LLM）生成的輸出則被視為“動(dòng)作”，這個(gè)動(dòng)作會(huì)驅(qū)動(dòng)智能體轉(zhuǎn)換到下一個(gè)狀態(tài)。

智能體完成任務(wù)后獲得的結(jié)果，被量化為“獎(jiǎng)勵(lì)”信號(hào)，用于評(píng)估動(dòng)作的質(zhì)量。

基于MDP的建模，Agent Lightning 提出了一個(gè)統(tǒng)一的數(shù)據(jù)接口，該接口能適用于從任何AI智能體收集的數(shù)據(jù)。

這個(gè)接口將智能體的執(zhí)行軌跡，無論其內(nèi)部邏輯多么復(fù)雜，都統(tǒng)一表示為一系列（狀態(tài)，動(dòng)作，獎(jiǎng)勵(lì)）的轉(zhuǎn)換序列。

這種設(shè)計(jì)巧妙地忽略了智能體內(nèi)部繁瑣多變的具體實(shí)現(xiàn)邏輯，只關(guān)注策略LLM的輸入和輸出，從而極大簡化了數(shù)據(jù)建模。

為了利用這些收集到的數(shù)據(jù)來優(yōu)化LLM，研究團(tuán)隊(duì)進(jìn)一步設(shè)計(jì)了一種名為 LightningRL 的分層強(qiáng)化學(xué)習(xí)算法。

LightningRL 的核心在于一個(gè)信用分配模塊，它首先將整個(gè)任務(wù)最終獲得的總獎(jiǎng)勵(lì)，分配給過程中的每一次LLM調(diào)用（即每一個(gè)動(dòng)作）。

然后，這些分配到單次動(dòng)作的獎(jiǎng)勵(lì)，會(huì)被用于指導(dǎo)現(xiàn)有的單輪次強(qiáng)化學(xué)習(xí)算法（如GRPO、PPO等）來更新模型參數(shù)。

這種分層優(yōu)化的方法，完美兼容了現(xiàn)有的高效RL算法，使其可以直接應(yīng)用于更復(fù)雜的多輪交互場景中。

與以往將多輪交互拼接成一個(gè)長序列并使用掩碼（masking）進(jìn)行訓(xùn)練的方法相比，LightningRL 的設(shè)計(jì)優(yōu)勢顯著。

它避免了設(shè)計(jì)復(fù)雜且容易出錯(cuò)的掩碼策略，因?yàn)閿?shù)據(jù)被天然地分解為獨(dú)立的轉(zhuǎn)換單元，無需拼接。

同時(shí)，這種方式也緩解了因多輪對(duì)話累積上下文，導(dǎo)致輸入序列過長而超出模型限制或增加計(jì)算負(fù)擔(dān)的問題。

LightningRL 的數(shù)據(jù)組織方式還支持靈活的上下文構(gòu)建，模型的輸入可以根據(jù)需要?jiǎng)討B(tài)生成，例如包含歷史摘要或特定的角色指令。

總而言之，通過MDP建模、統(tǒng)一數(shù)據(jù)接口和LightningRL算法，Agent Lightning 為在模塊化和動(dòng)態(tài)化的智能體系統(tǒng)中進(jìn)行有效的策略優(yōu)化奠定了堅(jiān)實(shí)的基礎(chǔ)。

3.跨場景應(yīng)用的穩(wěn)定提升

該圖對(duì)比了單次調(diào)用 GRPO、多輪 GRPO 與 LightningRL，突出 LightningRL 通過將軌跡分解為轉(zhuǎn)換并分組估計(jì)優(yōu)勢，實(shí)現(xiàn)更精細(xì)的優(yōu)化。

為了驗(yàn)證框架的真實(shí)效能，研究團(tuán)隊(duì)在三個(gè)具有代表性且實(shí)現(xiàn)方式各不相同的任務(wù)上進(jìn)行了測試。

第一個(gè)任務(wù)是使用LangChain框架構(gòu)建的文本到SQL智能體。

圖片

Text-to-SQL 任務(wù)的獎(jiǎng)勵(lì)曲線

該智能體需要在復(fù)雜的Spider數(shù)據(jù)集上，根據(jù)自然語言問題生成可執(zhí)行的SQL查詢并回答問題。

這個(gè)場景的特殊之處在于它是一個(gè)多智能體系統(tǒng)，由同一個(gè)LLM扮演SQL編寫、檢查和重寫三個(gè)不同角色。

實(shí)驗(yàn)證明，Agent Lightning 不僅能夠驅(qū)動(dòng)整個(gè)系統(tǒng)性能提升，還能選擇性地同時(shí)優(yōu)化其中的兩個(gè)智能體（編寫和重寫），展示了其在多智能體協(xié)同優(yōu)化中的靈活性。

第二個(gè)任務(wù)是利用OpenAI Agents SDK實(shí)現(xiàn)的檢索增強(qiáng)生成（RAG）智能體。

這個(gè)智能體需要通過從包含2100萬份文檔的整個(gè)維基百科中檢索信息，來回答MuSiQue數(shù)據(jù)集中的多跳推理問題。

這項(xiàng)任務(wù)的挑戰(zhàn)在于查詢的開放性和巨大的信息檢索空間，非?？简?yàn)智能體制定有效檢索策略和進(jìn)行文本推理的能力。

第三個(gè)任務(wù)則是通過AutoGen框架開發(fā)的數(shù)學(xué)問答智能體。

該智能體必須在Calc-X數(shù)據(jù)集上，學(xué)會(huì)如何以及何時(shí)調(diào)用計(jì)算器工具來解決數(shù)學(xué)問題。

圖片

Reward curves for the Calculator task

這要求模型不僅要理解數(shù)學(xué)邏輯，還要能生成語法正確的工具調(diào)用指令，并將工具返回的結(jié)果正確地整合到最終的解題步驟中。

在所有這三個(gè)場景中，獎(jiǎng)勵(lì)曲線圖都清晰地顯示，經(jīng)過Agent Lightning 的訓(xùn)練，模型的性能都獲得了穩(wěn)定且持續(xù)的提升。

這些跨越不同框架、不同任務(wù)、不同復(fù)雜度的成功案例，有力地證明了

Agent Lightning 作為一個(gè)通用優(yōu)化框架的強(qiáng)大潛力，能夠賦能AI智能體解決更加開放和動(dòng)態(tài)的現(xiàn)實(shí)世界問題。

via  https://github.com/microsoft/agent-lightning