從零搭一套可復(fù)現(xiàn)、可教學(xué)、可觀察的RL for VLM訓(xùn)練流程，我們?cè)嚵嗽?/h1>

作者：機(jī)器之心 2025-04-09 12:06:21

來(lái)自上海交通大學(xué)、MiniMax、復(fù)旦大學(xué)和 SII 的研究團(tuán)隊(duì)選擇按下暫停鍵，進(jìn)行了一次關(guān)于 RL Scaling 的重新思考（Rethinking）。

自 Deepseek-R1 發(fā)布以來(lái)，研究社區(qū)迅速響應(yīng)，紛紛在各自任務(wù)中復(fù)現(xiàn) R1-moment。

在過(guò)去的幾個(gè)月中，越來(lái)越多的研究嘗試將 RL Scaling 的成功應(yīng)用擴(kuò)展到視覺(jué)語(yǔ)言模型（VLM）領(lǐng)域 —— 刷榜、追性能、制造 “Aha Moment”，整個(gè)社區(qū)正高速奔跑，RL for VLM 的邊界也在不斷被推遠(yuǎn)。

但在這樣一個(gè)節(jié)奏飛快、聚焦結(jié)果的研究環(huán)境中，基礎(chǔ)設(shè)施層面的透明性、評(píng)估的一致性，以及訓(xùn)練過(guò)程的可解釋性，往往被忽視。

這會(huì)帶來(lái)三個(gè)問(wèn)題：

當(dāng)?shù)讓訉?shí)現(xiàn)依賴封裝復(fù)雜的 RL 庫(kù)時(shí)，整體流程往往難以看清，理解和修改成本高，不利于方法的教學(xué)與傳播；
缺乏一致、魯棒的評(píng)估標(biāo)準(zhǔn)，不同方法之間難以公平比較，也難以積累長(zhǎng)期洞察；
訓(xùn)練過(guò)程行為不可觀測(cè)，模型如何學(xué)習(xí)、學(xué)習(xí)出了什么能力、訓(xùn)練過(guò)程中出現(xiàn)了哪些行為變得難以分析。

于是，來(lái)自上海交通大學(xué)、MiniMax、復(fù)旦大學(xué)和 SII 的研究團(tuán)隊(duì)選擇按下暫停鍵，進(jìn)行了一次關(guān)于 RL Scaling 的重新思考（Rethinking）：

他們提出 MAYE —— 一個(gè)從零實(shí)現(xiàn)的 RL for VLM 框架與標(biāo)準(zhǔn)化評(píng)估方案，希望為該領(lǐng)域奠定一個(gè)透明、可復(fù)現(xiàn)、可教學(xué)的研究起點(diǎn)。

論文標(biāo)題：Rethinking RL Scaling for Vision Language Models: A Transparent, From-Scratch Framework and Comprehensive Evaluation Scheme
論文地址：https://arxiv.org/pdf/2504.02587
代碼地址：https://github.com/GAIR-NLP/MAYE
數(shù)據(jù)集地址：https://huggingface.co/datasets/ManTle/MAYE

三大核心貢獻(xiàn)

重塑 RL+VLMs 的研究范式

1. 簡(jiǎn)潔透明的 RL for VLM 訓(xùn)練架構(gòu)：輕依賴、強(qiáng)可控

MAYE 的實(shí)現(xiàn)很「干凈」：

沒(méi)有 Ray / DeepSpeed / TRL / Verl / OpenRLHF / AReaL
從零實(shí)現(xiàn)，無(wú)黑箱封裝，無(wú)多余抽象
基于 Transformers / FSDP2 / vLLM 搭建，專為 VLM 設(shè)計(jì)
支持靈活改動(dòng)，適合教學(xué)與研究場(chǎng)景

這樣的設(shè)計(jì)不僅提升了訓(xùn)練過(guò)程的可解釋性，也極大降低了 RL for VLM 的入門門檻：每一行代碼、每一個(gè)環(huán)節(jié)都可見(jiàn)、可查、可改，研究者可以更清晰地理解模型是如何學(xué)習(xí)的，又為何能收斂。

我們并未采用當(dāng)前 VLM-RL 社區(qū)常用的 GRPO，而是選擇探索 Reinforce++ 的替代可能性。整個(gè)項(xiàng)目的靈感來(lái)源于 OpenAI Spinning Up，我們希望 MAYE 能成為 VLM-RL 研究中的一個(gè)輕量、透明、可教學(xué)的入門底座。

相比市面上黑盒化程度較高的 RL 框架，MAYE 更像是一個(gè)透明的「教學(xué)級(jí)實(shí)驗(yàn)框架」：既可直接運(yùn)行，也可任意插拔、修改各個(gè)組件，非常適合用于方法對(duì)比、原理教學(xué)，甚至作為新手入門的第一課。

我們將完整的訓(xùn)練流程解構(gòu)為 4 個(gè)輕量模塊：

數(shù)據(jù)流動(dòng)（data flow) → 響應(yīng)采集 (response collection) → 軌跡構(gòu)造 (trajectory generation）→ 策略更新 (policy update)

每一步都通過(guò)清晰的接口呈現(xiàn)，可以像樂(lè)高一樣自由拼接、替換，將原本復(fù)雜封裝的黑盒流程徹底 “白盒化”。

訓(xùn)練過(guò)程不再是只能看 loss 和 accuracy 的黑箱，而是變成一條可以觀察、分析、干預(yù)的路徑。

RL for VLM，只需四步：結(jié)構(gòu)清晰，可拆可查

2. 標(biāo)準(zhǔn)化評(píng)估方案：看清訓(xùn)練過(guò)程，看懂模型行為

RL 研究中，一直存在兩個(gè)老大難問(wèn)題：訓(xùn)練過(guò)程不穩(wěn)定，評(píng)估過(guò)程不透明。

尤其在 VLM 場(chǎng)景下，很多 RL 工作只關(guān)注 “最后結(jié)果”，缺乏對(duì)學(xué)習(xí)曲線、行為演化的系統(tǒng)性觀察與分析。

那么 —— 模型究竟是如何學(xué)會(huì)的？反思能力是如何出現(xiàn)的？長(zhǎng)輸出真的等于更強(qiáng)推理嗎？過(guò)去缺乏統(tǒng)一的方式來(lái)回答這些問(wèn)題。

為此，MAYE 提出了一整套細(xì)致、可復(fù)現(xiàn)的標(biāo)準(zhǔn)化評(píng)估方案（evaluation scheme），用于系統(tǒng)追蹤訓(xùn)練動(dòng)態(tài)和模型行為演化：

訓(xùn)練集指標(biāo)：

accuracy curve（準(zhǔn)確率曲線）
response length（響應(yīng)長(zhǎng)度）
多次獨(dú)立運(yùn)行取均值，展現(xiàn)真實(shí)學(xué)習(xí)趨勢(shì)

驗(yàn)證 & 測(cè)試集指標(biāo)：

pass@1 與 pass@8，在不同溫度設(shè)置下評(píng)估泛化能力
提供平均值 + 最大值，全面覆蓋性能變化

反思行為指標(biāo)：

反思詞使用頻率統(tǒng)計(jì)（e.g., re-check, think again, verify）
五個(gè)比例指標(biāo)，量化反思是否真正帶來(lái)了正確率提升

這些指標(biāo)覆蓋了訓(xùn)練全過(guò)程，既能用于算法開(kāi)發(fā)，也適合橫向比較、機(jī)制研究。

無(wú)論你是做方法、做分析，還是做認(rèn)知能力探測(cè)，MAYE 都能提供一套清晰可復(fù)現(xiàn)的過(guò)程視角。

準(zhǔn)確率曲線、輸出長(zhǎng)度、反思指標(biāo)——三類視角還原 RL 全貌

3. 實(shí)證發(fā)現(xiàn)與行為洞察：RL 不止有效，更值得被理解

MAYE 不只是一個(gè)框架和評(píng)估工具，也是一套可以產(chǎn)出研究發(fā)現(xiàn)的實(shí)驗(yàn)平臺(tái)。

研究團(tuán)隊(duì)在多個(gè)主流 VLMs（如 Qwen2 / Qwen2.5-VL-Instruct）和兩類視覺(jué)推理數(shù)據(jù)集（文本主導(dǎo) / 圖像主導(dǎo)）上開(kāi)展系統(tǒng)實(shí)驗(yàn)，復(fù)現(xiàn)實(shí)驗(yàn)足夠穩(wěn)健：所有結(jié)果均基于 3 次獨(dú)立運(yùn)行，并報(bào)告均值與標(biāo)準(zhǔn)差。

在此基礎(chǔ)上，我們觀察到了一些有代表性的現(xiàn)象：

輸出長(zhǎng)度會(huì)隨著模型架構(gòu)、數(shù)據(jù)分布、訓(xùn)練隨機(jī)種子而顯著變化，是判斷模型推理策略演化的重要觀測(cè)信號(hào)；
反思行為（Reflection）頻率與輸出長(zhǎng)度高度相關(guān)，但大多數(shù)性能提升仍來(lái)源于非反思型推理。輸出變長(zhǎng) ≠ 模型變強(qiáng)。長(zhǎng)文本可能意味著更豐富的推理，也可能只是訓(xùn)練過(guò)程中的隨機(jī)漂移或復(fù)讀堆疊。只有當(dāng) “更長(zhǎng)” 帶來(lái) “更準(zhǔn)”，才值得被認(rèn)為是有效行為；
Aha Moment 并不是 RL 訓(xùn)練憑空生成的，而是在 VLM 模型本身能力基礎(chǔ)上被進(jìn)一步激發(fā)和強(qiáng)化；

在多個(gè)模型和數(shù)據(jù)集上，系統(tǒng)追蹤了訓(xùn)練動(dòng)態(tài)與反思行為

在相同高質(zhì)量監(jiān)督數(shù)據(jù)（來(lái)自 textbook-style CoT）下，RL 在驗(yàn)證集和測(cè)試集上均顯著優(yōu)于 SFT，且具有更強(qiáng)的 OOD 泛化能力。即便是 Qwen2.5-VL 這類強(qiáng)基座模型，也能從 RL 中獲得額外提升。

驗(yàn)證集與測(cè)試集全維度對(duì)比：RL 展現(xiàn)出更強(qiáng)的泛化能力

這些實(shí)證結(jié)果不僅揭示了 RL 對(duì)模型行為的真實(shí)影響，也為后續(xù)研究者提供了穩(wěn)定、可對(duì)照的 baseline 實(shí)驗(yàn)結(jié)果。我們也呼吁社區(qū)更多采用多次獨(dú)立運(yùn)行報(bào)告結(jié)果，推動(dòng) RL for VLM 從 “能跑通” 邁向 “可分析、可信任”。