多模態(tài)模型學(xué)會打撲克：表現(xiàn)超越GPT-4v，全新強化學(xué)習(xí)框架是關(guān)鍵

2024-06-04 14:11:00

智能體在執(zhí)行玩21點的任務(wù)時，系統(tǒng)直接要求多模態(tài)模型根據(jù)目前的狀態(tài)，在輸出思維鏈之后選擇“停牌” （stand）或者“拿牌”（hit），然后直接將對應(yīng)的動作輸入到環(huán)境中，得到獎勵函數(shù)值以及下一個狀態(tài)。

只用強化學(xué)習(xí)來微調(diào)，無需人類反饋，就能讓多模態(tài)大模型學(xué)會做決策！

這種方法得到的模型，已經(jīng)學(xué)會了看圖玩撲克、算“12點”等任務(wù)，表現(xiàn)甚至超越了GPT-4v。

圖片

這是來自UC伯克利等高校最新提出的微調(diào)方法，研究陣容也是相當豪華：

圖靈獎三巨頭之一、Meta首席AI科學(xué)家、紐約大學(xué)教授LeCun
UC伯克利大牛、ALOHA團隊成員Sergry Levine
ResNeXt一作、Sora基礎(chǔ)技術(shù)DiT作者謝賽寧
香港大學(xué)數(shù)據(jù)科學(xué)學(xué)院院長、UC伯克利教授馬毅

圖片

該方法名為RL4VLM，論文預(yù)印本已經(jīng)上線，相關(guān)代碼也已在GitHub中開源。

RL4VLM提出了一種新的算法框架，直接使用強化學(xué)習(xí)方法對多模態(tài)大模型進行微調(diào)。

其中獎勵信息直接來源于環(huán)境當中，擺脫了RLHF中對于人類反饋的需要，從而直接賦予了多模態(tài)模型決策能力。

圖片

對于RL4VLM的意義，參與了這項工作的馬毅教授這樣說：

一方面希望大家對模型真實性能有更客觀清醒的認識；
另一方面，也希望能建立一個平臺，支持探索如何進一步提升模型性能。

圖片

那么，用這種方法微調(diào)出來的多模態(tài)大模型，都能讓智能體學(xué)會哪些能力呢？

多模態(tài)決策能力超GPT-4v

為了評估訓(xùn)練出的多模態(tài)大模型給智能體帶來的能力，作者一共使用了兩類物種評測任務(wù)：

第一類任務(wù)（a-d）主要考驗?zāi)Ｐ屠脠D像中的細粒度視覺信息做決策的能力，包括對于數(shù)字的識別能力和利用識別的數(shù)字進行邏輯推理的能力
第二類任務(wù)（e）主要考察多模態(tài)大模型在具身智能環(huán)境中的視覺語義推理能力。

具體來說，這五個任務(wù)分別是：

a.數(shù)軸（Numberline）：模型需要通過輸出“+” 或者 “-”，將當前數(shù)字移動到目標數(shù)字
b.簡易12點（EZPoint）：模型需要識別兩張牌，并用加號和乘號運算“12點”

c.24點（Point24）: 模型需要識別四張牌，并用加減乘除和括號運算“24點”

d.21點（Blackjack）：模型需要通過牌面上的信息來決定“要牌”或者“停牌”
e.ALFWorld：一個標準具身智能環(huán)境

圖片

其中任務(wù)a-d為作者的原創(chuàng)任務(wù)，任務(wù)e的ALFWorld是微軟等于2020年提出的開源具身智能任務(wù)集。

實驗結(jié)果表明，直接使用強化學(xué)習(xí)微調(diào)7B的多模態(tài)模型之后，能使其在兩類決策問題上的表現(xiàn)超過商用模型GPT-4v Gemini，同時也能超過傳統(tǒng)的監(jiān)督微調(diào)（SFT）方法。

而在ALFWorld的具身智能任務(wù)中，作者的模型也取得了最高的平均分，特別是在單物體拾取任務(wù)上表現(xiàn)尤為突出。

圖片

先生成思維鏈，再做決策

這套VLM智能體主要解決的是需要視覺識別和語言理解的任務(wù)，它的工作流程是這樣的：

首先，對于每一個任務(wù)，系統(tǒng)會直接將該任務(wù)的當前狀態(tài)，以圖片和文字描述的形式輸入多模態(tài)大模型，并要求模型輸出一段思維鏈之后，再以文字形式輸出要執(zhí)行的動作。

最后將，動作信息會被輸入進對應(yīng)的環(huán)境并獲得獎勵值，該獎勵值會被用來進行強化學(xué)習(xí)訓(xùn)練。

例如下圖中，智能體在執(zhí)行玩21點的任務(wù)時，系統(tǒng)直接要求多模態(tài)模型根據(jù)目前的狀態(tài)，在輸出思維鏈之后選擇“停牌” （stand）或者“拿牌”（hit），然后直接將對應(yīng)的動作輸入到環(huán)境中，得到獎勵函數(shù)值以及下一個狀態(tài)。

圖片