多模態(tài)模型學(xué)會“按需搜索”！

字節(jié)&NTU最新研究，優(yōu)化多模態(tài)模型搜索策略——

通過搭建網(wǎng)絡(luò)搜索工具、構(gòu)建多模態(tài)搜索數(shù)據(jù)集以及涉及簡單有效的獎勵機(jī)制，首次嘗試基于端到端強(qiáng)化學(xué)習(xí)的多模態(tài)模型自主搜索訓(xùn)練。

經(jīng)過訓(xùn)練的模型能夠自主判斷搜索時機(jī)、搜索內(nèi)容并處理搜索結(jié)果，在真實互聯(lián)網(wǎng)環(huán)境中執(zhí)行多輪按需搜索。

實驗結(jié)果表明，在知識密集型視覺問答任務(wù)（Visual Question Answering, VQA）中，MMSearch-R1系統(tǒng)展現(xiàn)出顯著優(yōu)勢：

其性能不僅超越同規(guī)模模型在傳統(tǒng)檢索增強(qiáng)生成（RAG）工作流下的性能，更在減少約30%搜索次數(shù)的前提下，達(dá)到了更大規(guī)模規(guī)模模型做傳統(tǒng)RAG的性能水平。

下文將詳細(xì)解析該研究的研究方法以及實驗發(fā)現(xiàn)。

具體怎么做到的？

近年來，隨著視覺-語言訓(xùn)練數(shù)據(jù)集在規(guī)模和質(zhì)量上的雙重提升，多模態(tài)大模型（Large Multimodal Models, LMMs）在跨模態(tài)理解任務(wù)中展現(xiàn)出卓越的性能，其文本與視覺知識的對齊能力顯著增強(qiáng)。

然而，現(xiàn)實世界的信息具有高度動態(tài)性和復(fù)雜性，單純依靠擴(kuò)大訓(xùn)練數(shù)據(jù)規(guī)模的知識獲取方式存在固有局限：難以覆蓋長尾分布的知識、無法獲取模型訓(xùn)練截止日期后的新信息，以及難以觸及私域信息資源。

這些局限性導(dǎo)致模型在實際應(yīng)用中容易產(chǎn)生幻覺現(xiàn)象，嚴(yán)重制約了其在廣泛現(xiàn)實場景下部署的可靠性。

在此背景下，網(wǎng)絡(luò)搜索作為人類獲取新知識的核心途徑，被視為擴(kuò)展模型能力邊界的重要工具，正受到學(xué)術(shù)界的高度重視。

如何使多模態(tài)模型具備自主、精準(zhǔn)的外部信息獲取能力，從而實現(xiàn)準(zhǔn)確的問題解答，成為當(dāng)前研究的關(guān)鍵挑戰(zhàn)。

因此，ByteDance與南洋理工大學(xué)（NTU）S-Lab聯(lián)合開展的MMSearch-R1項目針對這一挑戰(zhàn)進(jìn)行了探索。

下面詳細(xì)來看該研究的研究方法。

集成多輪搜索的強(qiáng)化學(xué)習(xí)訓(xùn)練

1、多模態(tài)搜索工具

MMSearch-R1集成圖像搜索和文本搜索兩種工具，以滿足模型應(yīng)對視覺問答任務(wù)的需求，其中圖像搜索工具基于Google Lens，支持搜索與用戶圖像視覺外觀匹配的網(wǎng)頁標(biāo)題以及主要縮略圖，用于幫助模型準(zhǔn)確識別重要的視覺元素。

文本搜索工具由Google Search，JINA Reader以及用于網(wǎng)頁內(nèi)容總結(jié)的語言模型構(gòu)成的鏈路組成，支持搜索與模型生成的搜索內(nèi)容最相關(guān)的網(wǎng)頁及其內(nèi)容摘要，用于幫助模型精確定位所需文本知識與信息。

2、多輪搜索強(qiáng)化學(xué)習(xí)訓(xùn)練

MMSearch-R1采用GRPO作為強(qiáng)化學(xué)習(xí)算法進(jìn)行模型訓(xùn)練，基于veRL框架實現(xiàn)集成多輪對話與搜索的Rollout過程，在每輪對話中，模型首先進(jìn)行思考，并執(zhí)行可選的動作，如調(diào)用多模態(tài)搜索工具與真實互聯(lián)網(wǎng)進(jìn)行交互，或給出最終的答案。

3、帶有搜索懲罰的獎勵函數(shù)

MMSearch-R1的獎勵函數(shù)由準(zhǔn)確性得分和格式得分兩部分以加權(quán)求和的形式構(gòu)成，其權(quán)重分別為0.9和0.1，分別衡量模型是否準(zhǔn)確回答了用戶問題（模型所給答案與真實答案作字符串精確匹配）以及遵循了既定回復(fù)格式。

為了激勵模型優(yōu)先利用自身知識完成作答，還會對調(diào)用搜索工具才獲得正確答案的回復(fù)進(jìn)行懲罰（搜索懲罰因子為0.1），最終獎勵函數(shù)為:

構(gòu)建搜索需求均衡的多模態(tài)圖像問答數(shù)據(jù)集

為了有效訓(xùn)練模型實現(xiàn)智能化的按需搜索能力，研究精心構(gòu)建了FactualVQA（FVQA）數(shù)據(jù)集，包含訓(xùn)練集和測試集。該數(shù)據(jù)集的構(gòu)建采用了一套精心設(shè)計的半自動化流程，重點聚焦于需要豐富視覺與文本知識支持的問答場景。

1、數(shù)據(jù)采集

團(tuán)隊首先基于MetaCLIP的元數(shù)據(jù)分布進(jìn)行多層次采樣，確保覆蓋從高頻到長尾的多樣化視覺概念（Visual Concept），并從互聯(lián)網(wǎng)中搜索與視覺概念最相關(guān)的圖片，基于GPT-4o生成事實性問答對。

為增強(qiáng)數(shù)據(jù)集的文本知識維度，團(tuán)隊還從InfoSeek訓(xùn)練集中篩選了具有代表性的問答樣本進(jìn)行補(bǔ)充。為確保數(shù)據(jù)質(zhì)量貼近真實應(yīng)用場景，F(xiàn)VQA還補(bǔ)充了800個由標(biāo)注人員標(biāo)注問答對樣本。

2、數(shù)據(jù)均衡

完成初步數(shù)據(jù)采集后，通過一個粗訓(xùn)練的模型對現(xiàn)有樣本進(jìn)行分類，檢查每條數(shù)據(jù)的搜索必要性，最終訓(xùn)練數(shù)據(jù)集包含約3400個需要搜索的樣本和1600個無需搜索的樣本。

實驗效果如何？

MMSearch-R1-7B基于Qwen2.5-VL-7B模型進(jìn)行訓(xùn)練。

在FVQA-test、InfoSeek等知識密集型VQA任務(wù)中，MMSearch-R1-7B的平均準(zhǔn)確率比同等規(guī)模模型的傳統(tǒng)RAG基線高出約3%，搜索比率降低了32.9%，同時能夠媲美32B模型RAG基線的效果。

經(jīng)過強(qiáng)化學(xué)習(xí)訓(xùn)練，模型提升了優(yōu)化搜索內(nèi)容以及處理搜索結(jié)果的能力（下圖左，經(jīng)過強(qiáng)化學(xué)習(xí)的模型執(zhí)行RAG Workflow性能要好于原始模型），同時增強(qiáng)了挖掘利用自身固有知識的能力（下圖右，模型提升了不搜索即可回答正確的比率）。

強(qiáng)化學(xué)習(xí)展現(xiàn)出比監(jiān)督微調(diào)更大的潛力，在所有任務(wù)上以較少的訓(xùn)練樣本取得更大的性能增益（下圖左）。

同時證明數(shù)據(jù)搜索比例均衡以及獎勵函數(shù)中的搜索懲罰機(jī)制有助于在訓(xùn)練過程中塑造模型的按需搜索行為（下圖右）。

最后總結(jié)來說，MMSearch-R1是一個基于強(qiáng)化學(xué)習(xí)的創(chuàng)新框架，賦予多模態(tài)大模型在真實互聯(lián)網(wǎng)環(huán)境中執(zhí)行智能按需搜索的能力。該框架使模型能夠自主識別知識邊界，進(jìn)而選擇圖像或文本搜索方式獲取所需信息，并對搜索結(jié)果進(jìn)行有效推理。

團(tuán)隊表示，該研究為開發(fā)具備現(xiàn)實世界交互能力的多模態(tài)大模型提供了重要洞見，為構(gòu)建自適應(yīng)、交互式的多模態(tài)智能體奠定了基礎(chǔ)。期待隨著模型通過更多工具與現(xiàn)實世界的持續(xù)交互，多模態(tài)智能將在推理和適應(yīng)能力上實現(xiàn)新的飛躍。

論文地址：https://arxiv.org/abs/2506.20670

項目地址：https://github.com/EvolvingLMMs-Lab/multimodal-search-r1