利用字節(jié)團(tuán)隊(duì)魔改的FLUX模型，可以直接把多個(gè)參考主體放進(jìn)一張圖了。

字節(jié)團(tuán)隊(duì)以FLUX為基礎(chǔ)模型，提出了新的生圖模型UNO，統(tǒng)一了圖像生成任務(wù)中不同輸入條件的處理。

無(wú)論是單主體進(jìn)行風(fēng)格變換，還是不同物體的融合，UNO都能直接搞定。

字節(jié)團(tuán)隊(duì)認(rèn)為，UNO主要解決的是參考驅(qū)動(dòng)的圖像生成中的兩個(gè)主要挑戰(zhàn)——數(shù)據(jù)可擴(kuò)展性和主體可擴(kuò)展性。

傳統(tǒng)方法在從單主體數(shù)據(jù)集擴(kuò)展到多主體數(shù)據(jù)集時(shí)面臨困難，且大多數(shù)方法僅關(guān)注單主體生成，難以應(yīng)用于多主體場(chǎng)景。

為了解決這一問(wèn)題，團(tuán)隊(duì)提出了“模型-數(shù)據(jù)共同進(jìn)化”的新范式，能夠在增強(qiáng)模型能力的同時(shí)，不斷豐富可用的訓(xùn)練數(shù)據(jù)。

多主體參考生圖測(cè)試中，UNO的DINO和CLIP得分均達(dá)到了SOTA水平。

網(wǎng)友評(píng)價(jià)說(shuō)，UNO看上去是一個(gè)巨大的飛躍，如果真的能搞定多主體參考，將會(huì)大幅激發(fā)定制化AI智能體的潛力。

另外，團(tuán)隊(duì)還在HuggingFace上提供了在線試玩，但前提是擁有HF的GPU額度。

一個(gè)模型搞定單/多主體參考

如開(kāi)頭所述，UNO將單純的文生圖，以及單/多主體參考這些不同的任務(wù)都整合到了一個(gè)模型當(dāng)中。

具體來(lái)說(shuō)，除了直接的文生圖之外，它可以把多張參考圖當(dāng)中的物體進(jìn)行組合。

當(dāng)然三個(gè)物體也照樣能很好地組合，官方提供的在線Demo當(dāng)中最多可以上傳四張參考圖。

也可以對(duì)參考主體中的人物特征進(jìn)行保持，生成不同場(chǎng)景的人物圖像。

同時(shí)對(duì)于人物而言，也可以在保留基本特征的條件下進(jìn)行風(fēng)格轉(zhuǎn)換，包括被GPT-4o帶火的吉卜力風(fēng)也能拿捏。

應(yīng)用場(chǎng)景方面，官方給出了虛擬試穿和產(chǎn)品設(shè)計(jì)這兩組示例。

對(duì)于UNO的單主體生成能力，團(tuán)隊(duì)使用了DreamBench進(jìn)行了測(cè)試，使用了三個(gè)主要指標(biāo)——

DINO分?jǐn)?shù)、CLIP-I分?jǐn)?shù)（這兩個(gè)用于評(píng)估主體相似度）和CLIP-T分?jǐn)?shù)（用于評(píng)估文本忠實(shí)度）。

多主體生成測(cè)試則采用了一個(gè)特別設(shè)計(jì)的測(cè)試集——從DreamBench中選取了30種不同的雙主體組合，包括非生物體和生物體的組合。

最終，UNO的測(cè)試成績(jī)無(wú)論在單主體還是多主體任務(wù)中都處于領(lǐng)先水平。

研究團(tuán)隊(duì)還進(jìn)行了用戶研究，邀請(qǐng)了30位評(píng)估者（包括領(lǐng)域?qū)＜液头菍＜遥?duì)300個(gè)圖像組合進(jìn)行評(píng)估。

結(jié)果，UNO在所有評(píng)估維度上都獲得了較高評(píng)分，特別是在主體相似度和文本忠實(shí)度方面的表現(xiàn)最為突出。

此外，團(tuán)隊(duì)還展示了UNO和一些SOTA級(jí)模型的效果對(duì)比，可以直觀感受一下區(qū)別。

模型-數(shù)據(jù)共同進(jìn)化

UNO采用了這一種“模型-數(shù)據(jù)共同進(jìn)化”的新范式，核心思想是用較弱的模型生成訓(xùn)練數(shù)據(jù)，訓(xùn)練更強(qiáng)的模型。

在模型架構(gòu)方面，UNO以開(kāi)源模型FLUX.1 dev為基礎(chǔ)，繼承了其文生圖基礎(chǔ)能力和多模態(tài)注意力機(jī)制，采用了通用定制化模型框架。

具體來(lái)說(shuō)，該框架采用漸進(jìn)式跨模態(tài)對(duì)齊策略，將訓(xùn)練過(guò)程分為兩個(gè)連續(xù)階段——

• 首先使用單主體數(shù)據(jù)對(duì)預(yù)訓(xùn)練的文生圖（T2I）模型進(jìn)行微調(diào)，使其獲得基本的主體到圖像轉(zhuǎn)換（S2I）能力；
• 隨后引入多主體數(shù)據(jù)繼續(xù)訓(xùn)練，增強(qiáng)模型處理復(fù)雜場(chǎng)景的能力。

此外研究團(tuán)隊(duì)提出了通用旋轉(zhuǎn)位置嵌入（UnoPE）技術(shù)，通過(guò)為文本和圖像標(biāo)記分配特定的位置索引，來(lái)調(diào)控多模態(tài)標(biāo)記之間的交互。

UnoPE采用從噪聲圖像標(biāo)記最大維度開(kāi)始的對(duì)角線位置編碼方式，并通過(guò)調(diào)整位置索引范圍來(lái)防止生成圖像過(guò)度依賴參考圖像的空間結(jié)構(gòu)，有效緩解了在擴(kuò)展視覺(jué)主體控制時(shí)容易出現(xiàn)的屬性混淆問(wèn)題。

數(shù)據(jù)方面，團(tuán)隊(duì)利用Diffusion Transformer固有的上下文生成能力構(gòu)建了數(shù)據(jù)合成框架。

團(tuán)隊(duì)首先構(gòu)建了一個(gè)包含365個(gè)頂層類別的分類樹(shù)，這些類別來(lái)自O(shè)bject365數(shù)據(jù)集。

在每個(gè)類別下，還包含了更細(xì)粒度的分類，涵蓋年齡、職業(yè)和著裝風(fēng)格等維度。

然后利用大模型在每個(gè)類別中生成豐富多樣的主體和場(chǎng)景描述，這些輸出與預(yù)定義的文本模板結(jié)合，可以為文生圖模型生成數(shù)百萬(wàn)個(gè)文本提示。

最終，研究團(tuán)隊(duì)設(shè)計(jì)了一個(gè)漸進(jìn)式的合成管道，從單主體生成開(kāi)始，逐步過(guò)渡到多主體上下文生成。

來(lái)自字節(jié)智能創(chuàng)作團(tuán)隊(duì)

論文顯示，UNO的作者字節(jié)智能創(chuàng)作團(tuán)隊(duì)。

據(jù)介紹，該團(tuán)隊(duì)是字節(jié)的AI&多媒體技術(shù)中臺(tái)，研究方向包括計(jì)算機(jī)視覺(jué)、音視頻編輯、特效處理等技術(shù)。

之前字節(jié)提出的用于提升圖像生成模型“美感”的VMix，也是來(lái)自智能創(chuàng)作團(tuán)隊(duì)，并且作者與這次的UNO基本相同。

本次UNO的項(xiàng)目負(fù)責(zé)人是Fei Ding，是Vmix的通訊作者，之前還參與過(guò)Realcustom++、Dreamtuner等項(xiàng)目的工作。

UNO的第一作者Shaojin Wu、通訊作者黃夢(mèng)琪，之前也都參與過(guò)Vmix。

黃夢(mèng)琪目前是中科大博士在讀，2023年起至今一直在字節(jié)實(shí)習(xí)，預(yù)計(jì)今年畢業(yè)，導(dǎo)師是毛震東教授。

另外，字節(jié)招聘網(wǎng)站顯示，智能創(chuàng)作團(tuán)隊(duì)目前正在招聘AIGC技術(shù)專家、多模態(tài)算法專家等崗位。

論文地址：
https://arxiv.org/abs/2504.02160
項(xiàng)目主頁(yè)：
https://bytedance.github.io/UNO/