字節(jié)跳動 Seed 團(tuán)隊(duì)正式發(fā)布 Seedream 3.0 技術(shù)報告。Seedream 3.0 是一個原生高分辨率、支持中英雙語的圖像生成基礎(chǔ)模型，對比 Seedream 2.0，這一版本的整體性能表現(xiàn)有較大提升，尤其在分辨率、生圖結(jié)構(gòu)準(zhǔn)確性、數(shù)量準(zhǔn)確性、多物體屬性關(guān)系、小字生成與排版、美感效果、真實(shí)度等方面有所突破。

具體亮點(diǎn)如下：

• 原生 2K 直出，適配多比例場景：無需后處理可直接輸出 2K 分辨率圖像，從手機(jī)端到巨幅海報場景的視覺需求均可滿足；
• 3 秒出圖，大幅提升創(chuàng)作效率：面向海報設(shè)計、視覺創(chuàng)意等需求，可實(shí)現(xiàn) 3 秒左右快速生成高品質(zhì)圖像，實(shí)現(xiàn)“所想即所得”的實(shí)時創(chuàng)意交互；
• 小字更準(zhǔn)，文本排版效果增強(qiáng)：優(yōu)化小字體高保真生成、多行文本語義排版等業(yè)界難題，讓 AI 具備商業(yè)級圖文設(shè)計能力；
• 美感&結(jié)構(gòu)提升，生成富有感染力：指令遵循進(jìn)一步增強(qiáng)，人體和物體結(jié)構(gòu)崩壞改善，且進(jìn)一步弱化了出圖的 AI 感，實(shí)現(xiàn)從“看得清”到“有感染力”的審美提升。

Arxiv：https://arxiv.org/abs/2504.11346

技術(shù)呈現(xiàn)頁：https://team.doubao.com/tech/seedream3_0

Seedream 3.0 的研發(fā)始于 2024 年末，通過調(diào)研設(shè)計師等群體的實(shí)際需求，Seedream 團(tuán)隊(duì)不僅將圖文匹配、結(jié)構(gòu)、美感等行業(yè)共識性指標(biāo)納入攻堅方向，同時，也將挑戰(zhàn)小字生成與復(fù)雜文本排版、2K 高清直出、快速圖片生成等業(yè)界難題作為核心目標(biāo)。

2025 年 4 月，Seedream 3.0 正式上線，目前已在豆包、即夢等平臺全量開放。

面向結(jié)構(gòu)、美感、人像、文字可用性、用戶偏好（Elo）等維度的主客觀評測結(jié)果顯示，Seedream 3.0 相比 2.0 版本綜合性能顯著提升，尤其在長文本渲染、真實(shí)人像生成方面表現(xiàn)出色。

Seedream 3.0 在不同維度上的表現(xiàn)。本圖各維度數(shù)據(jù)以最佳指標(biāo)為參照系，已進(jìn)行歸一化調(diào)整。

在權(quán)威競技場 Artificial Analysis 上，Seedream 3.0 與 GPT-4o、Imagen 3、Midjourney v6.1、FLUX 1.1 Pro、Ideogram 3.0 等文生圖模型同臺競技，在近期打榜中，一度排名第一。

Artificial Analysis 排名（截止 4 月 15 日下午）

值得一提的是，Seedream 3.0 在海報設(shè)計與創(chuàng)意生成方面較為突出，貼合了設(shè)計師群體的日常工作需求。

本文將從數(shù)據(jù)采集與處理、預(yù)訓(xùn)練、后訓(xùn)練、推理加速等方面，介紹 Seedream 3.0 的技術(shù)實(shí)現(xiàn)方法。1. ：缺陷感知擴(kuò)充數(shù)據(jù)集，并改進(jìn)數(shù)據(jù)分布 

對生成式 AI，大規(guī)模的高質(zhì)量訓(xùn)練數(shù)據(jù)必不可少。Seedream 3.0 從以下三個方面優(yōu)化了數(shù)據(jù)采集和預(yù)處理流程：

• 圖像缺陷感知的訓(xùn)練策略，大幅提升可用數(shù)據(jù)量

Seedream 2.0 中為了保證訓(xùn)練數(shù)據(jù)的質(zhì)量，采用了相對來說比較保守的數(shù)據(jù)篩選策略，去除了大量具有微小缺陷（水印、字幕、馬賽克等）的圖像。在 Seedream 3.0 中，團(tuán)隊(duì)采用了全新的缺陷感知訓(xùn)練策略，通過自研檢測器精準(zhǔn)定位缺陷位置和面積，將缺陷較小的圖像保留，并在訓(xùn)練時通過隱空間掩碼來避免圖像缺陷對損失函數(shù)的影響。這樣的設(shè)計使得有效數(shù)據(jù)集擴(kuò)充超過 20%，且依舊保障了模型的穩(wěn)定訓(xùn)練。

• 視覺語義協(xié)同的采樣策略，有效平衡數(shù)據(jù)分布

傳統(tǒng)的文生圖數(shù)據(jù)集的構(gòu)建方法通常面臨數(shù)據(jù)分布不均衡的挑戰(zhàn)。為了解決這個問題，團(tuán)隊(duì)提出了視覺語義二維協(xié)同的采樣策略：在視覺方面，采用層次化聚類方法來保證不同視覺形態(tài)的平衡；在語義方面，采用 TF-IDF （詞頻-逆文檔頻率) 技術(shù)有效解決文本描述的長尾分布，通過在視覺和語義兩個方面的協(xié)同優(yōu)化，大幅提升了視覺模式語義概念的均衡性。

• 研發(fā)圖文檢索系統(tǒng)，進(jìn)一步改進(jìn)數(shù)據(jù)分布

Seedream 3.0 團(tuán)隊(duì)研發(fā)了一套圖文檢索系統(tǒng)，該系統(tǒng)在公開的評測集上取得相對領(lǐng)先的性能。基于這個圖文檢索系統(tǒng)，團(tuán)隊(duì)對現(xiàn)有數(shù)據(jù)集進(jìn)行了過濾和分布的校準(zhǔn)，進(jìn)一步提升了訓(xùn)練數(shù)據(jù)的質(zhì)量，為文生圖大模型的訓(xùn)練打下了基礎(chǔ)。 2. 預(yù)訓(xùn)練：聚焦多分辨率生成和語義對齊 

在預(yù)訓(xùn)練階段，團(tuán)隊(duì)針對多語言語義理解、更加精準(zhǔn)的文字渲染、多分辨率高質(zhì)量圖像直出等目標(biāo)，對模型架構(gòu)和訓(xùn)練策略做了多個方面的改進(jìn)：

• 跨模態(tài)旋轉(zhuǎn)位置編碼，進(jìn)一步加強(qiáng)文字渲染能力

為了進(jìn)一步加強(qiáng)圖文匹配能力，團(tuán)隊(duì)將上個版本提出的 Scaling RoPE 擴(kuò)展成了跨模態(tài)的旋轉(zhuǎn)位置編碼（Cross-modality RoPE）。傳統(tǒng)的方法中大多對圖像特征采用 2D RoPE 方案，而對文本特征采用 1D RoPE 的方案，不利于兩種模態(tài)特征的對齊。在 Cross-modality RoPE 中，團(tuán)隊(duì)將文本特征視為一個形狀為 [1, L] 的二維特征，并在上面施加 2D RoPE。同時，文本的 2D RoPE 的起始列 ID 從圖像 2D RoPE 的結(jié)束列 ID 后開始計算。這樣的設(shè)計方式可以更好地建模不同模態(tài)間特征的相互關(guān)系和每個模態(tài)內(nèi)特征的相對位置，是 Seedream 3.0 模型能夠?qū)崿F(xiàn)更強(qiáng)文字渲染能力的關(guān)鍵因素之一。

• 多分辨率混合訓(xùn)練，讓2K圖像直出成為可能

上個版本模型采用了額外的 Refiner 來生成高分辨率的圖像，增加了額外的推理開銷。在 Seedream 3.0 中，團(tuán)隊(duì)借助了 Transformers 架構(gòu)對變長輸入序列的靈活處理能力，采用了多分辨率混合訓(xùn)練的策略。預(yù)訓(xùn)練的第一階段，團(tuán)隊(duì)在平均分辨率為 256×256 的低分辨率圖像上進(jìn)行訓(xùn)練；在第二階段，團(tuán)隊(duì)將平均分辨率為 512×512 到 2048×2048 的不同分辨率和長寬比的圖像進(jìn)行混合訓(xùn)練。為了提升訓(xùn)練效率，團(tuán)隊(duì)還設(shè)計了負(fù)載均衡策略保證不同 GPU 上的序列長度大致相等。最終訓(xùn)練的模型能夠?qū)崿F(xiàn)多種分辨率的圖像生成，在不經(jīng)過額外 Refiner 的情況下實(shí)現(xiàn)2K圖像直出。

• 流匹配和特征對齊損失函數(shù)，高效建模數(shù)據(jù)分布

不同于 Seedream 2.0 中采用了去噪擴(kuò)散模型的分?jǐn)?shù)匹配（Score Matching）損失函數(shù)，Seedream 3.0 采用了流匹配（Flow Matching）的損失函數(shù)來實(shí)現(xiàn)條件速度場的預(yù)測。為了更好適配多分辨率混合訓(xùn)練的信噪比變化，團(tuán)隊(duì)根據(jù)不同訓(xùn)練階段的平均分辨率大小來動態(tài)調(diào)整流匹配訓(xùn)練過程中的時間步的分布。除此之外，團(tuán)隊(duì)還采用了特征對齊損失函數(shù)（REPA）輔助模型在預(yù)訓(xùn)練階段更快地收斂，這也是特征對齊損失函數(shù)在工業(yè)級大規(guī)模文生圖模型上的一次有效驗(yàn)證。 3. 后訓(xùn)練RLHF：進(jìn)一步提升美感并拓展模型上限 

在后訓(xùn)練階段，團(tuán)隊(duì)在 CT 和 SFT 階段設(shè)計了多版本的美感描述，并在 RLHF 階段通過擴(kuò)展獎勵模型規(guī)模，使其具備多維度質(zhì)量判別能力，進(jìn)而全方位提升生成模型性能。

• 多粒度美感描述

Seedream 3.0 針對 CT 和 SFT 階段的數(shù)據(jù)專門訓(xùn)練了多個版本的 Caption 模型。這些 Caption 模型在審美、風(fēng)格、排版等專業(yè)領(lǐng)域提供了精準(zhǔn)的描述。這確保了模型能夠更有效地響應(yīng)各種提示，這些多粒度的 Caption 不僅提升了模型的可控性，也有助于協(xié)同PE提升模型整體性能。

• 獎勵模型拓展

不同于 Seedream 2.0 采用 CLIP 作為獎勵模型，Seedream 3.0 進(jìn)一步優(yōu)化了獎勵模型，并提升了其參數(shù)量。Seedream 3.0 采用視覺語言模型（VLM）作為獎勵模型，團(tuán)隊(duì)借鑒 LLM 中生成式 RM 的經(jīng)驗(yàn)進(jìn)行獎勵建模，這樣更易于通過 LLM 原本的 Scaling 能力提升獎勵準(zhǔn)確性與魯棒性；同時，團(tuán)隊(duì)將獎勵模型的參數(shù)量從 0.8B 拓展至 20B 以上，并發(fā)現(xiàn)一定的獎勵模型 Scaling 規(guī)律。 4. 高效推理：1K 分辨率生圖端到端僅需 3 秒 

Seedream 3.0 采用多種策略實(shí)現(xiàn)了推理加速。除了對模型進(jìn)行量化之外，對于擴(kuò)散模型的一個重要加速維度就是推理時采樣步數(shù)的蒸餾。Seedream 3.0 采用了自研推理加速算法，具體來說包括以下幾個關(guān)鍵點(diǎn)：

• 一致性噪聲預(yù)測，提升采樣過程的平穩(wěn)性

傳統(tǒng)的擴(kuò)散模型在采樣過程中每個時間步的噪聲預(yù)測值的變化很大，這種采樣過程的不穩(wěn)定是其需要大量采樣步數(shù)的原因之一。為了解決這個問題，團(tuán)隊(duì)提出了讓網(wǎng)絡(luò)來預(yù)測全局噪聲期望，這在整個采 樣過程中具有很強(qiáng)的一致性，從而能夠有效壓縮總采樣步數(shù)。

• 重要時間步采樣，加速模型蒸餾訓(xùn)練過程

為了提升模型蒸餾的效率，團(tuán)隊(duì)提出了重要時間步采樣技術(shù)。該技術(shù)訓(xùn)練了一個網(wǎng)絡(luò)來針對每個樣本預(yù)測重要的采樣時間步的分布，并基于這個分布得到最優(yōu)的時間步進(jìn)行模型蒸餾。結(jié)合重要時間步采樣技術(shù)，團(tuán)隊(duì)能夠在 64 GPU days 之內(nèi)完成對模型的蒸餾訓(xùn)練過程。

利用上述技術(shù)，團(tuán)隊(duì)實(shí)現(xiàn)了對模型的無損加速，能夠在保持圖文匹配、美學(xué)質(zhì)量、結(jié)構(gòu)準(zhǔn)確度等指標(biāo)幾乎不受影響的情況下實(shí)現(xiàn)高效生圖，1K 分辨率生圖端到端耗時僅需 3 秒。 寫在最后 

Seedream 3.0 模型發(fā)布后，在海報創(chuàng)作、生成效率、結(jié)構(gòu)與美感等方面的提升獲得了一定認(rèn)可。

未來，Seedream 團(tuán)隊(duì)期望嘗試在以下方向進(jìn)一步研究和探索：探索更高效的結(jié)構(gòu)設(shè)計：構(gòu)建效果更好、成本更低、生成更快的文生圖模型；提升模型智能化水平：拓展模型對世界知識的理解，賦予模型交織生成等能力；探索數(shù)據(jù)、模型量級、獎勵模型等維度 Scaling 現(xiàn)象，并將認(rèn)知積累應(yīng)用于下一代模型中。

后續(xù)，團(tuán)隊(duì)還將持續(xù)分享技術(shù)經(jīng)驗(yàn)，與業(yè)界共同推動視覺生成領(lǐng)域的發(fā)展。