近日，騰訊研究團隊打造了一款新型圖像生成模型X-Omni。技術(shù)上，采用了強化學(xué)習(xí)重構(gòu)混合模型架構(gòu)；性能上，直接對標(biāo)OpenAI的GPT-4o。

地址：https://arxiv.org/pdf/2507.22058

這款模型不僅在中英文文字渲染方面刷新了已有基準(zhǔn)，還在多個圖像生成任務(wù)中擊敗了商用大模型。 

它的核心技術(shù)來自不同開源社區(qū)，甚至包括直接競爭者，展現(xiàn)出一種“拼圖式”AI構(gòu)建思路。

混合架構(gòu)的斷層，被強化學(xué)習(xí)縫合

圖像生成AI領(lǐng)域，始終存在一個核心難題：如何在語義理解和圖像還原之間找到平衡。

目前主流做法，是采用“混合模型”架構(gòu)：一部分使用自回歸模型來生成語義token，另一部分用擴散模型來還原圖像。

這種架構(gòu)的優(yōu)勢是互補，但也帶來了新的問題：語義token與擴散解碼器之間“語言不通”。

兩部分常常各說各話，生成結(jié)果的質(zhì)量不穩(wěn)定，尤其在遇到復(fù)雜文本或高精度場景時，錯誤容易累積。

騰訊的X-Omni摒棄了傳統(tǒng)混合架構(gòu)“各自訓(xùn)練、強行拼接”的模式，引入統(tǒng)一的強化學(xué)習(xí)流程，通過RL對齊兩部分、提升協(xié)同。

首先，由自回歸模型生成語義token；接著，擴散模型FLUX.1-dev負(fù)責(zé)根據(jù)token生成圖像；再由一個綜合評價系統(tǒng)給出反饋，指導(dǎo)自回歸模型更精準(zhǔn)地輸出token。

這個評價系統(tǒng)由三部分組成：人工美學(xué)偏好評分、高分辨率圖像質(zhì)量評分模型，以及視覺-語言模型Qwen2.5-VL-32B。

同時，為驗證圖像中文字是否準(zhǔn)確，系統(tǒng)還引入GOT-OCR-2.0與PaddleOCR做比對。

在約200步RL訓(xùn)練后，模型指標(biāo)已超過SFT+Best-of-N的最佳結(jié)果。

結(jié)果顯示，在相同訓(xùn)練輪數(shù)下，X-Omni的輸出圖像質(zhì)量超過常規(guī)訓(xùn)練方式所得最佳結(jié)果。

文本是關(guān)鍵，中文才是戰(zhàn)場

在與GPT-4o的對比中，X-Omni在最難的環(huán)節(jié)，圖像中的文字渲染場景中，獲得了優(yōu)勢。

圖像文字生成一直是大模型的痛點，越長的文本越容易錯漏、變形，甚至無法識別。

為此，騰訊團隊專門構(gòu)建了名為“LongText-Bench”的測試基準(zhǔn)，用以測評在長段文字下的圖像渲染穩(wěn)定性。

結(jié)果顯示，X-Omni在英文文本準(zhǔn)確率上達到了0.901，超越所有同類模型。

而在中文文本渲染方面，在OneIG中文任務(wù)上，X-Omni超過了GPT-4o，與Seedream 3.0表現(xiàn)相當(dāng)；在中文長文本（LongText-Bench）評測中，X-Omni取得第一。

X-Omni采用的是一種叫SigLIP-VQ的tokenizer，不再以像素為單位構(gòu)建圖像，而是將圖像編碼為16,384個語義token。

這些token更貼近“概念”，而非圖像細(xì)節(jié)，使模型更擅長理解語言并在圖像中復(fù)現(xiàn)。

整個系統(tǒng)的語言能力依托于Qwen2.5-7B，這是由阿里巴巴開源的一款語言模型。

騰訊團隊在其基礎(chǔ)上增加了圖像理解與生成模塊，使X-Omni具備圖文雙向通感能力。

這意味著，無論是菜單、海報、UI界面，還是演講稿、說明書，都可以被自然地轉(zhuǎn)化為高質(zhì)量圖像。

對中國本土市場而言，這種能力至關(guān)重要。開源對壘商用，生態(tài)之戰(zhàn)才剛開始

雖然X-Omni在多個關(guān)鍵維度上表現(xiàn)優(yōu)異，但它并未宣稱“碾壓”GPT-4o。評測顯示，改進幅度有限，非革命性躍遷。GPT-4o依然在綜合性能上具備強大競爭力。

X-Omni的最大意義在于，它將來自多個組織、多個生態(tài)的開源技術(shù)融為一體，拼出了一個“模塊化大模型”的可能形態(tài)。

它的擴散模型來自德國初創(chuàng)公司Black Forest Labs。語言模型來自阿里巴巴。評價系統(tǒng)與OCR系統(tǒng)則綜合多個開源庫構(gòu)建而成。

這一切被整合進一個由騰訊發(fā)布的開源代碼與模型，并已在Hugging Face與GitHub上全面開放。

這和OpenAI閉源的GPT-4o構(gòu)成了鮮明對照。

后者雖然強大，但本質(zhì)上仍是“黑箱”。當(dāng)GPT-4o在ChatGPT上線圖像生成功能，引發(fā)業(yè)界驚嘆之時，

X-Omni則代表著另一條路徑：開放、拼接、重構(gòu)、調(diào)優(yōu)。

這種路線或許無法一步登天，卻為AI產(chǎn)業(yè)生態(tài)提供了另一種可持續(xù)發(fā)展模式。“后發(fā)者”可以通過策略、工程能力和生態(tài)協(xié)作縮小差距。