只需Image Tokenizer，Llama也能做圖像生成了，而且效果超過了擴散模型。

來自港大和字節的研究人員，提出了基于自回歸模型Llama的圖像生成方法。

目前該模型已經開源，并在GitHub斬獲了近900顆星標。

圖片

擴散模型出現后，取代了自回歸方法，一度成為圖像生成的主流技術路線。

但在ImageNet測試基準上，作者提出的LlamaGen表現超越了LDM、DiT等擴散模型。

作者的這一發現，證明了最原始的自回歸模型架構同樣可以實現極具競爭力的圖像生成性能。

LlamaGen生圖示例，第一行為class調控生成，第二行為文生圖

那么，基于自回歸模型，或者說基于Llama的圖像生成，是如何實現的呢？

用自回歸模型做圖像生成

作者介紹，開源社區對自回歸模型做圖像生成的印象大多停留在2020年的VQ-GAN的ImageNet基準上取得的15左右的FID分數。

然而，早在2021年的ViT-VQGAN已經達到了FID 3.0左右的性能，DALL-E 1，Parti等更是在文生圖領域展現了巨大的潛力。

不過這些工作都沒有開源，于是，研究團隊將目標設定成了推出開源版的基于自回歸圖像生成模型。

針對現有的先進的圖像生成模型，作者總結出其成功的三點關鍵設計：

• 圖像壓縮/量化器（Image Compressors/Tokenizers）
• 可scale up的圖像生成模型（Scalable Image generation models）
• 高質量的訓練數據（High-quality Training Data）

于是，作者采用了與VQ-GAN同樣的CNN架構，將連續的圖像轉化成離散的Token。

相比2020年的VQ-GAN，作者對Image Tokenizer有了更多的認知：

一個優秀的Tokenizer需要更大的Codebook Size，更低的Codebook Vector Dimension，同時，更好的圖像重建需要更多的Token數量。

圖片

△VQ-GAN架構，非本項目

架構方面，LlamaGen的模型架構主要基于Llama語言模型，包括使用RMSNorm的Pre-Normalization、SwiGLU和RoPE。

盡管圖像生成領域一些常用的技術（如AdaLN）可能進一步提高性能，但作者還是盡可能保持與Llama語言模型一模一樣的架構。

在Class-Conditional和Text-Conditional（文生圖）圖像生成模型中，作者采用了使用最簡單的實現：

Class或文本嵌入直接作為起始Token，后續的Image Token應用next-Token預測范式產生。

訓練的過程則分為兩個階段進行。

在第一階段，模型在LAION-COCO的50M子集上進行訓練，圖像分辨率為 256×256。

LAION-COCO原始數據集有6億圖文對，作者通過有效的圖像URL、美學分數、水印分數、CLIP圖文相似度分數和圖像大小來篩選這些圖像。

圖片

在第二階段，模型在1千萬規模的內部高美學質量圖像上進行微調，圖像分辨率為512×512。

這些美學圖像的文本描述由LLaVa產生。

圖片

到了部署階段，基于原生自回歸模型架構的圖像生成模型可以無縫采用現有的LLM部署框架，例如vLLM。這也是統一模型架構的一大優勢。

同時，基于vLLM的框架部署方式，為LlamaGen帶來了326%-414%的加速。

圖片

效果不輸擴散模型

那么，作者研究出的這款模型效果究竟怎樣呢？

先說作者重新訓練的Image Tokenizer，它在ImageNet和COCO上優于以前的Tokenizers，包括VQGAN，ViT-VQGAN和MaskGI等。

重要的是，基于離散表征的Tokenizer與基于連續表征的VAE性能持平（例如在擴散模型中被廣泛使用的SD VAE），這表明圖像量化的離散表征不再是圖像重建的一大瓶頸。

圖片

實際生成過程中，在ImageNet測試集上，LlamaGen在FID、IS、Precision和Recall等指標上都表現出了極強的競爭力。

其中，LlamaGen-3B模型優于廣為流行的擴散模型 LDM和DiT。這表明最樸素的自回歸模型架構有能力作為先進圖像生成系統的基礎模型。

同時，與之前的自回歸模型相比，LlamaGen在各個參數量級上均優于以前的模型。

作者分析，這樣的成績是得益于更好的Image Tokenizer和Llama架構更好的擴展性。

圖片

文生圖方面，經過第一階段的訓練，模型基本擁有了圖文對齊的能力，但其生成圖像的視覺質量有待提高。

第二階段的訓練顯著提高了生成圖像的視覺質量，作者認為這種提高來自兩個方面——

• 第二階段的訓練使用了高質量的美學圖像；
• 第一階段的圖像分辨率是256x256，第二階段是512x512，更大的圖像分辨率會帶來更好的視覺效果。

圖片

當輸入更長的文本時，LlamaGen也可以生成兼具圖文對齊與視覺質量的圖像。

圖片

不過作者也坦言，如果類比擴散模型的發展路線，目前的LlamaGen只是做到了Stable Diffusion v1階段，未來的改進方向包括SDXL（更大的分辨率，更多的Aspect Ratio），ControlNet（更高的可控性），Sora（視頻生成）。

從多模態大模型的視角看，自回歸模型分別實現理解任務和生成任務都被證明了可行性，下一步就是在同一個模型中聯合訓練。

目前該項目已經開源，而且還支持在線體驗，感興趣的話不妨一試。

在線體驗：https://huggingface.co/spaces/FoundationVision/LlamaGen

論文地址：https://arxiv.org/abs/2406.06525

項目主頁：https://peizesun.github.io/llamagen/

GitHub：https://github.com/FoundationVision/LlamaGenHugging Face：https://huggingface.co/FoundationVision/LlamaGen