論文：https://arxiv.org/pdf/2404.02905.pdf

代碼：https://github.com/FoundationVision/VAR

demo：https://var.vision/

視覺自回歸建模（VAR），這是一種重新定義圖像上的自回歸學(xué)習(xí)的新一代范式。VAR將自回歸學(xué)習(xí)視為粗到細(xì)的“下一尺度預(yù)測”或“下一分辨率預(yù)測”，與標(biāo)準(zhǔn)的光柵掃描“下一個token預(yù)測”有所不同。這種簡單直觀的方法使得自回歸（AR）transformers能夠快速學(xué)習(xí)視覺分布，并且具有良好的泛化能力：VAR首次使得類似GPT風(fēng)格的自回歸模型在圖像生成方面超越了diffusion transformers。在ImageNet 256×256基準(zhǔn)測試中，VAR顯著改善了AR基線，將Fréchet inception distance（FID）從18.65降低到1.80，將inception score（IS）從80.4提高到356.4，同時推理速度提高了20倍。

經(jīng)驗驗證還表明，VAR在多個維度上優(yōu)于Diffusion Transformer（DiT），包括圖像質(zhì)量、推理速度、數(shù)據(jù)效率和可擴展性。擴大VAR模型規(guī)模表現(xiàn)出明顯的冪律尺度定律，類似于LLMs中觀察到的情況，相關(guān)系數(shù)接近-0.998，是堅實的證據(jù)。VAR還展示了在圖像修復(fù)、修補和編輯等下游任務(wù)中的zero-shot泛化能力。這些結(jié)果表明，VAR已經(jīng)初步模擬了LLMs的兩個重要屬性：scaling laws和zero-shot泛化。已經(jīng)發(fā)布了所有模型和代碼，以鼓勵探索自回歸/VAR模型用于視覺生成和統(tǒng)一學(xué)習(xí)。

介紹

GPT系列和其他自回歸（AR）大語言模型（LLMs）的出現(xiàn)標(biāo)志著人工智能領(lǐng)域的新紀(jì)元。這些模型在泛化性和多功能性方面表現(xiàn)出有前途的智能，盡管存在幻覺等問題，但仍被認(rèn)為是邁向通用人工智能（AGI）的堅實一步。這些大型模型的核心是一種自監(jiān)督學(xué)習(xí)策略——預(yù)測序列中的下一個token，這是一種簡單而深刻的方法。對這些大型AR模型成功的研究強調(diào)了它們的可擴展性和泛化能力：前者通過scaling laws的例證允許從較小的模型預(yù)測大型模型的性能，從而指導(dǎo)更好地資源分配；而后者，正如zero-shot和few-shot學(xué)習(xí)所證實的那樣，強調(diào)了無監(jiān)督訓(xùn)練模型適應(yīng)不同、未見任務(wù)的能力。這些特性顯示了AR模型在從大量未標(biāo)注數(shù)據(jù)中學(xué)習(xí)的潛力，概括了“AGI”的本質(zhì)。

與此同時，計算機視覺領(lǐng)域一直在努力發(fā)展大型的自回歸模型或世界模型，旨在模擬它們令人印象深刻的可擴展性和泛化能力。像VQGAN和DALL-E這樣的開創(chuàng)性工作以及它們的后繼模型展示了自回歸模型在圖像生成中的潛力。這些模型利用視覺tokenizer將連續(xù)圖像離散化為2D token網(wǎng)格，然后將其展平為1D序列進行自回歸學(xué)習(xí)（如圖2 b所示），類似于順序語言建模的過程（如圖2 a所示）。然而，這些模型的scaling laws仍然未被充分探索，更令人沮喪的是，它們的性能明顯落后于擴散模型，如圖3所示。與大語言模型的顯著成就形成鮮明對比，自回歸模型在計算機視覺領(lǐng)域的潛力似乎有些受限。

自回歸建模需要定義數(shù)據(jù)的順序。本文的工作重新考慮了如何“order”圖像。人類通常以分層方式感知或創(chuàng)建圖像，先捕捉全局結(jié)構(gòu)，然后是局部細(xì)節(jié)。這種多尺度、由粗到細(xì)的方法自然地為圖像提供了一種“order”。受到廣泛使用的多尺度設(shè)計的啟發(fā)，本文將圖像的自回歸學(xué)習(xí)定義為圖2（c）中的“下一尺度預(yù)測”，與圖2（b）中的傳統(tǒng)“下一個token預(yù)測”有所不同。本文的方法從將圖像編碼成多尺度token 圖開始。然后，自回歸過程從1×1 token 圖開始，并逐漸擴展分辨率：在每一步，transformer根據(jù)所有先前的token 圖預(yù)測下一個更高分辨率的token 圖。這種方法稱為Visual AutoRegressive（VAR）建模。

VAR直接利用了類似于GPT-2的transformer架構(gòu)進行視覺自回歸學(xué)習(xí)。在ImageNet 256×256基準(zhǔn)測試中，VAR顯著改善了其自回歸基線，實現(xiàn)了1.80的Fréchet inception距離（FID）和356.4的inception分?jǐn)?shù)（IS），推理速度提高了20倍。值得注意的是，VAR在FID/IS、數(shù)據(jù)效率、推理速度和可擴展性等方面超過了diffusion transformer（DiT）—— 諸如Stable Diffusion 3.0和SORA等領(lǐng)先的擴散系統(tǒng)的基礎(chǔ)。VAR模型還展示了與LLM中觀察到的相似的scaling laws。最后，展示了VAR在諸如圖像修復(fù)、生成和編輯等任務(wù)中的zero-shot泛化能力。總而言之，本文對社區(qū)的貢獻包括：

• 使用多尺度自回歸范式和下一尺度預(yù)測的新視覺生成框架，為計算機視覺中的自回歸算法設(shè)計提供新的見解。
• 對VAR模型的scaling laws和zero-shot泛化潛力進行了實證驗證，這些潛力最初模擬了大語言模型（LLMs）的吸引人特性。
• 在視覺自回歸模型性能方面取得突破，使得類似于GPT的自回歸方法首次超越了強大的擴散模型在圖像合成方面的性能。
• 提供了全面的開源代碼套件，包括VQ tokenizer和自回歸模型訓(xùn)練pipelines，以推動視覺自回歸學(xué)習(xí)的進展。

相關(guān)工作

大型自回歸語言模型的屬性

Scaling laws。 冪律scaling laws在數(shù)學(xué)上描述了模型參數(shù)、數(shù)據(jù)集大小、計算資源的增長與機器學(xué)習(xí)模型性能改進之間的關(guān)系，具有幾個明顯的優(yōu)點。首先，它們通過擴大模型規(guī)模、數(shù)據(jù)規(guī)模和計算成本的縮放來便于推斷出更大模型的性能。這有助于節(jié)省不必要的成本，并提供了分配訓(xùn)練預(yù)算的原則。其次，scaling laws證明了性能的持續(xù)且非飽和增長，證實了它們在增強模型能力方面的持續(xù)優(yōu)勢。

受神經(jīng)語言模型中scaling laws原理的啟發(fā)，提出了幾種大語言模型[9, 76, 70, 27, 63, 64]，體現(xiàn)了增加模型規(guī)模通常會產(chǎn)生更好性能結(jié)果的原則。基于transformer解碼器架構(gòu)的GPT經(jīng)歷了生成式預(yù)訓(xùn)練，并將模型規(guī)模擴展到前所未有的1750億參數(shù)。LLama發(fā)布了一系列規(guī)模從70億到700億參數(shù)的預(yù)訓(xùn)練和微調(diào)的大語言模型（LLMs）。將scaling laws應(yīng)用于語言模型的明顯有效性展示了對視覺模型進行升級的有前途潛力。

Zero-shot 泛化。 zero-shot泛化指的是模型，特別是大語言模型，能夠執(zhí)行未經(jīng)明確訓(xùn)練的任務(wù)的能力。在視覺領(lǐng)域，人們對基礎(chǔ)模型（如CLIP、SAM、Dinov2）的 zero-shot和上下文學(xué)習(xí)能力越來越感興趣。像Painter和LVM這樣的創(chuàng)新利用視覺提示設(shè)計上下文學(xué)習(xí)范式，從而促進了對下游未見任務(wù)的泛化。

視覺生成

圖像分詞器和自回歸模型。 語言模型依賴于字節(jié)對編碼（BPE）或WordPiece算法進行文本分詞。基于語言模型的視覺生成模型也需要將2D圖像編碼為1D token 序列。早期的嘗試VQVAE已經(jīng)證明了將圖像表示為離散token的能力，盡管重建質(zhì)量相對較低。VQGAN通過引入對抗損失和感知損失來提高圖像保真度，并采用僅解碼器的transformer以標(biāo)準(zhǔn)掃描方式生成圖像token。VQVAE-2和RQTransformer也遵循VQGAN的掃描方式，但通過額外的比例或堆疊代碼進一步改進了VQVAE。Parti利用ViT-VQGAN的基礎(chǔ)架構(gòu)將transformer模型大小擴展到200億參數(shù)，取得了在文本到圖像合成方面的顯著成果。

Masked-prediction模型。MaskGIT采用了一個帶有VQ自編碼器的masked預(yù)測框架，通過“貪心”算法生成基于圖像tokens的圖像。MagViT將這種方法應(yīng)用到視頻數(shù)據(jù)中，而MagViT-2通過引入改進的VQVAE改進了MaskGIT。MUSE將MaskGIT的架構(gòu)擴展到30億參數(shù)，并將其與T5語言模型合并，在文本到圖像合成方面設(shè)定了新的基準(zhǔn)。

擴散模型 被認(rèn)為是視覺合成的前沿，因為它們具有出色的生成質(zhì)量和多樣性。擴散模型的進展集中在改進的采樣技術(shù)、更快的采樣和架構(gòu)增強。Imagen將T5語言模型用于文本條件，并通過多個獨立的擴散模型進行級聯(lián)生成和超分辨率來構(gòu)建圖像生成系統(tǒng)。潛在擴散模型（LDM）在latent space中應(yīng)用擴散，提高了訓(xùn)練和推理的效率。DiT用基于transformer的架構(gòu)替換了傳統(tǒng)的U-Net，被用于最近的圖像或視頻合成系統(tǒng)，如Stable Diffusion 3.0和SORA。

方法

初步：通過下一個token預(yù)測進行自回歸建模

討論。 上述的tokenization和展平使得可以在圖像上進行下一個token自回歸學(xué)習(xí)，但它們引入了幾個問題：

空間局部性的破壞（問題2）是顯而易見的。關(guān)于問題1，本文在附錄中提供了實證證據(jù)，分析了流行的量化自編碼器中的token依賴關(guān)系，并揭示了顯著的雙向相關(guān)性。關(guān)于問題3的計算復(fù)雜性證明在附錄中有詳細(xì)說明。這些理論和實際限制要求重新思考圖像生成中的自回歸模型。

通過下一尺度預(yù)測的視覺自回歸建模

實現(xiàn)細(xì)節(jié)

VAR tokenizer。 如前所述，使用基本的VQVAE架構(gòu)，采用多尺度量化方案，并增加了個K額外的卷積層（0.03M額外參數(shù)）。對所有尺度使用共享的codebook，其中V=4096，潛在維度為32。與基準(zhǔn)方法[19]一樣，分詞器也在OpenImages上使用復(fù)合損失（5）進行訓(xùn)練。更多細(xì)節(jié)請參閱附錄。

VAR transformer。 本文的主要重點是VAR算法，因此保持了簡單的模型架構(gòu)設(shè)計。本文采用了類似于GPT-2和VQGAN的標(biāo)準(zhǔn)解碼器transformer的架構(gòu)，唯一的修改是用自適應(yīng)歸一化（AdaLN）替代傳統(tǒng)的層歸一化——這個選擇受到了其在視覺生成模型中被廣泛采用和被證明有效的啟發(fā)。對于類別條件的合成，使用類別embedding作為起始token[s]，也作為AdaLN的條件。本文沒有使用現(xiàn)代大語言模型中的高級技術(shù)，比如旋轉(zhuǎn)位置嵌入（RoPE）、SwiGLU MLP或RMS Norm。本文的模型形狀超參數(shù)遵循一個簡單的規(guī)則，即寬度W、頭部數(shù)量h和丟失率dr隨著深度d線性縮放，如下所示：

因此，深度d為的VAR transformer的主要參數(shù)數(shù)量由以下公式給出：

實驗結(jié)果

這一部分首先比較了VAR與其他圖像生成模型家族在性能和效率方面的表現(xiàn)。并進行了評估。然后對VAR模型的可擴展性和泛化能力進行了評估。最后進行了一些消融實驗和可視化。

最先進的圖像生成

設(shè)置。 在ImageNet 256×256和512×512的條件生成基準(zhǔn)上測試了深度為16、20、24和30的VAR模型，并將它們與最先進的圖像生成模型進行了比較。在所有基于VQVAE的AR或VAR模型中，VQGAN和本文的模型使用相同的架構(gòu)（CNN）和訓(xùn)練數(shù)據(jù)（OpenImages）進行VQVAE訓(xùn)練，而ViT-VQGAN使用ViT自編碼器，并且它和RQTransformer直接在ImageNet上訓(xùn)練VQVAE。結(jié)果總結(jié)如下表所示。

整體比較。 

效率比較。 傳統(tǒng)的自回歸（AR）模型在計算成本上存在很大問題，因為圖像token的數(shù)量與圖像分辨率的平方成正比。完整的自回歸生成個token需要的解碼迭代和的總計算量。相比之下，VAR只需要的迭代和的總計算量。表1中報告的墻鐘時間也提供了實證證據(jù)，即使具有更多的模型參數(shù)，VAR的速度也比VQGAN和ViT-VQGAN快約20倍，達到了高效GAN模型的速度，后者只需要1步即可生成一幅圖像。

與流行的 diffusion transformer相比。 VAR模型在多個方面都超過了最近流行的擴散模型Diffusion Transformer（DiT），它是最新的Stable Diffusion 3和SORA的前身：

• 在圖像生成的多樣性和質(zhì)量（FID和IS）方面，具有20億參數(shù)的VAR始終優(yōu)于DiT-XL/2，L-DiT-3B和L-DiT-7B。VAR還保持了可比的精度和召回率。
• 對于推理速度，DiT-XL/2需要比VAR多45倍的墻鐘時間，而3B和7B模型則需要更多。
• VAR被認(rèn)為更具數(shù)據(jù)效率，因為它只需要350個訓(xùn)練周期，而DiT-XL/2需要1400個。
• 就可擴展性而言，圖3和表1顯示，DiT在超過6.75億參數(shù)時只能獲得微小甚至負(fù)面的增益。相比之下，VAR的FID和IS不斷提高，與scaling laws研究相一致。這些結(jié)果表明，與DiT等模型相比，VAR是一個更高效、可擴展的圖像生成模型。

冪律 scaling laws

背景。 先前的研究[30, 22, 27, 1]已經(jīng)確定，擴展自回歸（AR）大語言模型（LLMs）會導(dǎo)致測試損失的可預(yù)測下降。這一趨勢與參數(shù)數(shù)量、訓(xùn)練token 和最佳訓(xùn)練計算呈現(xiàn)出一種冪律關(guān)系：

這些觀察到的scaling laws不僅驗證了LLM的可擴展性，而且作為AR建模的預(yù)測工具，有助于根據(jù)較小的對應(yīng)物估計更大的AR模型的性能，從而通過大型模型性能預(yù)測節(jié)省資源使用。鑒于由LLM帶來的這些吸引人的規(guī)模律性質(zhì)，它們在計算機視覺中的復(fù)制因此具有重要意義。

設(shè)置scalingVAR模型。 遵循[30, 22, 27, 1]的協(xié)議，檢查本文的VAR模型是否符合類似的scaling laws。在12種不同大小的模型上進行了訓(xùn)練，參數(shù)從18M到2B不等，使用包含1.28M張圖片（或根據(jù)VQVAE為870B的圖像token）的ImageNet訓(xùn)練集進行每輪訓(xùn)練。對于不同大小的模型，訓(xùn)練持續(xù)了200到350個epoch，最大的token數(shù)量達到3050億。以下將重點放在模型參數(shù)和給定足夠token數(shù)的最優(yōu)訓(xùn)練計算上的scaling laws。

使用模型參數(shù)N的scaling laws。 本文首先調(diào)查了隨著VAR模型大小增加而變化的測試損失趨勢。對于深度為的VAR transformer，參數(shù)數(shù)量，如公式(8)所示。將從6變化到30，得到了12個模型，參數(shù)數(shù)量從18.5M到2.0B不等。本文評估了在ImageNet驗證集上的最終測試交叉熵?fù)p失和token預(yù)測錯誤率，該驗證集包含50,000張圖片。本文計算了最后一個尺度（在最后一個下一個尺度的自回歸步驟中）以及全局平均的和。結(jié)果如圖5所示，觀察到作為函數(shù)的清晰的冪律scaling趨勢，與[30, 22, 27, 1]一致。冪律scaling laws可以表示為:

盡管規(guī)模律主要研究了測試損失，本文也在token錯誤率上觀察到類似的冪律趨勢:

這些結(jié)果驗證了VAR的強大可擴展性，通過擴大VAR transformer的規(guī)模可以持續(xù)提高模型的測試性能。

以最優(yōu)訓(xùn)練計算量  為尺度的scaling laws。 接著，本文研究了在增加訓(xùn)練計算量  時，VAR transformer 的scaling行為。對于這 12 個模型中的每一個，追蹤了測試損失  和token誤差率  隨著訓(xùn)練計算量  的變化情況，訓(xùn)練計算量以 PFlops（每秒  浮點運算）為單位報告。結(jié)果繪制在圖 6 中。在這里，繪制了  和  的帕累托前沿，以突出達到一定損失或誤差值所需的最優(yōu)訓(xùn)練計算量 。

對于作為  函數(shù)的  和 Err 的擬合冪律為scaling laws:

這些關(guān)系（13、14）在  的 6 個數(shù)量級范圍內(nèi)保持一致，本文的發(fā)現(xiàn)與[30, 22]中的結(jié)果一致：在有足夠數(shù)據(jù)的情況下，更大的 VAR transformer 更具計算效率，因為它們可以用更少的計算達到相同的性能水平。

可視化。 為了更好地了解當(dāng)VAR模型擴展時它們是如何學(xué)習(xí)的，在圖7中比較了來自4種不同尺寸的VAR模型（深度為6、16、26、30）和3個不同訓(xùn)練階段（總訓(xùn)練token的20%、60%、100%）生成的一些256×256樣本。為了保持內(nèi)容一致，使用了相同的隨機種子和teacher-forced初始token。觀察到的視覺保真度和完整性的改進與scaling laws一致，因為更大的transformer被認(rèn)為能夠?qū)W習(xí)更復(fù)雜、更精細(xì)的圖像分布。

zero-shot任務(wù)泛化

圖像修復(fù)和摳圖。 對VAR-d30進行了測試。對于圖像修復(fù)和摳圖，使用真實圖像中mask之外的真實token強制網(wǎng)絡(luò)進行訓(xùn)練，使網(wǎng)絡(luò)只生成mask內(nèi)的token。沒有向網(wǎng)絡(luò)注入類別標(biāo)簽信息。結(jié)果見圖8。在不修改網(wǎng)絡(luò)架構(gòu)或調(diào)整參數(shù)的情況下，VAR在這些下游任務(wù)上取得了不錯的結(jié)果，證實了VAR的泛化能力。

類別條件圖像編輯。 本文也在類別條件圖像編輯任務(wù)上對VAR進行了測試，這與修復(fù)圖像的情況類似。模型被強制只在邊界框內(nèi)生成token，條件是某個類別標(biāo)簽。圖8顯示，模型可以生成與周圍環(huán)境融合良好的內(nèi)容，再次驗證了VAR的通用性。

消融研究

在這項研究中，旨在驗證本文提出的VAR框架的有效性和效率。結(jié)果報告在表3中。

VAR的有效性和效率。 從由[11]實施的基準(zhǔn)vanilla AR transformer開始，本文將其方法替換為VAR，并保持其他設(shè)置不變以獲得第2行。VAR的FID要好得多（18.65比5.22），而推理掛鐘成本僅為AR模型的0.013倍，這顯示了視覺AR模型在性能和效率上的飛躍。

各組件分離實驗。 本文進一步測試了VAR中的一些關(guān)鍵組件。通過將標(biāo)準(zhǔn)層歸一化（LN）替換為自適應(yīng)層歸一化（AdaLN），VAR開始產(chǎn)生比基準(zhǔn)更好的FID。通過使用類似于基準(zhǔn)的top-k抽樣，VAR的FID進一步提高。通過使用比例為2.0的無分類器指導(dǎo)（CFG），達到了3.60的FID，比基準(zhǔn)低了15.05，其推斷速度仍然快45倍。由于觀察到的有效性，將最終的VAR模型配備了AdaLN、top-k抽樣和無分類器指導(dǎo)。最后，將VAR大小擴展到2.0B，并實現(xiàn)了1.80的FID。這比基準(zhǔn)FID高出16.85。

未來工作

在這項工作中，主要關(guān)注學(xué)習(xí)范式的設(shè)計，并保持VQVAE架構(gòu)和訓(xùn)練與基準(zhǔn)[19]保持不變，以更好地證明VAR框架的有效性。本文期望推進VQVAE分詞器作為增強自回歸生成模型的另一種有前途的方式，這與本文的工作無關(guān)。相信在這些最新工作中通過先進的tokenizer或抽樣技術(shù)迭代VAR可以進一步提高VAR的性能或速度。

文本提示生成 是研究的一個持續(xù)方向。考慮到本文模型在基本上與現(xiàn)代LLMs類似，它可以很容易地與它們集成，通過編碼器-解碼器或上下文方式執(zhí)行文本到圖像的生成。這是作者目前重點探索的方向。

結(jié)論

本文引入了一種名為Visual AutoRegressive modeling（VAR）的新視覺生成框架，該框架在理論上解決了標(biāo)準(zhǔn)圖像自回歸（AR）模型中存在的一些問題，并使基于語言模型的AR模型首次在圖像質(zhì)量、多樣性、數(shù)據(jù)效率和推理速度方面超越了強大的擴散模型。將VAR擴展到20億參數(shù)后，觀察到測試性能與模型參數(shù)或訓(xùn)練計算之間存在明顯的冪律關(guān)系，皮爾遜系數(shù)接近-0.998，表明該框架對性能預(yù)測具有強大的魯棒性。這些scaling laws以及zero-shot任務(wù)泛化的可能性，作為LLM的標(biāo)志，在VAR transformer模型中已初步驗證。希望本發(fā)現(xiàn)和開放源代碼能夠促進自然語言處理領(lǐng)域取得的巨大成功更無縫地整合到計算機視覺中，最終推動強大的多模態(tài)智能的發(fā)展。

本文轉(zhuǎn)自 AI生成未來 ，作者：Keyu Tian等

原文鏈接:??https://mp.weixin.qq.com/s/l9_XDpIi2-MtWClJBgtkBg??