炸裂突破！InfGen讓圖像生成進入“任意分辨率”時代：4K圖像7秒生成，速度狂飆10倍！
論文鏈接：https://arxiv.org/pdf/2509.10441
亮點直擊
- 新范式。引入了一種在任意分辨率下生成圖像的新范式?；谏呻[空間變量的二次生成是一個未被探索的領域。
- 即插即用。生成器可以作為插件用于升級所有基于VAE的模型，無需進一步訓練，在提升現有生成模型的任意分辨率能力方面顯示出顯著改進。
- 高質量且快速。與現有的SOTA方法相比，所提出的方法不僅實現了頂級的生成質量，還將生成速度提高了十倍以上。
總結速覽
解決的問題
- 當前的擴散模型在生成高分辨率圖像時，計算需求呈平方級增長，導致4K圖像生成延遲超過100秒，難以滿足快速生成的需求。
提出的方案
- 引入InfGen，通過用新的生成器替換VAE解碼器，從固定大小的隱空間變量生成任意分辨率的圖像。此方案無需重新訓練擴散模型，簡化了流程。
應用的技術
- 基于隱空間擴散模型的二次生成技術，將擴散模型生成的固定隱空間變量作為內容表示，并使用單步生成器解碼任意分辨率圖像。
達到的效果
- 實現了顯著的計算復雜性降低，4K圖像生成時間縮短至10秒以內。
- 提升了生成質量和速度，生成速度提高了十倍以上。
- 提供了一種即插即用的解決方案，可以用于升級所有基于VAE的模型，無需進一步訓練。
方法
InfGen: 固定隱空間變量輸入，任意圖像輸出
InfGen是一個二次生成模型，其中擴散模型被基本視為內容生成器，主要生成固定、緊湊的內容隱空間變量z 。此外，InfGen將z擴展為任意大小的圖像，專注于在此過程中細化細節和紋理。這個范式有兩個顯著的好處：
- 高推理速度：InfGen通過避免在高分辨率隱空間上的多步去噪，實現了非常快的推理速度。這種效率得益于在緊湊的隱空間變量z上通過一步推理生成任意分辨率的圖像，從而降低了計算需求。
- 即插即用：InfGen提供了強大的泛化能力，因為它可以應用于任何在相同隱空間上訓練的擴散模型。這種靈活性使其能夠適應各種生成模型和任務而無需額外訓練。
InfGen的總體介紹
為了讓InfGen能夠無縫集成到各種基于擴散的生成模型中并增強其分辨率靈活性，我們提出了一個基于VAE隱空間的管道。如下圖3所示，這種方法利用了前文中介紹的基本VAE架構。值得注意的是，我們的InfGen框架避免更改VAE編碼器，從而保持與現有擴散模型（例如，SDXL ，DiT）的兼容性。相反，我們在解碼器中引入了一個二次生成器。
訓練pipeline。 在訓練階段，高分辨率圖像最初經過裁剪和調整大小操作以符合固定尺寸，例如512 × 512。這些預處理圖像隨后由VAE編碼器編碼為固定大小的隱空間變量z ，通?？s小8倍，得到像4 × 64 × 64的尺寸。InfGen模型旨在實現任意分辨率生成。映射定義為：
其中， h,w是表示期望圖像大小的動態參數， x(h,w)是所需的輸出圖像。優化目標。損失函數包括對抗損失、重建損失和感知損失，其定義為：
推理流程。 如下圖 3 所示，在推理階段，通過將輸入潛在向量替換為由兼容的擴散模型生成的向量（包括但不限于 DiT、SDXL、SiT、FiT），InfGen 可以為隱空間表示生成任意大小的圖像。通過這種模式，InfGen 可以在不同任務上（如類指導生成、文本條件生成和圖像修復）以成本效益高的方式增強擴散模型的靈活性和分辨率。
任意分辨率解碼器架構
在多層transformer塊中，這個三元組進行交叉注意力計算。masktoken作為查詢，不斷與潛在鍵進行交互，通過相似性計算收集信息。最后，我們將masktoken發送到解碼器進行上采樣，生成任意最終圖像。
隱式神經位置嵌入
位置編碼對于匹配mask和潛在token之間的空間信息至關重要。圖像被分割為固定大小的塊，將每個塊的位置嵌入視為可學習的token。位置編碼有助于保留空間信息。然而，這通常限制了輸入圖像的大小，因為這些編碼是為固定數量的token設計的。
為克服這一限制，本文提出了一種隱式神經位置嵌入（INPE）方法，用于在masktoken數量動態變化時生成，這允許在交叉注意力中固定大小的隱空間表示和不同大小的mask token之間的交互，從而實現具有不同維度的潛在token的再生。
傅里葉變換和神經映射。 三維坐標被轉換為高頻傅里葉特征，以增強模型的模式捕捉能力：
無需訓練的分辨率外推
下表 3 的結果驗證了這是一種穩健的外推方法，用于靈活的分辨率增強，確保高質量的圖像生成。
實驗
與其他圖像tokenizers的比較
將本文的tokenizers與離散圖像tokenizers（如 VQGAN）和連續圖像tokenizers（如 SD VAE 和 SDXL VAE）進行比較。如下表 2 所示，盡管 InfGen 被訓練在更復雜的任務上，我們的tokenizers在重建性能上與常用的 VAE 相比具有競爭力。此外，在不同的輸入輸出分辨率上測試了 LAION 數據集，以評估圖像重建質量。LAION 圖像呈現更復雜的場景，我們的結果與 ImageNet 驗證集的結果一致，表明我們的tokenizers有效處理了以對象為中心和以場景為中心的圖像。
提高擴散模型的性能
InfGen 模型旨在增強生成模型的分辨率。訓練后，InfGen 可以用作插件來替換現有隱空間生成模型的 VAE 解碼器，特別是那些與我們的 VAE 編碼器相同的模型。為了評估，本文測試了幾個經典和新發布的生成模型，包括 DiT-XL/2、SiT-XL/2、MaskDiT、MDTv2 和 FiTv2。通過用 InfGen 替換這些模型的 VAE 解碼器，生成的隱空間變量可以解碼為任何分辨率的輸出。表 3 中的結果詳細說明了 InfGen 為每個生成模型帶來的分辨率提升性能改進。對于原始模型，它們無法生成任意分辨率的圖像，我們將其輸出上采樣到評估大小。評估了兩種不同的隱空間大小：32x32 和64x64 。
定量比較。 對于32x32的隱空間，評估了在生成 512x512（4倍上采樣）和 1024x1024（16倍上采樣）圖像時的性能。對于64x64的隱空間，我們評估了在 1024x1024、2048x2048 和3072x3072分辨率下的性能改進。實驗結果顯示，InfGen 在高分辨率下顯著增強了所有模型的生成性能。例如，在3072x3072的 FID 上，InfGen 在 DiT 上實現了高達 41% 的改進，在 SD1.5 上實現了 44% 的改進。在所有五個評估的分辨率上，平均改進分別為 8%、34%、13%、16% 和 42%。這些結果表明，InfGen 不僅使現有的擴散模型能夠在任意分辨率下生成圖像，而且顯著提高了不同分辨率下的生成質量。
可視化比較。 下圖 4 展示了InfGen 模型與基準模型在各種分辨率下的視覺比較。使用 SD1.5 進行高分辨率圖像合成會導致視覺上不吸引人的結構和大量不規則紋理，這大大降低了視覺質量。相比之下，我們的方法在產生卓越的語義連貫性和細節復雜性方面表現出色。例如，在3072x3072的分辨率下，我們生成的熊貓、貓和獅子的圖像展示了更詳細的特征。即使在不同分辨率下使用固定潛在方法生成圖像，我們的方法也始終提供視覺上令人滿意且語義連貫的結果。
與其他最先進方法的比較
定量比較。 正如下表 4 所示，本文方法 InfGen+SD1.5 在兩個高分辨率下的 FID、sFID、Precision 和 Recall 方面表現出競爭力。值得注意的是，InfGen 在推理效率上具有顯著優勢，生成一個2048x2048的圖像大約只需 5 秒，比 UltraPixel 快 4 倍。無訓練方法和基于超分辨率的方法生成一個 2K 圖像需要幾分鐘。這些發現強調了我們的方法在生成超高分辨率圖像時的卓越效率。
結論
InfGen提供了一個高效的框架，用于生成任意分辨率的圖像，解決了現有方法在擴散模型中生成任意分辨率隱空間時，常常導致顯著延遲和計算開銷的問題。通過在緊湊的隱空間中訓練一個次級生成模型，InfGen 可以將低分辨率隱空間解碼為任意分辨率的圖像，而無需改變現有擴散模型的結構或訓練。實驗表明，InfGen 作為一種現成的增強工具，可以改善擴散模型在任意分辨率下的表現。與其他專門方法相比，InfGen 在質量上更優，并顯著減少了推理時間，生成一個 4K 圖像僅需 7.4 秒。這一進步突顯了 InfGen 在顯著提升快速超高分辨率圖像生成能力方面的潛力。
本文轉自AI生成未來 ，作者：AI生成未來
