終結擴散模型，IGN單步生成逼真圖像！UC伯克利谷歌革新LLM，美劇成靈感來源
已經紅遍半邊天的擴散模型，將被淘汰了？
當前，生成式AI模型，比如GAN、擴散模型或一致性模型，通過將輸入映射到對應目標數據分布的輸出，來生成圖像。
通常情況下，這種模型需要學習很多真實的圖片，然后才能盡量保證生成圖片的真實特征。
最近，來自UC伯克利和谷歌的研究人員提出了一種全新生成模型——冪等生成網絡（IGN）。
圖片
論文地址：https://arxiv.org/abs/2311.01462
IGNs可以從各種各樣的輸入，比如隨機噪聲、簡單的圖形等，通過單步生成逼真的圖像，并且不需要多步迭代。
這一模型旨在成為一個「全局映射器」（global projector），可以把任何輸入數據映射到目標數據分布。
簡言之，通用圖像生成模型未來一定是這樣的。
有趣的是，《宋飛正傳》中一個高效的場景竟成為作者的靈感來源。
圖片
這個場景很好地總結了「冪等運算符」（idempotent operator）這一概念，是指在運算過程中，對同一個輸入重復進行運算，得到的結果總是一樣的。
即
圖片
。
正如Jerry Seinfeld幽默地指出的那樣，一些現實生活中的行為也可以被認為是冪等的。
冪等生成網絡
IGN與GAN、擴散模型有兩點重要的不同之處：
- 與GAN不同的是，IGN無需單獨的生成器和判別器，它是一個「自對抗」的模型，同時完成生成和判別。
- 與執行增量步驟的擴散模型不同，IGN嘗試在單個步中將輸入映射到數據分布。
那么，冪等生成模型（IGN）怎么來的？
它被訓練為從源分布
給定輸入樣本的目標分布
，生成樣本。
給定示例數據集
，每個示例均取自
。然后，研究人員訓練模型
將
映射到
。
假設分布
和
位于同一空間，即它們的實例具有相同的維度。這允許將
應用于兩種類型的實例
和
。
如圖展示了IGN背后的基本思想：真實示例 (x) 對于模型 f 是不變的
。其他輸入 (z) 被映射到f通過優化
映射到自身的實例流上。
圖片
IGN訓練例程PyTorch代碼的一部分示例。
圖片
實驗結果
得到IGN后，效果如何呢？
作者承認，現階段，IGN的生成結果無法與最先進的模型相競爭。
在實驗中，使用的較小的模型和較低分辨率的數據集，并在探索中主要關注簡化方法。
當然了，基礎生成建模技術，如GAN、擴散模型，也是花了相當長的時間才達到成熟、規模化的性能。
實驗設置
研究人員在MNIST（灰度手寫數字數據集）和 CelebA（人臉圖像數據集）上評估IGN，分別使用28×28和64×64的圖像分辨率。
作者采用了簡單的自動編碼器架構，其中編碼器是來自DCGAN的簡單五層鑒別器主干，解碼器是生成器。訓練和網絡超參數如表1所示。
圖片
生成結果
圖4顯示了應用模型一次和連續兩次后兩個數據集的定性結果。
如圖所示，應用IGN 一次 (f (z)) 會產生相干生成結果。然而，可能會出現偽影，例如MNIST數字中的孔洞，或者面部圖像中頭頂和頭發的扭曲像素。
再次應用 f (f (f (z))) 可以糾正這些問題，填充孔洞，或減少面部噪聲斑塊周圍的總變化。
圖片
圖7顯示了附加結果以及應用f三次的結果。
圖片
比較
和
表明，當圖像接近學習流形時，再次應用f會導致最小的變化，因為圖像被認為是分布的。
潛在空間操縱
作者通過執行操作證明IGN具有一致的潛在空間，與GAN所示的類似，圖6顯示了潛在空間算法。
圖片
分布外映射
作者還驗證通過將來自各種分布的圖像輸入到模型中以生成其等效的「自然圖像」，來驗證IGN「全局映射」的潛力。
研究人員通過對噪聲圖像x+n 進行去噪、對灰度圖像
進行著色，以及將草圖
轉換為圖5中的真實圖像來證明這一點。
原始圖像x，這些逆任務是不適定的。IGN能夠創建符合原始圖像結構的自然映射。
如圖所示，連續應用f可以提高圖像質量（例如，它消除了投影草圖中的黑暗和煙霧偽影）。
圖片
谷歌下一步？
通過以上結果可以看出，IGN在推理方面更加有效，在訓練后只需單步即可生成結果。
它們還可以輸出更一致的結果，這可能推廣到更多的應用中，比如醫學圖像修復。
論文作者表示：
我們認為這項工作是邁向模型的第一步，該模型學習將任意輸入映射到目標分布，這是生成建模的新范式。
接下來，研究團隊計劃用更多的數據來擴大IGN的規模，希望挖掘新的生成式AI模型的全部潛力。
最新研究的代碼，未來將在GitHub上公開。
參考資料：
https://assafshocher.github.io/IGN/
https://the-decoder.com/inspired-by-seinfeld-google-unveils-new-ai-model-for-image-generation/
