無限創建新角色！大連理工盧湖川、賈旭團隊開源CharacterFactory
Huggingface Demo: ??https://huggingface.co/spaces/DecoderWQH666/CharacterFactory???
Github: ??https://github.com/qinghew/CharacterFactory（代碼已經開源）???
Project Page: ??https://qinghew.github.io/CharacterFactory/???
Paper: ??https://arxiv.org/abs/2404.15677??
最近，來自大連理工大學的IIAU團隊提出CharacterFactory，不需要參考圖片，僅需2.5GB顯存訓練10分鐘，可以在3秒內無限制地端到端地采樣出新的一致性角色，可以結合動作、背景、風格等文本提示實現一致性圖像生成，并且無需微調即可插入視頻/3D生成。
小編表示：這個工作竟有種女媧造人的感覺。
一、引言：
在不斷發展的文本到圖像生成領域，擴散模型已成為內容創建不可或缺的工具。但生成模型固有的隨機特性導致無法直接地在如圖1所示的不同的上下文中生成主體一致的內容。這樣的一致性可以驅動許多應用：為書籍和故事繪制插圖、創建品牌形象、開發演示文稿、藝術設計、身份一致的數據構建等。
近期，主體驅動生成將給定圖像表示為新詞或學習圖像特征注入以實現一致的圖像生成。他們的訓練范式通常包括每個主體的單獨優化和在大規模數據集上預訓練編碼器。前者通常需要對每個主體進行長時間的優化，并且往往會過擬合輸入圖像中的外觀。后者消耗大量的計算成本，并且難以穩定地捕獲身份及其細節。然而，這些方法試圖生成與參考圖像具有相同身份的圖像，而不是創建新的角色。一種可行的方法是預先使用文本到圖像模型來創建新的角色圖像，然后采用主體驅動的方法來生成具有一致身份的圖像。這樣的兩階段工作流可能會將預訓練的生成模型推離其訓練分布，導致生成質量下降且與其他擴展模塊的兼容性差。因此，迫切需要提出一種新的端到端框架來實現一致的角色生成。
二、方法
在這項工作中，研究者們提出了CharacterFactory，如上圖所示，利用GAN采樣出在上下文中具有一致性的身份詞向量，在推理時將此身份詞向量插入，可以產生身份一致的角色圖片。
具體來說，本文將名人名字的詞向量視為身份一致生成的理想樣例，并收集了使用Stable Diffusion可以在不同上下文中生成一致身份的名人名字，作為理想的目標空間。為了使生成的身份詞向量在擴散模型中表現得像名人名字一樣，研究者們訓練了一個向量級GAN模型來學習從隱空間到名人詞向量空間的映射，并通過AdaIN輔助將生成的身份詞向量更自然地與對齊名人空間的分布：
生成器G被訓練最小化這一目標，而判別器被訓練最大化這一目標。
此外，CLIP可以將不同上下文中與某個主體對應的名詞映射為相似的上下文表示，所以這一名詞能夠在生成結果中表現出一致性。為了讓生成的偽身份詞向量具有同樣的效果（即在不同的上下文中表現出一致的身份），本文設計了一種上下文一致性損失，期望詞向量v_1^*,v_2^*結合不同的文本提示時，在經過CLIP的text transformer之后差距盡可能地縮小。此外，這種損失是即插即用的，可以遷移至其他主體驅動的生成方法，有助于學習上下文一致的主體詞嵌入。
整體的目標可以表示為：
判別器D的工作保持不變，生成器G的任務不僅是學習名人詞向量的屬性來騙過D，還要在text transformer的輸出空間中體現上下文一致性。在此，有兩點值得注意：
1.用于詞向量的GAN：研究者們首次在 CLIP 詞向量空間中引入 GAN，并利用后續網絡來設計上下文一致損失，該損失可以感知不同上下文中生成的偽身份詞向量。這種設計類似于之前基于GAN的圖像生成模型的思想（例如Pix2pix，Perceptual loss），這些方法證明了將 GAN 目標與更傳統的損失（例如 L2 loss）混合是有益的。
- 不需要基于擴散模型的訓練：顯然，研究者們的訓練過程中不涉及通常用于訓練的降噪UNet和擴散損失。值得注意的是，所提出的 IDE-GAN 在推理時可以與擴散模型無縫集成，以實現身份一致的生成。
三、實驗結果
- 在實驗環節，本文在多個指標上與實現的兩階段的工作流（主體驅動的方法）進行了定性和定量的對比。如圖和表所示，本文的方法取得了最佳的人臉相似性、可編輯性、可信人臉多樣性和圖像質量。
- 此外，與本文最相關的方法The Chosen One和Consistory沒有開源，研究者們與他們論文里的內容進行了對比。視覺上本文方法與他們取得了相當的性能，但在本文的產生一致角色的速度更快，身份表示成本上更低。
- 像傳統的GAN方法一樣，本文也嘗試了在隱空間中進行插值，并在圖像空間展示插值效果，可以看出，本文生成的身份能夠產生平滑的變化，這不僅證明CharacterFactory具有不錯的插值特性，也從另一方面證明了CharacterFactory可以與Stable Diffusion無縫集成。
- 本文的一個應用是為故事插圖方面，可以看出本文生成的身份可以結合不同的上下文產生相應結果，甚至能夠完成抽象屬性（如年齡）的編輯。
- 本文將得到的一致身份表示與圖像/視頻/3D模型進行結合，得到了更具創造力的結果。
四、結論
本文所提出的框架，可以以極低的訓練開銷和極快的推理速度，端到端地采樣無限的新角色，在上下文中展現出良好的一致性和可編輯性，并可以與ControlNet、視頻、3D等模型結合，做到即插即用，這項工作被認為是一致角色生成的重要一步。
本文轉自 AI生成未來 ，作者：AI生成未來
