速度提升數十倍，只需一張圖一句話，谷歌新模型20秒即可實現變臉

作者：機器之心 2023-07-18 09:47:11

人工智能新聞

時隔 8 個月，谷歌又提出了一種能在 20 秒內實現人臉個性化處理的新生成模型。

此前，谷歌和波士頓大學的研究者提出了一種「個性化（Personalization）」的文本到圖像擴散模型 DreamBooth，用戶只需提供 3~5 個樣本 + 一句話，AI 就能定制照片級圖像。

對于「個性化」我們可以這樣理解，以輸入圖像為參考，生成的圖像在各種情境和不同風格中都能保持對其身份的高度忠實。

舉例來講，輸入左側 4 張小狗的照片，DreamBooth 就可以生成不同類型的小狗，如小狗在景點里旅游、在海里游泳、趴在窩棚里睡覺、甚至人類給它修剪毛發，而生成的圖片都高度保持了原圖像的特點。

圖片

然而，個性化過程在時間和內存需求方面還存在很多挑戰。具體到單個個性化模型，進行微調需要大量的 GPU 時間投入，不僅如此，個性化模型還需要很高的存儲容量。

為了克服這些挑戰，時隔 8 個月，谷歌又提出了一種新的生成模型 HyperDreamBooth。HyperDreamBooth 可以生成不同上下文和風格的人臉，同時還能保留臉部關鍵知識。

在只使用一張參考圖像的情況下，HyperDreamBooth 在大約 20 秒內實現了對人臉的個性化處理，比 DreamBooth 快 25 倍，比 Textual Inversion 快 125 倍，不僅如此，生成的圖像與 DreamBooth 質量一樣、風格還多樣性。此外，HyperDreamBooth 還比常規的 DreamBooth 模型小 10000 倍。

圖片

論文地址：https://arxiv.org/pdf/2307.06949.pdf

論文主頁：https://hyperdreambooth.github.io/

在我們深入探討技術細節之前，先看一些效果。

下圖中，左邊一欄是輸入圖像，給定一張圖像就可以；中間一欄是根據不同的提示生成的人臉，提示語分別是 Instagram 上一張 V 型臉的自拍照；皮克斯卡通人物的 V 型臉；搖滾明星 V 型臉；樹皮一樣的 V 型臉。最右邊生成的是人物專業照片 V 型臉。結果顯示，HyperDreamBooth 具有相當大的可編輯性，同時還能保持人物關鍵面部特征的完整性。

圖片

HyperDreamBooth 與 Textual Inversion 、DreamBooth 方法比較有何優勢呢？

下圖展示了兩個示例、5 種風格，結果顯示，HyperDreamBooth 可以很好的保持輸入圖像特性，還具有很強的可編輯性。

圖片

接下來我們看看 HyperDreamBooth 具體是如何實現的。

方法介紹

該研究提出的方法由 3 個核心部分組成，分別是輕量級 DreamBooth（Lightweight DreamBooth，LiDB）、預測 LiDB 權重的 HyperNetwork 和 rank-relaxed 快速微調。

LiDB 的核心思想是進一步分解 rank-1 LoRa 殘差的權重空間。具體來說，該研究使用 rank-1 LoRA 權重空間內的隨機正交不完全基（random orthogonal incomplete basis）來實現這一點，如下圖所示：

圖片

HyperDreamBooth 的訓練和快速微調如下圖 2 所示，分為兩個階段。

圖片

第 1 階段：訓練 HyperNetwork 以根據人臉圖像預測網絡權重。該研究使用預先計算的個性化權重進行監督，使用 L2 損失和 vanilla 擴散重建損失函數。第 2 階段：給定面部圖像，用 HyperNetwork 預測網絡權重的初步猜測（initial guess），然后使用重建損失進行微調以增強保真度。

HyperNetwork 架構

該研究使用的 HyperNetwork 架構如下圖 4 所示。其中，視覺 Transformer（ViT）編碼器將人臉圖像轉換成潛在的人臉特征，然后將其連接到潛在層權重特征（初始化為 0）。Transformer 解碼器接收連接特征的序列，并通過使用 delta 預測細化初始權重來迭代地預測權重特征的值。

圖片