?[[435127]]?

本文經AI新媒體量子位（公眾號ID:QbitAI）授權轉載，轉載請聯系出處。

StyleGAN在各種圖像處理和編輯任務上，表現很驚艷。

然而，“干一種活”就得換個體系重新“培訓”一次，太麻煩。

終于，有人細細研究了一下，發現：

其實只通過預訓練和潛空間上的一點小操作，就可以讓StyleGAN直接上手各種“活兒”，包括全景圖生成、從單張圖像生成、特征插值、圖像到圖像翻譯等等。

更厲害的是，它在這些“活兒”上的表現還完全不輸每一位單項SOTA選手。

作者順勢做了個全面整理寫成了一篇論文，相關討論在reddit上直接收獲了700+的熱度：

網友紛紛感嘆：這總結真的是太酷了！

All You Need：預訓練+一點空間操作

方法都非常簡單，我們一個一個來。

前提：fi∈RB×C×H×W表示StyleGAN第i層的中間特征（intermediate features）。

1、空間操作實現直觀和逼真的圖像

由于StyleGAN是全卷積的，我們可以調整fi的空間維度，從而在輸出圖像中引起相應的空間變化。

用簡單的空間操作（如padding和resize），可以生成更直觀和真實的圖像。

比如下圖通過復制灌木和樹叢來擴展背景，與導致紋理模糊等瑕疵的原始resize相比，在特征空間中可以保持更真實的紋理。

2、特征插值

對StyleGAN中間層進行拼貼可以實現圖像信息混合，但要拼接的兩張圖差異太大時效果往往不好。

但采用特征插值就沒問題。

具體操作方法：在每個StyleGAN層，分別使用不同的潛噪聲生成fAi和fBi。然后用下面這個公式將它倆進行平滑地混合，然后再傳遞到下一個卷積層進行同樣的操作。

其中α∈ [0, 1]B×C×H×W是一個mask，如果用于水平混合，則mask將從左到右變大。

和對應模型的定性和定量比較：

該特征插值法能夠無縫地混合兩幅圖像，而Suzuki等人的結果存在明顯的偽影。

用戶研究中，與Suzuki等人相比，87.6%的人也更喜歡該方法。

用戶研究包含40人，每人需比較不同方法下的25對圖像。

3、從單個圖像生成

除了在不同圖像之間進行特征插值，我們還可以在單個圖像中應用它。

具體操作方法：在一些特征層中，選擇相關的patches，并將其與其他區域混合，在空間上進行復制。使用移位運算符Shift（·）：

這和SinGAN的功能相同，不過SinGAN涉及采樣，而該方法只需要手動選擇用于特征插值的patches。

和SinGAN的定性和定量比較：

該方法生成的圖像更加多樣化和真實；SinGAN則未能以“有意義”的方式改變教堂結構，并產生不夠真實的云彩和風景。

用戶研究中，83.3%的人更喜歡該方法生成的新圖像。

4、改進GAN反演

GAN反演的目的是在W+空間中定位一個樣式碼（style code），通過該樣式碼合成與給定目標圖像相似的圖像。

Wulff等人的模型認為，在簡單的非線性變換下，W+空間可以用高斯分布建模。然而，在屬性轉移設置中，需要反轉源圖像和參考圖像，效果并不令人滿意。

最近的研究表明，與W+相比，利用σ進行面部操作的性能更好。

但作者發現，沒有任何變換的σ空間也可以建模為高斯分布。

然后在這個空間而不是在GAN反轉期間，施加相同的高斯先驗。

效果比較：

該方法在圖像重建和可編輯性方面獲得了顯著改進。

5、圖像到圖像翻譯

得益于上部分σ空間的效果，作者建議在圖像到圖像翻譯時freeze產生σ的仿射變換層（affine transformation layer），這一簡單的變化能夠更好地保留圖像翻譯的語義（注意下圖d中嘴的形狀）。

此外，作者發現：

（1）可以在所有空間維度上使用常數α來執行連續翻譯；
（2）通過選擇要執行特征插值的區域來執行局部圖像翻譯；
（3）以及使用改進的GAN反演在真實人臉上執行人臉編輯和翻譯。

這樣獲得的效果也更佳。

6、全景生成

作者通過“編織”兩幅圖像的混合（span）生成全景圖，方法如圖所示：

重復這個過程可以生成任意長度的全景圖像。

而且該方法不僅限于一次混合兩個圖像、也不限于只在水平方向生成。

一些示例：

7、屬性轉移

為了使特征插值能夠更好地用于任意人物姿勢的圖像的屬性轉移，作者選擇在源圖像和參考圖像之間執行姿勢對齊，具體就是對齊W+空間樣式代碼的前2048個維度。

然后就可以應用特征插值將所選特征進行源圖到目標圖的轉移了。

與現有方法比較：

Collins等人的方法沒有準確地轉移細節屬性，Suzuki等人在姿勢不匹配時產生的圖像不夠真實。

而作者的方法既準確又真實。

用戶根據真實感和準確性進行選擇的結果也進一步驗證了該方法的優越性。

ps. 此外還可以在任意區域執行轉移，比如無縫融合兩邊眼睛明顯不同的兩半臉：

以上就是無需特定架構或訓練范式、在StyleGAN模型潛空間中執行一些操作和微調，就能與其他圖像處理任務達到同等或更佳性能的具體方法。

你覺得如何？還有什么需要補充的嗎？

論文地址：
https : //arxiv.org/abs/2111.01619

項目地址：
??? https://github.com/mchong6/SOAT??

??