本文經AI新媒體量子位（公眾號ID:QbitAI）授權轉載，轉載請聯系出處。

換臉見多了，換身材的見過嗎？

給定一張臉，就能自動換一個下半身，服飾、身材、膚色都毫無PS痕跡：

核心技術當然還是我們熟悉的GAN，但不同的是，現在身體的每個部分都能被PS了。

從臉，膚色、服飾、頭發等身體各個部位，甚至到肢體動作，都能被隨意設計和組合，最終“縫”成一張1024 × 1024分辨率的全身照片：

而且這張“縫合怪”還完全沒有拼接行為帶來的陰影和邊界：

△上方的面部由新方法生成，陰影邊界很少

怎么做到的？把用于生成人體不同部位的GAN“拼”起來。

這就是Adobe團隊最新提出的一種結合多個預訓練的GAN進行圖像生成的新方法，論文目前已被CVPR 2022接收：

接下來就一起來看看他們到底是如何實現的。

用PS的方式GAN出個人體

如我們開頭所說，這是一種將多個GAN拼接起來使用的方法，研究團隊將其稱之為InsetGAN。

共分為兩類GAN：

• 全身GAN （Full-Body GAN），基于中等質量的數據進行訓練并生成一個人體。
• 部分GAN，其中包含了多個針對臉部、手、腳等特定部位進行訓練的GAN。

這兩類GAN的合作方式類似于PS：全身GAN是一張已經有打底線稿的畫布，而部分GAN則是一張一張疊在上面的圖層。

但不同邊界的“圖層”在疊到畫布上時，一定會有出現對齊問題。

比如，將一張臉添加到身體上時，在膚色的一致性、衣服邊界和頭發披散的自然性上可能出現細節的扭曲和丟失，或出現偽影（Artifacts）：

如何才能更好地協調多個GAN，讓它們產生一致的像素呢？

研究團隊設計了這樣一種架構：

他們首先引入了一個邊界框檢測器，檢測部分GAN生成的特定區域在底層畫布，也就是全身GAN生成的區域中的位置，經過裁剪后再將特定區域嵌入。

這一過程相當于找到了兩個區域之間的一種隨機潛碼 （latent code），使得所選區域的邊界能夠和嵌入區域相匹配，以實現無縫合成。

同時，他們還會對這兩個區域進行下采樣（Downsample），再次增加圖像像素內容的一致性。

基于這種方法，InsetGAN可以在訓練后生成多張完整人像，同時膚色、頭發和相關姿勢都能作出相應調整：

研究團隊也與之前的生成全身人像的方法CoModGAN做了比較，都是基于左側的人體進行面部的替換，顯然，InsetGAN生成的面部更加自然：

△上為InsetGAN，下為CoModGAN

作者介紹

論文共有6位作者，5位來自Adobe研究院，還有1位來自阿卜杜拉國王科技大學（KAUST）。

其中有Adobe的首席科學家Jingwan Lu，是PS 2020中智能肖像、皮膚平滑、著色和神經風格化等過濾器的主要算法貢獻者，也是RealBrush筆刷合成器的開發者。

她目前領導的團隊主要致力于利用大數據和生成性AI（比如GAN）來進行視覺內容的創造。

所以，準備好足不出戶換身材了嗎？（手動狗頭）

論文地址：

??https://arxiv.org/abs/2203.07293