近日，來自 Amazon One 的研究人員提出了一個訓練 GAN 的框架，可以對生成的圖像進行顯式控制。該框架能夠通過設置確切的屬性（例如年齡，姿勢，表情等）來控制生成的圖像。

Amazon One團隊最近提出了一個可以對生成的圖像進行顯式屬性控制的GAN訓練框架，能夠通過設置確切的屬性來控制生成的圖像，如年齡、姿勢、表情等。

這篇論文目前已經發布在arxiv上，并且在Google網盤中有相應的補充說明。

目前大多數編輯GAN生成的圖像的方法都是通過利用隱空間解構屬性來實現部分控制，這些屬性是在標準GAN訓練后隱式獲得的。這種方法能夠改變某些屬性的相對強度，但不能顯式地設置它們的值。

而最近提出的方法，是為顯式的準確控制人臉屬性而設計的，利用可變形的3D人臉模型來實現GAN中的細粒度控制能力。

與以往方法不同的是，這種控制不受限于可變形的三維人臉模型參數，并且可以擴展到人臉領域之外。

使用對比學習，獲得了具有明確分解隱空間的GAN。這種分解被用來訓練控制編碼器，將人類可解釋的輸入映射到合適的隱向量，從而允許顯式的控制。

在人臉領域，研究人員展示了對身份、年齡、姿勢、表情、頭發顏色和照明的控制，還演示了我們的框架在畫像和狗圖像生成領域的控制能力，證明了新的方法在質量和數量上都達到了SOTA。

在第一階段，構建每一個batch的每個屬性都有一對隱向量，共享一個相應的子向量。 除了對抗性損失外，該批圖像中的每張圖像都會以對比的方式，逐個屬性地與其他所有圖像進行比較，并考慮到它的子向量是相同還是不同。

在第二階段，編碼器被訓練成將可解釋的參數映射到合適的隱向量。

在推理階段，是通過將第k個編碼器輸入設置為所需值，實現對屬性k的顯式控制。

對光線、角度和表情的顯式控制效果：

研究人員使用了ArcFace提取生成圖像的嵌入向量，具體做法是生成10K個共享ID屬性的圖像對和具有不同的姿勢、照明和表情屬性的圖像。

對發色和年齡的控制效果：

為了驗證模型確實對輸出有明確的控制，研究人員進行了控制精度的比較。從FFHQ中隨機選取10K張圖像，并對其屬性進行預測，以產生一個在真實圖像中出現的可行屬性池。

還可以實現在保持其他屬性不變的情況下，改變繪畫的藝術風格：

對于喜歡養寵物的人來說，也可以顯式控制生成的狗狗圖像的一些屬性：

同時，不只可以改變一個屬性，還可以同時控制多個屬性值：

通過測試Amazon One的可控GAN模型，本以為現在的美顏工具已經十分好用了，看來未來還會有更加驚艷的功能可以期待。