“一鍵脫衣”的DeepNude下架后，我在GitHub上找到它涉及的技術(shù)
開源最前線(ID：OpenSourceTop) 綜合整理
綜合自：https://github.com/yuanxiaosc/DeepNude-an-Image-to-Image-technology、程序猿等
前段時(shí)間，一名程序員開發(fā)出了一款名為 DeepNude 的應(yīng)用軟件。
該APP的使用方法很簡單，打開軟件→轉(zhuǎn)化→生成照片，從那個(gè)網(wǎng)上給出的生成結(jié)果來看，效果確實(shí)可以以假亂真，如下：
目前，這個(gè)程序已經(jīng)被下線，不過，猿妹在Github上找到一個(gè)關(guān)于DeepNude使用的圖像生成和圖像修復(fù)相關(guān)技術(shù)項(xiàng)目，該項(xiàng)目由yuanxiaosc創(chuàng)建
這個(gè)倉庫包含DeepNude的pix2pixHD(由英偉達(dá)提出)算法，更重要的是DeepNude背后的通用的Image-to-Image理論與實(shí)踐研究。
Image-to-Image Demo
這一部分提供一個(gè)試玩的 Image-to-Image Demo：黑白簡筆畫到色彩豐富的貓、鞋、手袋。DeepNude 軟件主要使用了Image-to-Image技術(shù)，該技術(shù)理論上可以把你輸入的圖片轉(zhuǎn)換成任何你想要的圖片。
在左側(cè)框中按照自己想象畫一個(gè)簡筆畫的貓，再點(diǎn)擊process按鈕，就能輸出一個(gè)模型生成的貓。
體驗(yàn)地址：https://affinelayer.com/pixsrv/
DeepNude的技術(shù)堆棧
- Python + PyQt
- pytorch
- 深度計(jì)算機(jī)視覺
Image-to-Image Theoretical Research
這一部分闡述DeepNude相關(guān)的人工智能/深度學(xué)習(xí)理論(特別是計(jì)算機(jī)視覺)研究，
1. Pix2Pix
Pix2Pix是伯克利大學(xué)研究提出的使用條件對(duì)抗網(wǎng)絡(luò)作為圖像到圖像轉(zhuǎn)換問題的通用解決方案。(Github地址：https://github.com/phillipi/pix2pix)
2、Pix2PixHD
從語義圖上獲得高分辨率圖片。語義圖是一幅彩色圖片，圖上的不同色塊代表不同種類物體，如行人、汽車、交通標(biāo)志、建筑物等。Pix2PixHD將一張語義圖作為輸入，并由此生成了一張高分辨率的逼真的圖像。之前的技術(shù)多數(shù)只能生成粗糙的低分辨率的圖片，看起來也不真實(shí)。而這個(gè)研究卻生成了2k乘1k分辨率的圖像，已經(jīng)很接近全高清的照片。(Github地址：https://github.com/NVIDIA/pix2pixHD)
3. CycleGAN
CycleGAN使用循環(huán)一致性損失函數(shù)來實(shí)現(xiàn)訓(xùn)練，而無需配對(duì)數(shù)據(jù)。換句話說，它可以從一個(gè)域轉(zhuǎn)換到另一個(gè)域，而無需在源域和目標(biāo)域之間進(jìn)行一對(duì)一映射。這開啟了執(zhí)行許多有趣任務(wù)的可能性，例如照片增強(qiáng)，圖像著色，樣式傳輸?shù)取Ｄ恍枰春湍繕?biāo)數(shù)據(jù)集。
使用CycleGAN神經(jīng)網(wǎng)絡(luò)模型實(shí)現(xiàn)照片風(fēng)格轉(zhuǎn)換、照片效果增強(qiáng)、照片中風(fēng)景季節(jié)變換、物體轉(zhuǎn)換四大功能。
4. Image Inpainting 圖像修復(fù)
在演示視頻中，只需用工具將圖像中不需要的內(nèi)容簡單涂抹掉，哪怕形狀很不規(guī)則，NVIDIA的模型能夠?qū)D像“復(fù)原”，用非常逼真的畫面填補(bǔ)被涂抹的空白。可謂是一鍵P圖，而且“毫無ps痕跡”。該研究來自Nvidia的Guilin Liu等人的團(tuán)隊(duì)，他們發(fā)布了一種可以編輯圖像或重建已損壞圖像的深度學(xué)習(xí)方法，即使圖像穿了個(gè)洞或丟失了像素。這是目前2018 state-of-the-art的方法。
事實(shí)上，可能不需要Image-to-Image。我們可以使用GAN直接從隨機(jī)值生成圖像或從文本生成圖像：
1.Obj-GAN
微軟人工智能研究院(Microsoft Research AI)開發(fā)的新AI技術(shù)Obj-GAN可以理解自然語言描述、繪制草圖、合成圖像，然后根據(jù)草圖框架和文字提供的個(gè)別單詞細(xì)化細(xì)節(jié)。換句話說，這個(gè)網(wǎng)絡(luò)可以根據(jù)描述日常場景的文字描述生成同樣場景的圖像。
效果
模型
2.StoryGAN
微軟新研究提出新型GAN——ObjGAN，可根據(jù)文字描述生成復(fù)雜場景。他們還提出另一個(gè)可以畫故事的GAN——StoryGAN，輸入一個(gè)故事的文本，即可輸出連環(huán)畫。
當(dāng)前最優(yōu)的文本到圖像生成模型可以基于單句描述生成逼真的鳥類圖像。然而，文本到圖像生成器遠(yuǎn)遠(yuǎn)不止僅對(duì)一個(gè)句子生成單個(gè)圖像。給定一個(gè)多句段落，生成一系列圖像，每個(gè)圖像對(duì)應(yīng)一個(gè)句子，完整地可視化整個(gè)故事。
效果
現(xiàn)在用得多的Image-to-Image技術(shù)應(yīng)該就是美顏APP了，所以我們?yōu)槭裁床婚_發(fā)一個(gè)更加智能的美顏相機(jī)呢
技術(shù)無罪，但也別娛樂至死，什么能做什么不能做要領(lǐng)的清，希望以上這些技術(shù)，大家都能把它們用到正道上。
