秒殺Deepfake！微軟北大提出AI換臉工具和假臉檢測工具
人臉識別的“利矛與堅盾”同時出爐！微軟亞洲研究院和北京大學最近聯(lián)合發(fā)表 2 篇重量級學術論文，提出了 FaceShifter 和 FaceX-Ray——前者是一種高保真、能夠感知遮擋的 AI“換臉工具”，后者則是針對偽造人臉圖像的通用檢測工具，在取得業(yè)界領先的性能的同時，所需數(shù)據(jù)量也少得多。
最先進的 AI 和機器學習算法不僅可以生成栩栩如生的位置和物體的圖像，還擅長將人臉頭像從一個人換成另一個人的。另一方面，研究人員也在不斷開發(fā)能夠檢測 deepfake 假圖像的識別工具。這場在機器學習圖像識別領域的“矛與盾”之爭愈演愈烈。
最近，微軟研究院和北京大學的研究團隊就同時造出了一對“利矛”和“堅盾”，他們發(fā)表的兩篇論文分別提出了 FaceShifter 和 Face X-Ray——前者是一種高保真度、可識別遮擋的換臉工具，后者則是能夠檢測偽造人臉圖像的工具。
研究人員表示，與多個現(xiàn)行基線方法相比，這兩種方法都能在不犧牲性能的情況下取得業(yè)界領先的結果，而且所需的數(shù)據(jù)比以前的方法少得多。
一、利矛：高保真度換臉工具 FaceShifter
這個新工具采用兩層框架結構。過去換臉應用的主要困難在于提取面部特征，然后將兩張圖的特征和屬性組合在一張圖中，最近基于 GAN 的工作取得了明顯進步，但仍然在合成高精度、真實圖像結果上面臨挑戰(zhàn)。
研究人員提出了一個新的兩部分架構，稱為 FaceShifter，可以實現(xiàn)高精度和遮擋條件下的換臉。第一部分通過充分，自適應對目標屬性進行挖掘和集成，生成高清換臉圖片。使用新的屬性編碼器，提取多級目標的人臉屬性，利用自適應注意力非正規(guī)化（AAD）層的新生成器整合人臉合成圖片的特征和屬性。
架構的第二部分主要解決面部遮擋問題，這部分包括一個新的啟發(fā)式錯誤確認細化網(wǎng)絡（HEAR-Net）。訓練后，可以以自監(jiān)督的方式恢復圖像的異常區(qū)域，無需任何手動注釋。在新面部圖像上進行的大量實驗表明，與其他方法相比，本文模型生成的換臉圖片結果不僅在感觀上更真實、更具吸引力，而且還保留了原圖像更多的特征。
第一階段的 AEI-Net 結構。AEI-Net 由身份編碼器，多級屬性編碼器和 AAD 生成器組成。AAD 生成器使用在 AAD 層上構建的級聯(lián) AAD ResBlk，可在多個功能級別中集成圖像特征和屬性的信息
第二階段的 HEAR-Net 和生成效果
與 FaceSwap、Nirkin、FaceForensics ++、DeepFake、IPGAN 等模型生成效果的比較。我們的模型更好地保留了源圖像的臉部形狀，也更忠實于目標屬性（照明，圖像分辨率）
與現(xiàn)有其他換臉模型的性能效果對比
二、堅盾：面部假圖像檢測工具 Face X-ray
典型的換臉合成方法包括三個階段：1）檢測面部區(qū)域；2）合成期望的目標面部 3）將目標面部融合到原始圖像中?，F(xiàn)有的對面部合成圖像檢測通常面向第二階段，并基于數(shù)據(jù)集訓練有監(jiān)督的每幀二進制分類器。這種方法可以測試數(shù)據(jù)集上實現(xiàn)近乎完美的檢測精度，如果遇見訓練時沒見過的假圖像，性能會出現(xiàn)明顯下降。
與現(xiàn)有方法不同的是，F(xiàn)ace X-Ray 不需要事先知道操作方法或人工監(jiān)督，而是生成灰度圖像，顯示給定的輸入圖像是否可以分解為來自不同來源的兩個圖像的混合。研究人員聲稱，這種方法是可行的，因為大多數(shù)方法在將已改變的面部混合到現(xiàn)有背景圖像的過程中，有一個步驟是相同的。每個圖像都會從硬件（如傳感器和鏡頭）或軟件（如壓縮和合成算法）中引入的自己獨特的標記，并且這些標記在整個圖像中趨向于類似呈現(xiàn)。
Face X-Ray 不需要依賴于與特定人臉操作技術相關的偽影知識，并且支持它的算法可以在不使用任何方法生成假圖像的情況下進行訓練。
在一系列實驗中，研究人員在 Face Forensics++（一個包含 1000 多個用四種最先進的面部操作方法操作的原始剪輯的大型視頻語料庫）和另一個包含由真實圖像構建的混合圖像的訓練數(shù)據(jù)集上訓練了 Face X-Ray。他們評估了 FaceX-Ray 使用四個數(shù)據(jù)集進行概括的能力：
上述 FaceForensics++ 語料庫的一個子集；Google 發(fā)布的數(shù)千個視覺 deepfake 視頻集合，deepfake 檢測挑戰(zhàn)賽的圖像；以及 Celeb-DF，一個包含 408 個真實視頻和 795 個合成視頻且視覺偽影減少的語料庫。
研究結果表明，F(xiàn)ace X-Ray 能有效地識別出未被發(fā)現(xiàn)的假圖像，并能可靠地預測混合區(qū)域。研究人員指出，這個方法依賴于一個混合步驟，因此可能不適用于完全合成圖像，可能被對抗性樣本騙過。不過，這確實是邁向通用化面部偽造圖像檢測工具的有希望的一步。
作者介紹
這兩篇文章的作者來自微軟亞洲研究院（MSRA）視覺計算團隊，團隊成員大部分畢業(yè)于中科大、北大等國內名校，也都有過在 MSRA 的實習經(jīng)歷，多人獲得 Fellowship 獎。下面以網(wǎng)上公開信息為基礎，介紹一下這兩篇文章的作者。
李凌志
北京大學碩士研究生，北京交通大學工商管理學士。過去一年在 MSRA 視覺計算團隊研究實習生。研究興趣是計算機視覺、機器學習和深度學習。對生成模型和 Deepfake 檢測領域特別感興趣。
鮑建敏
MSRA 視覺計算團隊研究員。此前于 2014 年和 2019 年獲中國科學技術大學理學學士、博士學位，師從羅杰波教授和李厚強教授。研究興趣是計算機視覺，機器學習。對人臉檢測，識別，合成以及 GAN 領域特別感興趣。
Zhang Ting
MSRA 視覺計算團隊高級研究員。在 2017 年 7 月加入 MSRA 之前，分別于 2012 年和 2017 年獲中國科學技術大學學士、博士學位。2013 年至 2017 年在 MSRA 實習，并于 2015 年獲得了 MSRA Fellowship 獎。目前研究興趣集中在計算機視覺的深度學習上。
楊昊
2017 年末加入 MSRA 視覺計算團隊。此前在清華大學軟件學院獲學士、博士學位。研究興趣包括但不限于對面孔，肖像和 3D 圖像的理解和合成。
陳棟
2015 年 7 月加入 MSRA 視覺計算團隊。此前分別于 2010 年和 2015 年獲中國科學技術大學學士、博士學位。2010 年至 2015 年在 MSRA 實習，并于 2013 年獲得 MSRA Fellowship 獎。
Wen Fang
MSRA 視覺計算團隊首席研究員。
郭百寧
微軟亞洲研究院常務副院長，負責圖形圖像領域的研究工作。郭博士擁有美國康乃爾大學碩士和博士學位，北京大學學士學位。他還是電氣電子工程師學會會士（IEEE Fellow）和美國計算機協(xié)會會士（ACM Fellow）。研究興趣包括計算機圖形學、計算機可視化、自然用戶界面以及統(tǒng)計學習。在紋理映射建模、實時渲染以及幾何模型等領域取得的研究成果尤為突出。
