換臉視頻是濫用 DL 的一大后果，只要網(wǎng)上有你的照片，那么就有可能被換臉到其它背景或視頻。然而，有了這樣的開源攻擊模型，上傳的照片不再成為問題，deepfake 無法直接拿它做換臉。

看上去效果很好，只需要加一些人眼看不到的噪聲，換臉模型就再也生成不了正確人臉了。這樣的思路不正是對抗攻擊么，之前的攻擊模型會通過「偽造真實圖像」來欺騙識別模型。而現(xiàn)在，攻擊模型生成的噪聲會武裝人臉圖像，從而欺騙 deepfake，令 deepfake 生成不了欺騙人類的換臉模型。

這篇波士頓大學(xué)的研究放出來沒多久，就受到很多研究者的熱議，在 Reddit 上也有非常多的討論。看到這篇論文，再加上研究者有放出 GitHub 項目，很可能我們會想到「是不是能在線發(fā)布我們的照片，然后 deepfake 之后就用不了了？」

但事情肯定沒我們想的那么簡單，Reddit 用戶 Other-Top 說：「按照這篇論文，我需要先利用該方法對照片進(jìn)行處理，然后再上傳照片，別人再用這張做換臉就會出錯。」

也就是說，我們的照片、明星的照片先要用攻擊模型過一遍，然后才能上傳到網(wǎng)絡(luò)上，這樣的照片才是安全的？

聽起來就比較麻煩，但我們還是可以先看看這篇論文的研究內(nèi)容，說不定能想出更好的辦法。在這篇論文中，研究者利用源圖像中人眼無法感知的對抗攻擊，借助對抗噪聲干擾圖像的生成結(jié)果。

這一破壞的結(jié)果是：所生成的圖像將被充分劣化，要么使得該圖像無法使用，要么使得該圖像的變化明顯可見。換而言之，不可見的噪聲，令 deepfake 生成明顯是假的視頻。

論文地址：https://arxiv.org/abs/2003.01279

代碼地址：https://github.com/natanielruiz/disrupting-deepfakes

對抗攻擊，Deepfake 的克星

對抗攻擊，常見于欺騙各種圖像識別模型，雖然也能用于圖像生成模型，但似乎意義不是那么大。不過如果能用在 deepfake 這類換臉模型，那就非常有前景了。

在這篇論文中，研究者正是沿著對抗攻擊這條路「欺騙」deepfake 的換臉操作。具體而言，研究者首先提出并成功應(yīng)用了：

可以泛化至不同類別的可遷移對抗攻擊，這意味著攻擊者不需要了解圖像的類別；

用于生成對抗網(wǎng)絡(luò)（GAN）的對抗性訓(xùn)練，這是實現(xiàn)魯棒性圖像轉(zhuǎn)換網(wǎng)絡(luò)的第一步；

在灰盒（gray-box）場景下，使輸入圖像變模糊可以成功地防御攻擊，研究者展示了一個能夠規(guī)避這種防御的攻擊方法。

圖 1：干擾 deepfake 生成的流程圖。使用 I-FGSM 方法，在圖像上應(yīng)用一組無法覺察的噪聲，之后就能成功地干擾人臉操縱系統(tǒng)（StarGAN）的輸出結(jié)果。

大多數(shù)人臉操縱架構(gòu)都是用輸入圖像和目標(biāo)條件類別訓(xùn)練的，例如使用某些屬性來定義生成人臉的目標(biāo)表情（如給人臉添加微笑）。如果我們想要阻止他人為圖像中的人臉添加微笑，則需要清楚選擇的是微笑屬性，而不是閉眼等其他不相關(guān)屬性。

所以要靠對抗攻擊欺騙 deepfake，首先需要梳理帶條件的圖像轉(zhuǎn)換問題，這樣才能將之前的攻擊方法遷移到換臉上。研究者并提出了兩種可遷移的干擾變體類別，從而提升對不同類別屬性的泛化性。

在白盒測試場景下，給照片加模糊是一種決定性的防御方式，其中干擾者清楚預(yù)處理的模糊類型和大小。此外，在真實場景下，干擾者也許知道所使用的架構(gòu)，但卻忽略了模糊的類型和大小，此場景下的一般攻擊方法的效果會顯著降低。所以，研究者提出了一種新型 spread-spectrum disruption 方法，它能夠規(guī)避灰盒測試場景下不同的模糊防御。

總的而言，盡管 deepfake 圖像生成有很多獨特的地方，但是經(jīng)受過「傳統(tǒng)圖像識別」的對抗攻擊，經(jīng)過修改后就能高效地欺騙 deepfake 模型。

如何攻擊 Deepfake

如果讀者之前了解過對抗攻擊，，那么這篇論文后面描述的方法將更容易理解。總的來說，對于如何攻擊 deepfake 這類模型，研究者表示可以分為一般的圖像轉(zhuǎn)換修改（image translation disruption），他們新提出的條件圖像修改、用于 GAN 的對抗訓(xùn)練技術(shù)和 spread spectrum disruption。

我們可以先看看攻擊的效果，本來沒修改的圖像（沒加對抗噪聲）是可以完成換臉的。但是如果給它們加上對抗噪聲，盡管人眼看不出輸入圖像有什么改變，不過模型已經(jīng)無法根據(jù)這樣的照片完成換臉了。

與對抗攻擊相同，如果我們給圖像加上一些人眼無法識別，但機(jī)器又非常敏感的噪聲，那么依靠這樣的圖像，deepfakes 就會被攻擊到。

目前比較流行的攻擊方法主要是基于梯度和迭代的方法，其它很多優(yōu)秀與先進(jìn)的攻擊方法都基于它們的主要思想。這一類方法的主要思想即希望找到能最大化損失函數(shù)變化的微小擾動，這樣通過給原始輸入加上這一微小擾動，模型就會誤分類為其它類別。

通常簡單的做法是沿反向傳播計算損失函數(shù)對輸入的導(dǎo)數(shù)，并根據(jù)該導(dǎo)數(shù)最大化損失函數(shù)，這樣攻擊者就能找到最優(yōu)的擾動方向，并構(gòu)造對抗樣本欺騙該深度網(wǎng)絡(luò)。

例如早年提出的 Fast Gradient Sign Method（FGSM），如果我們令 x 表示輸入圖像、G 為完成換臉的生成模型、L 為訓(xùn)練神經(jīng)網(wǎng)絡(luò)的損失函數(shù)，那么我們可以在當(dāng)前權(quán)重值的鄰域線性逼近損失函數(shù)，并獲得令生成圖像 G(x) 與原本換臉效果「r」差別最遠(yuǎn)的噪聲η。

FGSM 能通過反向傳播快速計算梯度，并找到令模型損失增加最多的微小擾動 η。其它如基本迭代方法（BIM）會使用較小的步長迭代多次 FGSM，從而獲得效果更好的對抗樣本。如下圖所示將最優(yōu)的擾動 η 加入原輸入 x「人臉」，再用該「人臉」生成 deepfakes 就會存在問題。

還有三種攻擊法

上面只介紹了對抗攻擊最為核心的思想，它在一定程度上確實能夠欺騙 deepfakes，但是要想有好的效果，研究者在論文中提出了三種更完善的攻擊方法。這里只簡要介紹條件圖像修改的思想，更多的細(xì)節(jié)可查閱原論文。

之前添加噪聲是不帶條件的，但很多換臉模型不僅會輸入人臉，同時還會輸入某個類別，這個類別就是條件。如下我們將條件 c 加入到了圖像生成 G(x, c) 中，并希望獲得令損失 L 最大，但又只需修改最小像素 η的情況。

為了解決這一問題，研究者展示了一種新的攻擊方法，它針對條件約束下的圖像轉(zhuǎn)換方法。這種方法能加強(qiáng)攻擊模型遷移到各種類別的能力，例如類別是「笑臉」，那么將它輸入攻擊模型能更好地生成令 deepfakes 失效的人臉。

具體而言，研究者將 I-FGSM 修改為如下：

實驗效果

實驗表明，研究者提出的圖像級 FGSM、 I-FGSM 和基于 PGD 的圖像加噪方法能夠成功地干擾 GANimation、StarGAN、pix2pixHD 和 CycleGAN 等不同的圖像生成架構(gòu)。

為了了解基于 L^2、L^1 度量圖像「修改量」對圖像轉(zhuǎn)換效果的影響，在下圖 3 中，研究者展示了干擾輸出的定性示例以及它們各自的失真度量。

圖 3：L_2 和 L_1 距離之間的等值規(guī)模（equivalence scale）以及 StarGAN 干擾圖像上的定性失真。

對于文中提出的迭代類別可遷移干擾和聯(lián)合類別可遷移干擾，研究者給出了下圖 4 中的定性示例。這些干擾的目的是遷移至 GANimation 的所有動作單元輸入。

圖 4：研究者提出這種攻擊換臉模型的效果。

如上圖所示，a 為原始輸入圖像，它在不加入噪聲下的 GANimation 生成結(jié)果為 b。如果以類別作為約束，使用正確類別后的攻擊效果為 c，而沒有使用正確類別的攻擊效果為 d。后面 e 與 f 分別是研究者提出的迭代類別可遷移攻擊效果、聯(lián)合類別可遷移攻擊效果，它們都可以跨各種類別攻擊到 deepfakes 生成模型。

在灰盒測試的設(shè)置中，干擾者不知道用于預(yù)處理的模糊類型和大小，因此模糊是一種有效抵御對抗性破壞的方式。低幅度的模糊可以使得破壞失效，但同時可以保證圖像轉(zhuǎn)換輸出的質(zhì)量。下圖 5 展示了在 StarGAN 結(jié)構(gòu)中的示例。

圖 5:高斯模糊防御的成功示例。

如果圖像控制器使用模糊來阻擋對抗性干擾，對方可能不知道所使用模糊的類型和大小。下圖 6 展示了該擴(kuò)頻方法在測試圖像中成功實現(xiàn)干擾的比例。

圖 6:不同模糊防御下的不同模糊規(guī)避所造成的圖像干擾比例 (L^2 ≥ 0.05)。

圖 7:對于采用高斯模糊（σ = 1.5）的防御手段，spread-spectrum disruption 方法的效果。第一行展示了最初不針對模糊處理進(jìn)行攻擊的方法；第二行為 spread-spectrum disruption 方法方法，最后一行是 white-box 測試條件下的攻擊效果。