今年，人臉視頻特效在全球又大火特火了一把。年初的「螞蟻牙黑」（人臉唱歌），還有不久前讓老照片動起來的特效，效果都十分驚艷。

風格遷移一直是圖像領域的熱門方向。那么在視頻上做實時人臉畫風遷移效果怎么樣呢？

是這樣的：

當然，視頻畫風遷移并不是什么新鮮技術了。但這項研究最大的特點在于：移動端、實時，由布拉格捷克理工大學和 Snap 公司的研究者聯(lián)合完成。目前已經(jīng)放出了完整論文，相關代碼將于下月發(fā)布。

項目地址：https://ondrejtexler.github.io/faceblit/

論文地址：https://ondrejtexler.github.io/res/faceblit-paper.pdf

具體而言，研究者提出了一種基于實例的實時視頻人臉風格遷移框架 FaceBlit，該框架通過語義上有意義的方式保留了風格的紋理細節(jié)，也就是說，用于描繪特定風格特征的筆畫出現(xiàn)在目標圖像的適當位置。

與以往風格遷移方法相比，該框架不僅保留了目標對象（target subject）的身份，而且不需要大型數(shù)據(jù)集和冗長訓練周期即可實現(xiàn)實時運行。

為此，研究者修改了 Fišer 等人（2017 年）的人臉風格化 pipeline，這樣快速生成一組指引通道（guiding channel），不僅可以保留了目標對象的身份，還兼容 Sýkora 等人（2019 年）的基于 patch 合成算法的速度更快變體。

得益于這些方法上的改進，研究者創(chuàng)建了首個即使在移動端，也可以將單個肖像的藝術風格實時遷移至目標視頻中人臉的系統(tǒng)框架。

完整生成效果詳見以下視頻：

實時視頻人臉風格遷移方法介紹

該研究方法的輸入是人臉的風格范例圖像𝑆以及目標人臉視頻序列 T。研究假設臉部表情的改變以及移動都是基于受試者注視攝像頭，并且不被其他物體遮擋。該研究的輸出是一個風格化的序列𝑂，它保留了𝑆的重要藝術特征，同時保留了目標主體的身份。盡管已經(jīng)可以使用 Fišer 等人 [2017] 的方法產(chǎn)生這種輸出，但這里的一個主要缺點是，他們的方法僅適用于離線處理。

為了實現(xiàn)實時性能，研究者需要改變計算指引通道的方式，并用 Sýkora 等人 [2019] 提出的更快的變體取代 Fišer 等人 [2016] 的基于緩慢 patch 的合成算法。

在 Fišer 等人提出的方法中，四個指引通道用于驅動合成。分割指引𝐺_seg，通過將面部細分為一組區(qū)域（頭發(fā)、眉毛、鼻子、嘴唇、口腔、眼睛和皮膚）來描繪重要的面部特征；位置指引（positional guide）𝐺_pos，對源面部和目標面部之間的空間對應關系進行編碼。這兩個通道確保語義上有意義的遷移。

為了保持目標對象的身份特征，F(xiàn)išer 等人采用了一種外觀指引（appearance guide）𝐺_app 方法，通過使用 Shih 等人的攝影風格遷移方法使源圖像和目標圖像的外觀均衡，從而減少了源圖像和目標圖像之間的域間隙。最后，時間指引𝐺_temp 來執(zhí)行時間一致性，而𝐺_temp 由風格化幀的運動 - 補償版本表示。

由于上述指引通道的計算需要幾十秒的時間，因此在實時場景下使用它們是不容易處理的。相反，該研究將四通道簡化為兩個基本的通道𝐺_pos 和 𝐺_app（圖 2 所示），改變底層生成算法，將準備時間減少到幾十毫秒。最后，該研究演示了如何將這兩個新的指引通道融入到 Sýkora 等人 [2019] 的快速合成算法中。

優(yōu)勢

研究者表示，與其他風格遷移方法相比，生成效果如此好的關鍵在于三個方面：位置指引、外觀指引和直方圖匹配。下圖為有無位置和外觀指引的生成效果圖對比，可以看到在無位置指引或外觀指引的情況下，生成的動態(tài)效果圖都不同程度地存在著瑕疵：

此外，在生成目標外觀指引 G^T_app 時，直方圖匹配也非常重要。從技術上來看，如果不匹配外觀指引的直方圖，則誤差 E 會很快超過閾值 t，這會導致 chunk 明顯變小，結果看起來可能會變得模糊。如下圖 8a 所示，無直方圖匹配時，目標對象的身份無法很好地保留，生成效果比較模糊；而如圖 8b 所示，在進行直方圖均衡化之后，生成效果有了明顯改善，更清晰了。

有無直方圖匹配的動態(tài)生成效果對比如下：

最后，研究者使用一種混合方法，使得目標肖像畫栩栩如生，「復刻」視頻中人臉的各種表情神態(tài)。

神奇的一幕出現(xiàn)了，古雕像畫「活了」：