[[422257]]

本文轉(zhuǎn)自雷鋒網(wǎng)，如需轉(zhuǎn)載請(qǐng)至雷鋒網(wǎng)官網(wǎng)申請(qǐng)授權(quán)。

本文是對(duì)發(fā)表于計(jì)算機(jī)視覺領(lǐng)域頂級(jí)會(huì)議ICCV 2021的論文“SynFace: Face Recognition with Synthetic Data” （基于生成數(shù)據(jù)的人臉識(shí)別）的解讀。

該論文由于京東探索研究院聯(lián)合悉尼大學(xué)以及騰訊數(shù)據(jù)平臺(tái)部完成，針對(duì)當(dāng)前用來訓(xùn)練人臉識(shí)別模型的真實(shí)人臉數(shù)據(jù)存在隱私權(quán)限、標(biāo)簽噪聲和長(zhǎng)尾分布等問題，提出利用生成仿真的人臉數(shù)據(jù)來代替真實(shí)數(shù)據(jù)去對(duì)人臉模型進(jìn)行訓(xùn)練。文中通過引入Identity Mixup以及Domain Mixup極大地縮小了生成數(shù)據(jù)訓(xùn)練得到的模型與真實(shí)數(shù)據(jù)得到模型的準(zhǔn)確率差距，并且系統(tǒng)性的分析了訓(xùn)練數(shù)據(jù)中各種特性對(duì)識(shí)別準(zhǔn)確率的影響。

論文鏈接：https://arxiv.org/abs/2108.07960

1

研究背景

近年來，人臉識(shí)別任務(wù)取得了巨大進(jìn)展，其中大規(guī)模人臉訓(xùn)練數(shù)據(jù)集扮演了非常重要的角色。但是由于近期來越發(fā)被重視的隱私問題，即人臉訓(xùn)練數(shù)據(jù)集的使用需要得到該數(shù)據(jù)集所包含的所有人的授權(quán)同意，部分大規(guī)模的數(shù)據(jù)集[1]已經(jīng)從其官網(wǎng)下架，無法再訪問。另外這類從互聯(lián)網(wǎng)上收集而來的數(shù)據(jù)集，還存在標(biāo)簽噪聲以及長(zhǎng)尾分布（即各個(gè)類別所包含的樣本數(shù)量差距很大）等問題，如若沒有妥善地去設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)或者損失函數(shù)，那么必然帶來識(shí)別準(zhǔn)確率的下降。再者這些數(shù)據(jù)沒有人臉具體特性的標(biāo)注（如表情，姿態(tài)，光照條件等），故而使得我們無法去系統(tǒng)性地分析這些因素在人臉識(shí)別里面的具體影響。

2

探索分析

為了解決上述問題，我們準(zhǔn)備引入生成數(shù)據(jù)代替真實(shí)數(shù)據(jù)來進(jìn)行人臉識(shí)別模型的訓(xùn)練。近些年來，基于GAN[2]的生成模型發(fā)展十分迅猛，其生成得到的人臉圖片在某些場(chǎng)景下已經(jīng)可以做到以假亂真的效果，參見圖1。 

圖1：第一行為真實(shí)人臉，第二行則是生成人臉

為了能進(jìn)一步控制生成人臉的各種特性（如身份，表情，姿態(tài)和光照條件），我們采用了DiscoFaceGAN[3]作為基本的生成模型，先與真實(shí)數(shù)據(jù)訓(xùn)練得到的模型進(jìn)行對(duì)比分析。RealFace和SynFace分別代表利用真實(shí)和生成數(shù)據(jù)訓(xùn)練所得到的模型，然后在真實(shí)以及生成的測(cè)試集上進(jìn)行評(píng)估，結(jié)果參見表1。 

表1：對(duì)真實(shí)以及生成數(shù)據(jù)訓(xùn)練得到模型進(jìn)行交叉領(lǐng)域的評(píng)估結(jié)果

由實(shí)驗(yàn)結(jié)果我們可以發(fā)現(xiàn)，兩者之間識(shí)別準(zhǔn)確率的差距是由于真實(shí)數(shù)據(jù)與生成數(shù)據(jù)兩種不同領(lǐng)域的差異造成。通過進(jìn)一步觀察生成的人臉，我們發(fā)現(xiàn)同一類（即同一個(gè)人）中的樣本人臉差異性較小，即類內(nèi)距離較小。我們利用MDS[4]可視化了真實(shí)數(shù)據(jù)與生成數(shù)據(jù)的深度特征，參見圖2中綠色五邊形以及青色三角形。顯而易見，生成數(shù)據(jù)的類內(nèi)距離明顯小于真實(shí)數(shù)據(jù)。 

圖2：真實(shí)數(shù)據(jù)以及三類不同生成數(shù)據(jù)的深度特征可視化

3

方法介紹

Identity Mixup （身份混合）

為了增大生成數(shù)據(jù)的類內(nèi)距離，受到Mixup[5]的啟發(fā)，我們?cè)谏扇四樐Ｐ偷纳矸菹禂?shù)空間引入mixup，即Identity Mixup (IM)，得到Mixup Face Generator。對(duì)于兩個(gè)身份系數(shù)和，我們得到其中間態(tài)（內(nèi)插值）作為一個(gè)新身份系數(shù)，其對(duì)應(yīng)的標(biāo)簽也隨之線性改變，參見公式1。另外我們通過可視化發(fā)現(xiàn)，如此得到的新身份系數(shù)同樣能夠生成高質(zhì)量的人臉圖片，而且其身份信息隨著權(quán)重系數(shù)的變化，逐漸從一個(gè)身份變化到另一個(gè)身份，參見圖3。 

公式1：身份系數(shù)空間的mixup 

圖3：身份隨著Identity Mixup的權(quán)重的改變而平滑過渡

為了驗(yàn)證IM能夠增大生成人臉數(shù)據(jù)的類內(nèi)距離，我們可視化了三種不同程度（通過系數(shù)調(diào)節(jié)）IM后生成人臉的特征（參見圖2）。我們可以看到從青色三角形到藍(lán)色正方形，再到紅色圓圈，它們的類內(nèi)距離是逐漸增大的，相應(yīng)的準(zhǔn)確率也從88.75到89.47再到90.95，充分說明了IM能夠增大類內(nèi)距離從而來提高識(shí)別準(zhǔn)確率。另外從表2也可以看到，加入IM后，識(shí)別準(zhǔn)確率從88.98大幅度提升至91.97。后續(xù)的圖5圖6以及表3的實(shí)驗(yàn)結(jié)果也同樣證明了IM的有效性。

Domain Mixup （領(lǐng)域混合）

為了進(jìn)一步縮小用生成數(shù)據(jù)訓(xùn)練得到模型與真實(shí)數(shù)據(jù)得到模型之間的準(zhǔn)確率差距，我們引入了Domain Mixup（DM）作為一種通用的domain adaptation（領(lǐng)域適應(yīng)）的方法來緩解。具體來說，我們僅利用一小部分帶有標(biāo)注的真實(shí)數(shù)據(jù)加上大規(guī)模的生成數(shù)據(jù)，通過DM的方式來訓(xùn)練模型，DM具體數(shù)學(xué)形式參見公式2，和分別代表生成和真實(shí)的人臉圖片，其對(duì)應(yīng)的標(biāo)簽也隨之線性改變。 

公式2：領(lǐng)域空間的mixup

于是我們利用DM來混合真實(shí)與生成數(shù)據(jù)來進(jìn)行模型訓(xùn)練，與只用真實(shí)數(shù)據(jù)訓(xùn)練模型得到的對(duì)比結(jié)果如表2. 可以觀察得到，我們引入的DM能夠極大且穩(wěn)定地提升在各種不同設(shè)置下的準(zhǔn)確率。 

表2：利用真實(shí)數(shù)據(jù)以及混合數(shù)據(jù)訓(xùn)練得到模型的準(zhǔn)確率

比如最后一組實(shí)驗(yàn)中，95.78相較于91.22的提升非常大。我們推測(cè)這是由于混合小部分真實(shí)數(shù)據(jù)能夠給生成數(shù)據(jù)帶來真實(shí)世界的外觀信息比如模糊和光照等，如此一來縮小了兩個(gè)領(lǐng)域的差異，進(jìn)而提升了準(zhǔn)確率。如果我們繼續(xù)增加真實(shí)數(shù)據(jù)到2K_20，那么準(zhǔn)確率可以從95.78進(jìn)一步提升至97.65。整體流程圖包括Identity Mixup以及Domain Mixup可參見圖4. 

圖4：整個(gè)框架流程圖

4

實(shí)驗(yàn)分析

利用我們得到的Mixup Face Generator，我們可以控制生成人臉的數(shù)量，身份，表情，姿態(tài)以及光照，故而接下來我們來系統(tǒng)性地分析這些因素在人臉識(shí)別任務(wù)中的具體影響。

首先我們來分析長(zhǎng)尾分布的問題，由于真實(shí)人臉數(shù)據(jù)基本都是從互聯(lián)網(wǎng)上收集而來，導(dǎo)致某些類（人）擁有大量樣本，某些類則只有少數(shù)幾個(gè)樣本，這樣不平衡的分布訓(xùn)練得到的模型性能較差。我們控制生成數(shù)據(jù)每個(gè)類別樣本數(shù)量來模擬這一問題，如圖5, 2K_UB1到2K_UB2再到2K_50，它們的分布越來越平衡，可以看出它們對(duì)應(yīng)的準(zhǔn)確率也是逐步上升。通過控制生成數(shù)據(jù)的類別樣本數(shù)量，我們可以天然地避免長(zhǎng)尾分布帶來的問題。此外通過引入Identity Mixup （IM），所有的設(shè)置都得到了大幅度的提升。 

圖5：長(zhǎng)尾分布問題

然后我們?cè)賮硖剿魃蓴?shù)據(jù)集的寬度（即類別數(shù)量）和深度（即類內(nèi)樣本數(shù)量）對(duì)識(shí)別準(zhǔn)確率的影響，參見表3. 可以看到隨著深度和寬度的增加，準(zhǔn)確率都是逐步上升的。但是深度在達(dá)到20之后，準(zhǔn)確率就開始出現(xiàn)飽和。另外我們通過觀察(a)(e)可以看到，它們具有相同數(shù)量的總樣本（50K），但是(a)極大地超過了(e)，差距為4.37，說明了寬度相比深度承擔(dān)了更重要的角色。另外通過引入Identity Mixup （IM），我們可以看到所有的設(shè)置都得到了很大地提升，再次說明了IM的有效性。

表3：生成數(shù)據(jù)集的寬度以及深度探索

最后我們分析了生成人臉各個(gè)特性（即表情，姿態(tài)和光照）的影響，我們通過保持其他特性不變，只改變當(dāng)前探索的特性。比如Expression就是該類內(nèi)保持其他姿態(tài)和光照等不變，只變化表情得到的生成數(shù)據(jù)，它們訓(xùn)練得到的模型準(zhǔn)確率參見圖6. 可以看到什么都不變（Non）和只變表情取得了最差的結(jié)果，這是因?yàn)檫@里生成的表情種類十分有限，基本上是微笑，故而可以等價(jià)成什么都不變。改變姿態(tài)和光照取得了巨大提升，這可能是因?yàn)闇y(cè)試數(shù)據(jù)集中的姿態(tài)和光照變化非常大的緣故。同樣地，引入IM帶來了穩(wěn)定的提升，并且都達(dá)到了相似的準(zhǔn)確率。潛在的原因是IM可以被視作為一種很強(qiáng)的數(shù)據(jù)增強(qiáng)，減少了各個(gè)特性對(duì)最終準(zhǔn)確率的影響。 

圖6：生成人臉不同特性的對(duì)比實(shí)驗(yàn)

5

結(jié)語

在本文中我們探索了如何利用生成仿真的人臉數(shù)據(jù)來有效地訓(xùn)練人臉識(shí)別模型。通過相關(guān)實(shí)驗(yàn)結(jié)果對(duì)比分析，我們提出Identity Mixup來增加生成數(shù)據(jù)的類內(nèi)距離，并引入Domain Mixup進(jìn)一步縮小生成數(shù)據(jù)與真實(shí)數(shù)據(jù)的領(lǐng)域差異，兩者皆大幅度地提升了識(shí)別準(zhǔn)確率，極大地縮小了與真實(shí)數(shù)據(jù)訓(xùn)練所得到模型的差距。此外我們對(duì)于人臉的不同特性進(jìn)行了系統(tǒng)性分析，揭示了訓(xùn)練數(shù)據(jù)集的深度與寬度對(duì)于最終識(shí)別率都有很大影響，隨著兩者的增加，識(shí)別率也會(huì)隨之上升，但是飽和情況會(huì)先出現(xiàn)在深度維度，即說明寬度更為重要。再者就是豐富姿態(tài)和光照的變化能使得生成數(shù)據(jù)更加接近真實(shí)數(shù)據(jù)，從而大幅度提升識(shí)別率。更多實(shí)驗(yàn)結(jié)果分析還請(qǐng)參見原論文。