?數(shù)字人建模和動(dòng)畫關(guān)鍵技術(shù)

作者：金小剛 2023-01-12 09:40:28

人工智能機(jī)器學(xué)習(xí)

本文將從圖形角度介紹數(shù)字人建模和動(dòng)畫關(guān)鍵技術(shù)的相關(guān)研究工作，比如人臉建模、頭發(fā)編輯、虛擬服裝等。

導(dǎo)讀：本文將從圖形角度介紹數(shù)字人建模和動(dòng)畫關(guān)鍵技術(shù)的相關(guān)研究工作，比如人臉建模、頭發(fā)編輯、虛擬服裝等，主要包括以下幾大部分內(nèi)容：

人臉肖像編輯和服裝設(shè)計(jì)。
用于睫毛摳圖的數(shù)據(jù)集和基線方法。
基于深度學(xué)習(xí)的寬松衣服實(shí)時(shí)動(dòng)畫。

一、人臉肖像編輯和服裝設(shè)計(jì)

1、數(shù)字化人臉視頻肖像的胖瘦調(diào)整

在 ACM Multimedia2021 上發(fā)表了視頻肖像胖瘦調(diào)整的口頭報(bào)告論文，主要是調(diào)整視頻中人臉的胖瘦，達(dá)到從視覺上看不出明顯修整的自然效果。

2、雙下巴去除

雙下巴去除是發(fā)表在 Siggraph 2021 的論文。人臉編輯中去雙下巴是比較難的，既涉及紋理又涉及幾何。如果所示，第一排是原始的圖像，通過調(diào)節(jié)參數(shù)可以使雙下巴逐漸消失（第二排）。

3、肖像去頭發(fā)

給肖像去頭發(fā)是將給定的照片中人物的頭發(fā)去掉。可以做頭發(fā)的編輯，比如給人物換一套頭發(fā)，如果保留原來的頭發(fā)會(huì)對(duì)合成的結(jié)果產(chǎn)生干擾。在數(shù)字人的三維重建中，如果保留原始頭發(fā)的話，會(huì)對(duì)紋理產(chǎn)生干擾。我們的方法可以獲取沒有頭發(fā)紋理干擾的三維重建結(jié)果。

4、虛擬服裝

這是元宇宙里面的新時(shí)尚，提供一張照片，將虛擬衣服合成到人的身上，可以隨心所欲的穿新衣服。

在可持續(xù)發(fā)展當(dāng)中，時(shí)裝業(yè)存在著大量問題。虛擬服裝提供了一個(gè)很好的解決方案。

比如，左邊是真實(shí)衣服，右邊是虛擬衣服。可以看出，虛擬衣服和真實(shí)衣服是非常相近的。

2022 百度世界大會(huì)中數(shù)字人希加加的衣服模型和動(dòng)畫都是由我們提供的。

二、用于睫毛摳圖的數(shù)據(jù)集和基線方法

1、研究背景

上圖是電影中的數(shù)字人，以及虛擬整容的工作。

我們要研究的是如何構(gòu)建高精度的三維人臉重建方法。一類方法是采集用戶照片，使用 MVS 來重建三維模型，但是這種方法對(duì)睫毛處理效果較差。因?yàn)榻廾糠执嬖趲缀涡畔ⅲ瑫?huì)對(duì)重建造成干擾，眼部區(qū)域不精確。

2、相關(guān)工作：高精度人臉重建

相關(guān)的研究工作非常多，比如人臉幾何和毛發(fā)重建、眼瞼眼球重建等，但是沒有一個(gè)可行方法去準(zhǔn)確地編輯睫毛。

3、圖像摳圖算法與摳圖數(shù)據(jù)集

① 基于三分圖的摳圖方法?

要編輯睫毛，可以使用摳圖把睫毛摳出來，摳圖實(shí)際上是解一個(gè)病態(tài)方程，如下圖所示，這是一個(gè)基于三分圖的自然摳圖示例，能得到很好的結(jié)果。但這個(gè)方法有一個(gè)缺點(diǎn)，需要輸入一個(gè)三分圖，而要構(gòu)建三分圖，是非常困難的。

② 摳圖數(shù)據(jù)集

對(duì)于摳圖數(shù)據(jù)集近幾年工作也很多，比如下圖的 CVPR2009 的一個(gè)數(shù)據(jù)集。

③ 藍(lán)幕摳圖

藍(lán)幕摳圖在電影特效里面用的非常多，通常會(huì)用綠幕或藍(lán)幕，然后通過一些三角測量方法計(jì)算前景蒙版的值。

4、用于睫毛摳圖的數(shù)據(jù)集和基線方法

① 數(shù)據(jù)集合基線方法介紹

我們要解決的是睫毛的摳圖。左邊輸入的是包含眼睫毛的照片，通過摳圖網(wǎng)絡(luò)EyelashNet，把mask的值算出來。

② 研究動(dòng)機(jī)

睫毛區(qū)域存在幾何紋理，在三維重建參數(shù)化的時(shí)候，對(duì)結(jié)果產(chǎn)生很大的干擾，效果非常不好，如果靠美工去修就非常耗時(shí)耗力，所以需要一種方法能自動(dòng)把睫毛摳出來。

③ 主要挑戰(zhàn)

如果人工移除睫毛，很費(fèi)時(shí)費(fèi)力。使用 Gabor 濾波方法，效果也仍然不好。也可以用圖像摳圖方法，但是數(shù)據(jù)集構(gòu)建非常困難。如果使用藍(lán)幕摳圖，睫毛生長在眼瞼上，使得背景圖例如眼瞼和眼皮無法被分離和替換，另外人是會(huì)眨眼的，使得睫毛采集的時(shí)候難以保持靜止，那么想要采集多個(gè)嚴(yán)格對(duì)齊且顏色不同的睫毛是很困難的。

④ 睫毛數(shù)據(jù)采集

我們把睫毛涂上熒光劑，打開UVA閃光燈，就能看到熒光效果，進(jìn)而得到睫毛的分割結(jié)果。但這還是不夠的，還需要進(jìn)一步處理。

⑤ 睫毛蒙版計(jì)算

我們使用上一步獲得的數(shù)據(jù)集作為輸入，用摳圖網(wǎng)絡(luò)去預(yù)測真正的摳圖結(jié)果。但如果只用原始數(shù)據(jù)集，效果也不是很好，而且我們沒有 ground truth。我們設(shè)計(jì)了虛擬合成的方法 Render EyelashNet 進(jìn)行預(yù)熱，再用實(shí)驗(yàn)結(jié)果去預(yù)測得到一個(gè)估計(jì)的結(jié)果，結(jié)合人工，把那些不好的結(jié)果篩選剔除，最終得到了帶有初始蒙版的數(shù)據(jù)集。之后就可以用這個(gè)數(shù)據(jù)集去訓(xùn)練，得到一個(gè)細(xì)化的結(jié)果，細(xì)化的結(jié)果放入數(shù)據(jù)集，再去訓(xùn)練，經(jīng)過迭代最后獲得一個(gè)比較好的數(shù)據(jù)集。

5、睫毛數(shù)據(jù)采集系統(tǒng)

① 采集設(shè)備

我們搭建了一套采集系統(tǒng)，包括 16 個(gè)相機(jī)、365 納米的紫外閃光燈、補(bǔ)光系統(tǒng)等，具體參數(shù)可以參看截圖。

② 睫毛上色和眼部定位

我們邀請(qǐng)了很多浙大的同學(xué)，給睫毛上色圖上熒光劑，人要保持不動(dòng)，然后使用激光定位眼部。

打開和關(guān)閉紫外閃光燈的結(jié)果對(duì)比：

③ 矯正對(duì)齊

理想的情況下輸入的兩個(gè)對(duì)照?qǐng)D是沒有偏移的，但是人的眼皮很容易動(dòng)的，會(huì)有偏差，我們使用FlowNet2得到一個(gè)光流場，使用光流場結(jié)果對(duì)熒光睫毛進(jìn)行偏移矯正，進(jìn)而得到一個(gè)嚴(yán)格對(duì)齊的圖片，這樣就獲得了分割結(jié)果。

6、推理階段

① GCA 網(wǎng)絡(luò)

推理階段我們主要用的發(fā)表于 2020 年 AAAI 的 GCA 網(wǎng)絡(luò)。

GCA 網(wǎng)絡(luò)的輸入是 RGB 圖像和一個(gè)三分圖，輸出是睫毛蒙版，我們前面的分割結(jié)果可以作為初始的三分圖結(jié)果，從而解決了睫毛三分圖的人工構(gòu)建困難的問題。

② 蒙版推理網(wǎng)絡(luò)

這里把三分圖換為睫毛遮罩圖像和原 RGB 圖像作為輸入，通過漸進(jìn)式訓(xùn)練的方式，結(jié)合 RenderEyelashNet 訓(xùn)練預(yù)熱網(wǎng)絡(luò)，得到一個(gè)蒙版結(jié)果，然后把這個(gè)結(jié)果再加入到輸入作為訓(xùn)練集，通過人工篩選得到視覺上正確的睫毛摳圖數(shù)據(jù)集，這樣既有虛擬數(shù)據(jù)也有真實(shí)數(shù)據(jù)。用這個(gè)數(shù)據(jù)集再去訓(xùn)練和推理，最后得到預(yù)測版的睫毛蒙版。然后再放入訓(xùn)練集，再迭代，通常兩次就能打到所期望的結(jié)果。

③ 人工選擇

使用再先進(jìn)的軟硬設(shè)備也無法保證睫毛采集的準(zhǔn)確性，我們通過人工選擇把一些不好的結(jié)果去掉，確保訓(xùn)練數(shù)據(jù)的準(zhǔn)確性。

④ 基線網(wǎng)絡(luò)

訓(xùn)練好基線網(wǎng)絡(luò)后，輸入一張圖片進(jìn)行測試，得到比較好的結(jié)果。對(duì)于未知的圖像，我們并不知道它的三分圖是怎樣的，我們直接輸入一個(gè)灰度圖，一樣可以得到很好的睫毛預(yù)測結(jié)果。

7、數(shù)據(jù)集

① 訓(xùn)練數(shù)據(jù)集

我們對(duì) 12 個(gè)眼睛表情和 15 個(gè)視圖進(jìn)行睫毛數(shù)據(jù)的捕捉。

② 測試數(shù)據(jù)集

為了驗(yàn)證我們的方法，在測試的時(shí)候，既使用了我們自己采集的數(shù)據(jù)，同時(shí)也使用了互聯(lián)網(wǎng)上的一些圖片數(shù)據(jù)。

我們通過漸進(jìn)式迭代兩次后，得到的結(jié)果已經(jīng)非常好了，和真值比較接近。

③ 方法對(duì)比

我們和目前最好的幾種方法做了對(duì)比，不管是視覺上還是定量上，我們的方法都顯著地好過以前的方法。

④ 消融實(shí)驗(yàn)

我們也做了消融實(shí)驗(yàn)，驗(yàn)證我們的方法各個(gè)部分是不可或缺的。

⑤ 結(jié)果展示

我們用了互聯(lián)網(wǎng)上的一些照片進(jìn)行驗(yàn)證，這些照片是沒有 Ground Truth 的。但對(duì)于這些照片，我們的方法仍然能計(jì)算出比較好的睫毛摳圖結(jié)果。

⑥ 應(yīng)用

我們與騰訊 NEXT 工作室合作，把該方法用于高精度三維人臉重建，睫毛區(qū)域已經(jīng)高度逼真。

另外一個(gè)應(yīng)用是睫毛的美化編輯。獲得睫毛后，可以改變其顏色或把睫毛變長。但這個(gè)方法應(yīng)用在戴眼鏡、光線強(qiáng)弱明顯的地方，結(jié)果會(huì)有偏差。

8、總結(jié)

我們提出了 EyelashNet，這是第一個(gè)高質(zhì)量的睫毛摳圖數(shù)據(jù)集，包含 5400 個(gè)高質(zhì)量捕獲的睫毛摳圖數(shù)據(jù)和 5272 個(gè)虛擬睫毛摳圖數(shù)據(jù)。

我們提出了一個(gè)專門設(shè)計(jì)的熒光標(biāo)記系統(tǒng)來捕捉高質(zhì)量睫毛圖像和遮罩。

我們的方法在睫毛摳圖上實(shí)現(xiàn)了當(dāng)前最先進(jìn)的性能。

三、基于深度學(xué)習(xí)的寬松衣服實(shí)時(shí)動(dòng)畫

這項(xiàng)工作是為了模擬寬松衣服。我們和馬里蘭大學(xué)、騰訊 NEXT 工作室合作，相關(guān)論文發(fā)表在 Siggraph2022 上。這個(gè)工作提出基于深度學(xué)習(xí)的寬松衣服實(shí)時(shí)預(yù)測方法，可以很好地處理大幅度動(dòng)作，并支持可變的模擬參數(shù)。

1、虛擬骨骼

這項(xiàng)工作的一項(xiàng)核心技術(shù)是虛擬骨骼，這是一組使用剛性變換與線性混合模擬方法控制服裝變形的模擬骨骼。利用虛擬骨骼，我們可以高效地模擬寬松服裝的復(fù)雜形變，而且這些骨骼可以作為輸入，引導(dǎo)服裝細(xì)節(jié)的生成。

2、工作背景

讓服裝動(dòng)起來一般有兩類方法，一種是物理方法，這種方法計(jì)算起來費(fèi)資源；另一種方法是數(shù)據(jù)驅(qū)動(dòng)的，它通過從真實(shí)的數(shù)據(jù)中學(xué)習(xí)并去驅(qū)動(dòng)，這種方法相對(duì)較快，有著很好的性能。

近幾年，機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的方法越來越多，但這些方法，要么是預(yù)測靜態(tài)情況下的服裝形變，要么是預(yù)測緊身衣服的動(dòng)態(tài)形變。但實(shí)際上，像裙子之類的很多服裝都是寬松的，盡管有些方法能預(yù)測寬松衣服形變，但對(duì)于大幅度動(dòng)作的形變預(yù)測不太好。而且目前方法都無法支持可變參數(shù)的。

3、研究貢獻(xiàn)

我們的研究主要有兩點(diǎn)貢獻(xiàn)，第一個(gè)是使用深度學(xué)習(xí)方法預(yù)測寬松衣服的復(fù)雜形變，我們將服裝形變拆解為兩部分——低頻部分和高頻部分。使用虛擬骨骼表示低頻部分的形變，并使用它來推斷高頻部分；第二個(gè)貢獻(xiàn)是使用身體的動(dòng)作結(jié)合物理模擬參數(shù)作為輸入，使用該方法處理兩種輸入的異質(zhì)性。

4、概要描述

① 虛擬骨骼生成方法

先使用模擬方法得到一個(gè) ground truth 的訓(xùn)練集，對(duì)這些訓(xùn)練集做拉普拉斯順滑處理，得到低頻的 Mesh，然后做 Skin Decomposition 處理，得到虛擬骨骼和權(quán)值。

② 運(yùn)動(dòng)網(wǎng)絡(luò)

通過身體的運(yùn)動(dòng)序列得到虛擬骨骼的運(yùn)動(dòng)序列，通過運(yùn)動(dòng)網(wǎng)絡(luò)預(yù)測低頻形變信息，使用低頻的信息預(yù)測高頻的信息，最后得到模擬結(jié)果（最右邊圖形）。

③ 模擬參數(shù)變量

我們想要針對(duì)不同參數(shù)變量都能做評(píng)估，通過 RBF 網(wǎng)絡(luò)預(yù)測出我們沒看到的模擬參數(shù)結(jié)果，這樣就能使用一套網(wǎng)絡(luò)即使參數(shù)不同也能做預(yù)測。

5、方法

① 數(shù)據(jù)準(zhǔn)備

首先要生成真值數(shù)據(jù)，我們使用 Houdini Vellum Solver 解算器，大約模擬了四萬幀的動(dòng)畫。我們沒有采用真人的動(dòng)捕結(jié)果，而是采用了網(wǎng)絡(luò)的視頻動(dòng)作。這是因?yàn)槲覀兿ＭM大幅度動(dòng)作，但真人的動(dòng)作其動(dòng)作比較小。

② Skin Decomposition

低頻形變序列我們使用蒙皮分解來獲取虛擬骨骼，得到結(jié)果是一個(gè)線性混合蒙皮的模型，這個(gè)模型包括一個(gè) Rest Pose 和每根骨骼對(duì)應(yīng)的蒙皮權(quán)重。還得到了每一幀虛擬骨骼的平移和旋轉(zhuǎn)。虛擬骨骼沒有層次關(guān)系，沒有父骨骼和子骨骼這樣的關(guān)系，而且每個(gè)骨骼有自己的旋轉(zhuǎn)和平移。

另外，虛擬骨骼是沒有真正的現(xiàn)實(shí)意義的，虛擬骨骼是每個(gè)特定動(dòng)畫中獲取的。我們使用 Motion Network 處理身體的輸入，每個(gè)網(wǎng)絡(luò)對(duì)應(yīng)不同的身體模擬參數(shù)，輸入只有關(guān)節(jié)的旋轉(zhuǎn)和角色的平移，輸出是對(duì)應(yīng)物理參數(shù)的 Mesh 推斷結(jié)果。

③ 動(dòng)作網(wǎng)絡(luò)

動(dòng)作網(wǎng)絡(luò)依次推斷低頻和高頻部分。

低頻模塊

低頻部分使用循環(huán)神經(jīng)網(wǎng)絡(luò) GRU 將輸入的身體動(dòng)作轉(zhuǎn)換為虛擬骨骼的旋轉(zhuǎn)和平移，使用循環(huán)神經(jīng)網(wǎng)絡(luò)有個(gè)好處是能夠獲得之前幀的信息，這樣更好捕獲動(dòng)態(tài)效果，低頻形變可以用虛擬骨骼線性混合蒙皮來獲取。

高頻模塊

動(dòng)作網(wǎng)絡(luò)可以用來預(yù)測高頻部分，一個(gè)是 GRU 獲取高頻特征，一個(gè)是 GNN 獲得低頻部分特征，把兩部分特征通過 MLP 來得到高頻信息。將高頻和低頻結(jié)果相加后得到最終結(jié)果。

RBF 神經(jīng)網(wǎng)絡(luò)

為了處理物理模擬參數(shù)輸入，我們訓(xùn)練了很多個(gè)不同動(dòng)作的 Motion Network，相同動(dòng)作的輸出對(duì)應(yīng)的參數(shù)模擬結(jié)果，我們使用RBF神經(jīng)網(wǎng)絡(luò)把這些結(jié)果加起來，加權(quán)系數(shù)取決于模擬參數(shù)和對(duì)應(yīng)網(wǎng)絡(luò)的模擬參數(shù)的距離，并在計(jì)算距離之前使用多層感知機(jī)將參數(shù)投影到一個(gè)空間里。

6、結(jié)果

在實(shí)時(shí)模擬時(shí)，在不改變模擬參數(shù)的情況下，寬松衣服都可以模擬得非常好。

結(jié)果表現(xiàn)

左側(cè)的模擬結(jié)果和 ground Truth 是非常接近的，右側(cè)是處理可變參數(shù)的。

另外一個(gè)問題是如何選取虛擬骨骼的數(shù)目。我們實(shí)驗(yàn)發(fā)現(xiàn)，對(duì)于低頻部分，數(shù)目太少效果不好，太多也沒多大幫助，80 是比較好的結(jié)果。但對(duì)于高頻部分，虛擬骨骼的數(shù)目是越多越好，這樣可更好地表現(xiàn)細(xì)節(jié)。

虛擬骨骼數(shù)量

提升寬松部分

寬松是指衣服離人體的距離，紅色部分表示更遠(yuǎn)，藍(lán)色表示緊身部分，可以看出我們的結(jié)果（最右側(cè)）更好。

這是低頻和高頻情況下和真值的對(duì)比圖，我們的方法和 ground truth 更接近。

定性對(duì)比結(jié)果

從視覺上看不同方法的對(duì)比，我們的效果雖然和 ground truth 有一點(diǎn)點(diǎn)差異，但相對(duì)更好，不管高頻還是低頻部分，都比較接近。

定量對(duì)比結(jié)果

同時(shí)也做了定量的分析，例如 RMSE、STED 等指標(biāo)，結(jié)果顯示明顯好于以前的方法，即使對(duì)于緊身衣服和傳統(tǒng)方法也相當(dāng)。

RBF 消融實(shí)驗(yàn)

我們通過 RBF 網(wǎng)絡(luò)做了一個(gè)消融實(shí)驗(yàn)來驗(yàn)證我們的方法。

7、未來展望和總結(jié)

在動(dòng)作非常大的情況下，模擬結(jié)果上的腿可能穿過衣服，這是因?yàn)榕鲎脖苊馐峭ㄟ^能量網(wǎng)絡(luò)加進(jìn)去的，以后也可以采用其他 skinning method 獲得更好的結(jié)果。

高精度人臉重建和動(dòng)畫在很多應(yīng)用中很重要，比如游戲、虛擬人、元宇宙，都需要實(shí)時(shí)的處理，也是一個(gè)很大的挑戰(zhàn)。另外服裝覆蓋了人體 80% 以上，也是數(shù)字人重要的組成部分。在圖形應(yīng)用中，近距離我們可能比較關(guān)注人臉，但距離稍微遠(yuǎn)一點(diǎn)，我們更關(guān)注服裝。我覺得以后的發(fā)展方向是使用低成本方法構(gòu)建高度逼真、實(shí)時(shí)的數(shù)字人應(yīng)用。