概述

本文將從零開始介紹如何創造并驅動數字人，最后通過AI換臉實現虛擬制片。效果如下：

數字人驅動

換臉憨豆先生

數字人簡介

數字人（Digital Human / Meta Human），是運用數字技術創造出來的、與人類形象接近的數字化人物形象。數字人可簡單的分為 2D 數字人和 3D 數字人。本文使用的數字人是通過 MetaHuman Creator 制作工具生成的 3D 數字人。3D 數字人的驅動方式可簡單的分為真人驅動和模型驅動。本文使用的驅動方式為真人驅動。

AI換臉簡介

AI 換臉指的是通過 AI 人工智能技術把原視頻或圖片的人臉換成其他的人臉。本文使用目前最新的 roop 換臉工具，通過一張照片，把數字人的臉換成憨豆先生。現在比較主流的換臉技術還有 deep facelab 和 SimSwap。

實現

準備工作

首先需要下載虛幻引擎作為數字人的編輯器，下載地址為 https://www.unrealengine.com/zh-CN/download。其次要在虛幻引擎庫中下載 MetaHuman 插件。對于數字人驅動還需要一臺XR級別以上的蘋果手機，下載 Live Link Face app。對于 AI 換臉，需要搭建 Python 環境，具體可按照如下地址搭建：https://github.com/s0md3v/roop。

數字人創建

首先打開虛幻引擎創建一個項目。本文使用的版本的UE5.0。

項目創建

之后導入一個立方體模型，模型下載地址為 https://www.aliyundrive.com/s/bpHH5zCqu33 (模型來自b站UP主修煉自我 https://space.bilibili.com/243808341)。然后選擇一張想做為虛擬人基底的照片導入到UE。本文選擇的是憨豆先生的照片。右鍵點擊基地照片選擇創建材質。

材質創建

然后雙擊立方體模型將生成好的材質拖到材質插槽中。

添加材質

點擊上方編輯->插件，搜索 MetaHuman 插件并勾選。

添加 MetaHuman 插件

添加完插件之后在內容瀏覽器中右鍵->MetaHuman->MetaHuman 本體。

創建 MetaHuman 本體

進入 MetaHuman 本體插件之后，選擇網格體中的組件，將之前的立方體導入。之后移動視角，把立方體的一面正對屏幕。接著依次點擊提升幀->追蹤活動幀。結果如下：

模型關鍵點確認

我們可以通過移動綠色的點矯正人臉關鍵點。確認關鍵點無誤之后點擊右側身體選擇一個合適的模版。最后選擇網格體轉 MetaHuman 上傳模型到 MetaHuman Creator 進行下一步操作。

上傳模型

上傳完畢后，進入到 MetaHuman Creator (https://www.unrealengine.com/zh-CN/MetaHuman)。

MetaHuman Creator

可以看到左側有許多捏臉的設置，可以對我們的模型進行微調。

模型微調

我們的模型在頭頂部分存在異常，原因可能是正面沒有對好，所以我們在自定義網格體選中頭頂調整區域影響，將頭頂恢復正常。

自定義網格體微調

當模型調整完畢后重新返回虛幻引擎，點擊上方快速添加到項目->打開Quixel Bridge->下載模型

模型導入

模型下載

模型下載完畢之后點擊add添加到項目中，并重啟項目。之后將人物模型拖到場景中，模型的位置在 ALL/內容/MetaHumans。

數字人驅動

驅動數字人的方式我們采用真人驅動的方式，使用蘋果手機的攝像頭獲取臉部變形數據，通過 Live Link Face 連接虛幻引擎和手機。首先我們打開 Live Link Face ，模式選擇 Live Link(ARKit)，進入后點擊左上角設置，再點擊流送添加目標，輸入電腦的IP地址。電腦和手機需要在同一個局域網內。之后打開我們的虛幻引擎項目，點擊窗口 -> 虛擬制片 -> Live Link，添加我們的連接。

設置連接

勾選 Live Link

設置完 Live Link 以后，打開內容瀏覽器->MetaHumans->Common->Face->Face_AnimBP 動畫藍圖。之后點擊左下角的動畫圖表，然后在選中 LLink Face Subj，將默認值改為我們的 Live Link 連接。然后點擊左邊頭像的小圓點錄制我們的嘴形動畫。錄制完畢后保存動畫。

Face_AnimBP 動畫藍圖

返回我們的世界主頁添加關卡序列。

添加關卡序列

點擊軌道->Actor到Sequencer->你的虛擬人。把虛擬人添加到關卡序列，然后刪除 Face 中的 Face_ControlBoard_CtrlRig。

關卡序列

然后點擊 Face 的+軌道->動畫->錄制好的動畫。添加完畢后，選擇將此影片渲染為視頻或圖像幀序列。我們選擇 JPG 格式圖像導出，如果使用 AVI 格式導出視頻會在 AI 換臉部分出現問題。

添加動畫

數字人虛擬制片導出

至此我們的數字人虛擬制片已經完成。完成之后，發現自己捏的數字人太丑了，因此我決定再加一步換臉，讓我們的虛擬人變得更加生動。

AI換臉

我們在命令行中打開下載好的 roop 的位置，通過命令 python run.py --execution-provider cuda 啟動 roop 的換臉界面。添加目標選擇憨豆先生的一張照片，再選 target 添加我們生成的 JPG 文件夾，然后關閉 Keep audio，點擊 Start 生成換臉視頻。

roop 界面

圖片

憨豆先生換臉 最后我們就獲得了一個逼真的數字人虛擬制片。

參考文獻

https://github.com/s0md3v/roop https://www.bilibili.com/video/BV1vW4y1k73u/?spm_id_from=333.999.0.0&vd_source=5ac751b411e98660114949ea2d346aa3