隨便一張立繪都能生成游戲角色，任意IP快速三維化有新招了！

來自清華大學(xué)和VAST的研究人員聯(lián)合推出了CharacterGen——

一種三維風(fēng)格化人物生成框架。

圖片

具體而言，CharacterGen采用兩階段生成模式，可在1分鐘內(nèi)從單圖生成高質(zhì)量的標(biāo)準(zhǔn)姿態(tài)三維人體。

目前相關(guān)論文已入選計算機(jī)圖形學(xué)頂會SIGGRAPH 2024，且在社區(qū)引發(fā)了熱烈討論。

CharacterGen開源后，已有玩家第一時間將其納入了ComfyUI-3D工作流。

圖片

網(wǎng)友們搓手表示：

迫不及待看到構(gòu)建3D角色工作流更簡單！

圖片

更多詳情接下來一起康康~

1分鐘單圖變3D角色

新框架CharacterGen想做的事兒，是將用戶輸入的復(fù)雜人物圖像轉(zhuǎn)換為標(biāo)準(zhǔn)Pose的三維人物網(wǎng)格。

總體而言，框架可分為如下兩部分：

• 多視角人物圖像生成器。以給定的帶姿勢人物圖作為輸入，通過Diffusion模型生成高度一致性的四視角圖像。
• 三維重建模型。將生成的四視角圖像重建，得到最終的三維人體以及對應(yīng)的粗紋理。

最終，通過紋理投影策略，將多視角圖像投影到重建的粗紋理之中，得到最后的高質(zhì)量三維人物模型。

整個流程可以在A800單卡上1分鐘內(nèi)完成。

并且由于A-pose（人物兩腳并攏，雙手自然下垂，身體直立）的設(shè)置，可以方便地運(yùn)用于下游的各種任務(wù)。

“A-pose”是動畫和3D建模中的一個基準(zhǔn)點，它提供了一個簡單、統(tǒng)一的起點來進(jìn)行后續(xù)的建模和動畫工作。

圖片

為了進(jìn)一步提高擴(kuò)散模型理解3D角色的能力，團(tuán)隊準(zhǔn)備了包含13,746個風(fēng)格化角色主題的Anime3D數(shù)據(jù)集。

而且為了讓多視角人物圖像生成器能學(xué)到足夠的先驗，完成對風(fēng)格化人物的多視角生成和人物的姿勢轉(zhuǎn)換，團(tuán)隊渲染并篩選了組數(shù)據(jù)。

每一組數(shù)據(jù)都包含了多組同一個人物在一個非標(biāo)準(zhǔn)姿勢和標(biāo)準(zhǔn)姿勢下的四視角渲染圖像。

多視角人物圖像生成器

團(tuán)隊采用了Dual-pass的多視角人物圖像生成器。

它不僅能生成四視圖的人物圖像，還能在生成過程中完成姿勢的標(biāo)準(zhǔn)化。

圖片

此外，團(tuán)隊在基本的多視角diffusion模型之外，添加了一個同樣結(jié)構(gòu)的IDUNet來提取輸入人物圖片的特征。

IDUNet逐層提取未加噪的圖像的外表特征，通過Cross-Attention機(jī)制和Base-Diffusion模型中的多視角圖像進(jìn)行Patch-level的交互，使得最終生成的多視角人物具有極高的一致性。

最后，生成器也包含一個布局姿勢指導(dǎo)器Pose Guider，進(jìn)一步為人物的姿勢提供先驗，并且使得生成人物的布局能夠位于圖片正中。

三維重建模型

參考三維重建大模型（LRM），團(tuán)隊設(shè)計了針對四視角輸入圖像的三維重建模型。

團(tuán)隊首先仿照LRM，訓(xùn)練了基于NeRF的重建模型。

為了獲得更好的表面幾何，在訓(xùn)練第二階段使用SDF表達(dá)作為輸出，進(jìn)一步精調(diào)重建模型。

最后，由于重建模型難以獲得高清晰度的紋理，研究團(tuán)隊還引入了紋理投影機(jī)制。

具體而言，通過四視角本身預(yù)設(shè)的相機(jī)參數(shù)，將高質(zhì)量的四視角生成圖片投影到粗紋理圖上，同時使用法向數(shù)值來篩出重疊和邊緣的像素，得到最終的紋理貼圖。

圖片

實驗結(jié)果

研究團(tuán)隊分別從二維多視角圖片質(zhì)量以及三維人物模型質(zhì)量上對方法進(jìn)行了評估。

在二維方法上，研究團(tuán)隊選取了Zero123和SyncDreamer作為Baseline進(jìn)行比較。

結(jié)果顯示，在生成人物圖像的紋理質(zhì)量和外表一致性上，CharacterGen取得了超越之前方法的效果。

圖片

在三維方法上，團(tuán)隊選取了Magic123和ImageDream作為泛用圖像驅(qū)動生成的Baseline，選擇TeCH作為圖像驅(qū)動SMPL生成的Baseline。

實驗表明，CharacterGen生成的標(biāo)準(zhǔn)A-pose姿勢人體能夠避免網(wǎng)格的黏貼問題，并且在紋理和幾何上擁有更高的質(zhì)量。

圖片

此外，團(tuán)隊也在Anime3D的驗證集上，對CharacterGen和Baseline方法進(jìn)行了定量的比較。

評估指標(biāo)包括：

• SSIM和LPIPS指標(biāo)：衡量生成的對應(yīng)視角圖片與ground-truth圖片的相似程度
• FID指標(biāo)：評價風(fēng)格上的一致性
• Chamfer-Distance指標(biāo)：比較生成網(wǎng)格的幾何質(zhì)量

在這些指標(biāo)上，CharacterGen都能獲得更優(yōu)的效果。

圖片

目前相關(guān)論文已公開，感興趣可以進(jìn)一步了解。

此外，研究團(tuán)隊還開源了基于Jittor框架JDiffusion庫的CharacterGen實現(xiàn)（計圖Jittor是清華大學(xué)計算機(jī)系圖形學(xué)實驗室于2020年3月20日發(fā)布并開源的深度學(xué)習(xí)框架）。

計圖Jittor倉庫鏈接：https://github.com/JittorRepos/JDiffusion/tree/master/examples/CharacterGen

項目主頁：https://charactergen.github.io/論文：https://arxiv.org/abs/2402.17214Huggingface Gradio Demo: https://huggingface.co/spaces/VAST-AI/CharacterGenGitHub:https://github.com/zjp-shadow/CharacterGen