3D數字人生成來了！南洋理工提出StructLDM：高質量可控3D生成并支持編輯
三維數字人生成和編輯在數字孿生、元宇宙、游戲、全息通訊等領域有廣泛應用。傳統三維數字人制作往往費時耗力，近年來研究者提出基于三維生成對抗網絡（3D GAN）從 2D 圖像中學習三維數字人，極大提高了數字人制作效率。這些方法往往在一維隱向量空間建模數字人，而一維隱向量無法表征人體的幾何結構和語義信息，因此限制了其生成質量和編輯能力。
針對此問題，南洋理工大學提出了結構化隱空間擴散模型（Structured Latent Diffusion Model）的三維數字人生成新范式 StructLDM， 這是一種從 2D 圖像集合中生成 3D 人體的新范式（與現有的 3D GAN 相比），具有 3 個關鍵設計：
- 結構化 2D 潛在空間；
- 結構化自動解碼器；
- 結構化潛在擴散模型。
StructLDM 生成多樣化的視圖一致的人類，并支持不同級別的可控生成和編輯，例如通過混合從 a) 中選擇的五個部分進行合成生成，以及部分感知編輯，例如身份交換、局部服裝編輯、3D 虛擬試穿等。請注意，生成和編輯與服裝無關，無需服裝類型或面具。
相關鏈接
論文地址：https://arxiv.org/pdf/2404.01241
項目主頁：https://taohuumd.github.io/projects/StructLDM
實驗室主頁：https://www.ntu.edu.sg/s-lab
論文閱讀
StructLDM：用于 3D 人體生成的結構化潛在擴散
摘要
近期，3D 人體生成模型通過從 2D 圖像中學習 3D 感知 GAN 取得了顯著進展。然而，現有的 3D 人體生成方法在緊湊的一維潛在空間中對人體進行建模，忽略了人體拓撲的清晰結構和語義。在本文中，我們探索了用于 3D 人體建模的更具表現力和更高維度的潛在空間，并提出了 StructLDM，這是一種基于擴散的無條件 3D 人體生成模型，該模型是從 2D 圖像中學習的。StructLDM 通過三個關鍵設計解決了由于潛在空間高維增長而帶來的挑戰：
- 在統計人體模板的稠密表面流形上定義的語義結構化潛在空間。
- 一種結構化的 3D 感知自動解碼器，將全局潛在空間分解為幾個語義身體部位，由一組錨定到身體模板的條件結構化局部 NeRF 參數化，它嵌入從 2D 訓練數據中學習到的屬性，可以解碼以呈現不同姿勢和服裝風格下的視圖一致的人類。
- 一種用于生成人體外觀采樣的結構化潛在擴散模型。
大量實驗驗證了 StructLDM 最先進的生成性能，并說明了結構化潛在空間相對于廣為采用的 1D 潛在空間的表現力。值得注意的是，StructLDM 支持不同級別的可控 3D 人體生成和編輯，包括姿勢/視圖/形狀控制，以及高級任務，包括構圖生成、部分感知服裝編輯、3D 虛擬試穿等。
方法
兩階段框架。 在第 1 階段，給定一個包含各種人體主體圖像的訓練數據集，其中包含估計的 SMPL 和相機參數分布，學習自動解碼器以優化每個訓練主體的結構化潛在 z ∈ Z。結構化體積渲染器 G1 和全局風格混合器 (GM) G2 可以將每個潛在渲染成與姿勢和視圖相關的圖像。
在第 2 階段，凍結自動解碼器參數，然后使用學習到的結構化潛在 Z 來訓練潛在擴散模型。在推理時，潛在被隨機采樣并由 G2 ? G1 解碼以進行人體渲染。
StructLDM 支持合成 3D 人體生成和部位感知編輯。從 a) 中選取六個身體部位，可以在 b) 中實現連貫的合成和混合結果。使用 Diff-Render 程序，部位感知編輯可以在 c) 中實現大量下游任務。
效果
在UBCFashion上的不同生成結果
渲染人的不同生成結果
創作生成
UBCFashion上的新穎視角合成
更多結果
結論
我們提出了一種從 2D 圖像集合生成 3D 人體的新范例。 關鍵是結構化的 2D 潛在空間，它可以實現更好的人體建模和 編輯。結構化自動解碼器和潛在擴散模型用于 嵌入和采樣結構化潛在空間。在三個人體數據集上的實驗展示了最先進的性能，定性生成和編輯結果進一步證明了結構化潛在空間的優勢。
局限性。
- 我們從頭開始訓練模型，就像 EVA3D/AG3D/PrimDiff 一樣。缺乏具有準確配準的多樣化自然人體數據集是該領域的一個常見問題。由于規模有限和數據集偏差，多樣性無法與 2D 擴散模型相比。然而，在多樣性方面的表現優于基線 EVA3D 和 AG3D。
- 受自動解碼器訓練的限制，從單視圖 2D 圖像集合中學習具有挑戰性。然而，結構化潛在表示使得從 DeepFashion 上的單幅圖像中自動解碼3D人體成為可能，生成具有合理幾何重建的逼真人體圖像。
