SIGGRAPH Asia 2025 | OmniPart框架，讓3D內(nèi)容創(chuàng)作像拼搭積木一樣簡單
本文的主要作者來自香港大學、VAST、哈爾濱工業(yè)大學及浙江大學。本文的第一作者為香港大學博士生楊運涵。本文的通訊作者為香港大學劉希慧教授與VAST 公司首席科學家曹炎培博士。
在3D內(nèi)容創(chuàng)作領(lǐng)域，如何像玩樂高一樣，自由生成、編輯和組合對象的各個部件，一直是一個核心挑戰(zhàn)。香港大學、VAST、哈爾濱工業(yè)大學及浙江大學的研究者們聯(lián)手，推出了一個名為 OmniPart 的全新框架，巧妙地解決了這一難題。該研究已被計算機圖形學頂會 SIGGRAPH Asia 2025 接收。
如今，從游戲、VR到數(shù)字孿生，高質(zhì)量的3D世界構(gòu)建變得至關(guān)重要 。盡管現(xiàn)有的AI模型能夠生成令人驚嘆的3D整體形狀，但它們大多是“一體式”的模型，缺乏內(nèi)在的部件結(jié)構(gòu)。這種結(jié)構(gòu)上的不透明性，極大地限制了模型在部件編輯、動畫制作、材質(zhì)分配等關(guān)鍵應(yīng)用中的價值 。
為了破解這一難題，研究者們提出了 OmniPart，一個創(chuàng)新的“部件級別”3D生成框架。它的核心思想是將復(fù)雜的生成任務(wù)解耦為兩個協(xié)同工作的階段：“先規(guī)劃，后生成”，在保證部件之間高度獨立（語義解耦）的同時，也確保它們能完美地組合成一個整體。
- 論文題目：OmniPart: Part-Aware 3D Generation with Semantic Decoupling and Structural Cohesion
- 項目主頁：https://omnipart.github.io/
- 代碼下載：https://github.com/HKU-MMLab/OmniPart
- Huggingface demo: https://huggingface.co/spaces/omnipart/OmniPart
效果展示
OmniPart 以簡單的2D圖像（如圖中畫框所示）和掩碼為輸入，首先通過自回歸模型規(guī)劃出三維部件結(jié)構(gòu)，然后同步生成所有高質(zhì)量、帶紋理的獨立部件（如透明展柜中所示）。這些部件能夠無縫地融合成一個結(jié)構(gòu)協(xié)調(diào)的完整對象，并提供了顯式的部件控制能力，從而極大地增強了后續(xù)的編輯、定制化和動畫制作效果。
方法介紹：兩階段“規(guī)劃-生成”策略
OmniPart 的流程優(yōu)雅而高效，它將復(fù)雜的部件生成任務(wù)分解為兩個核心模塊：可控的結(jié)構(gòu)規(guī)劃（Controllable Structure Planning）和空間感知的部件生成（Spatially-Conditioned Part Synthesis)。
第一階段：基于2D掩碼的結(jié)構(gòu)規(guī)劃
首先，模型需要規(guī)劃出3D對象的部件布局 。OmniPart 采用了一個自回歸Transformer模型，它會根據(jù)輸入的2D圖像，預(yù)測出一系列3D包圍盒（Bounding Boxes），每一個包圍盒都代表一個部件的空間位置和大小。
這里最巧妙的創(chuàng)新在于，用戶可以通過提供簡單、靈活的2D部件掩碼（Part Masks）來直觀地控制部件的分解粒度。這些掩碼無需與3D部件一一對應(yīng)，也無需語義標簽，大大降低了控制的難度。例如，用戶可以決定機器人的手臂和手掌是一個部件還是兩個獨立的部件。
為了確保生成的包圍盒能完整地覆蓋對應(yīng)部件，團隊還引入了一種新穎的“部件覆蓋損失”（Part Coverage Loss），鼓勵模型生成稍大一些的包圍盒，避免部件信息在后續(xù)階段丟失。
第二階段：空間感知的部件生成
有了部件的“空間藍圖”（包圍盒）后，第二階段的任務(wù)就是生成所有高質(zhì)量的3D部件，并確保它們能無縫拼接。
該模塊基于一個強大的預(yù)訓練3D整體生成器（TRELLIS）進行高效微調(diào)。它將所有部件的潛在編碼（latent codes）進行并行聯(lián)合優(yōu)化，而不是孤立地生成每個部件。這種全局與局部信息結(jié)合的去噪過程，確保了最終部件之間的高度一致性。
此外，為了解決部件邊界處體素重疊和噪聲問題，OmniPart 提出了一種新穎的“體素丟棄機制”。該機制能精確判斷每個體素是否真正屬于其分配的部件，從而生成清晰的部件接口，讓組合后的整體更加完美。
實驗效果：質(zhì)量與效率全面領(lǐng)先
- 生成質(zhì)量對比
如下圖所示，與 Part123、PartGen 等現(xiàn)有方法相比，OmniPart 生成的3D部件在幾何細節(jié)、語義準確性和結(jié)構(gòu)一致性上都表現(xiàn)出明顯優(yōu)勢。其他方法或只能生成表面分割，或幾何質(zhì)量較差，而 OmniPart 則能生成結(jié)構(gòu)完整、細節(jié)豐富且能完美組合的獨立部件。
- 生成效率
值得一提的是，OmniPart 的生成效率也實現(xiàn)了大幅提升。相較于需要復(fù)雜多視圖重建流程的 Part123（約15分鐘）和 PartGen（約5分鐘），OmniPart 的統(tǒng)一框架能夠在不到1分鐘（約0.75分鐘）的時間內(nèi)完成從單張圖像到所有3D部件的端到端生成 。
方法 | Part123 | PartGen | OmniPart (Ours) |
時間（分鐘） | ~15 | ~5 | ~0.75 |
- Huggingface demo 展示
豐富的下游應(yīng)用
得益于其出色的部件可控性，OmniPart 自然地支持一系列激動人心的下游應(yīng)用：
- 掩碼控制生成 (Mask-Controlled Generation)：用戶可通過編輯2D掩碼，精確指導3D部件的結(jié)構(gòu)生成。
- 多粒度生成 (Multi-Granularity Generation)：通過調(diào)整掩碼的精細程度，可以生成不同細節(jié)層次的部件組合。
- 材質(zhì)編輯 (Material Editing)：可以對特定部件（如企鵝的帽子、衣服）進行獨立的材質(zhì)或紋理修改。
- 幾何處理 (Geometry Processing)：生成的高質(zhì)量部件有利于后續(xù)的網(wǎng)格重構(gòu)（remeshing）等幾何處理，不會在部件連接處產(chǎn)生偽影。
總結(jié)
OmniPart 框架通過其創(chuàng)新的“規(guī)劃-生成”兩階段流程，并引入靈活的2D掩碼作為引導，成功地實現(xiàn)了高質(zhì)量、可控的部件級3D內(nèi)容生成。它不僅在生成質(zhì)量和效率上樹立了新的標桿，其強大的可編輯性和應(yīng)用潛力也為游戲開發(fā)、動畫制作和虛擬現(xiàn)實等領(lǐng)域鋪平了道路，推動了可解釋、可編輯3D內(nèi)容的創(chuàng)作邊界。
值得一提的是，該團隊近期在3D部件領(lǐng)域已經(jīng)積累了多篇高質(zhì)量的研究成果，形成了系統(tǒng)性的探索。其中包括專注3D部件分割的工作SAMPart3D(https://yhyang-myron.github.io/SAMPart3D-website/)，該研究旨在實現(xiàn)對任意3D物體進行精細化的部件分割。另一項相關(guān)研究HoloPart(https://vast-ai-research.github.io/HoloPart/) 則致力于解決從不完整的表面部件信息（Amodal Segmentation）中生成完整的3D部件幾何。從部件的分割 (SAMPart3D)、補全 (HoloPart) 到如今的生成 (OmniPart)，這些工作共同構(gòu)建了一個圍繞“部件級3D物體”的AIGC技術(shù)矩陣。
