牛津&Meta最新！PartGen：基于多視圖擴散模型的多模態部件級3D生成和重建！
文章鏈接：https://arxiv.org/pdf/2412.18608
項目鏈接：?https://silent-chen.github.io/PartGen/
總結速覽
解決的問題
當前的3D生成與掃描技術能夠生成具有高質量形狀和紋理的3D資產，但這些資產通常是單一的、不具備結構的整體表示（如隱式神經場、高斯混合體或網格）。然而，專業應用與創意工作流中需要結構化的3D資產，這些資產由具有獨立意義的部分組成，便于重用、編輯與動畫制作。
提出的方案
本文提出了PartGen，能夠將無結構的3D對象轉化為具有語義意義的組成部分。方法分為兩個關鍵階段：
- 部分分割：通過多視圖擴散模型生成多個視角的一致分割圖，將3D對象分割為多個部分。
- 部分補全與重建：利用第二個多視圖擴散模型補全各部分的遮擋區域，并通過3D重建網絡生成完整的3D部件，確保部件間的無縫整合。
應用的技術
- 多視圖擴散模型：用于生成視角一致的分割圖，并捕捉多種可能的分割方案，符合藝術家分割對象的習慣。
- 生成式補全：通過上下文信息完成遮擋部件，甚至在信息缺失的情況下進行“合理幻覺”，生成完整的不可見部分。
- 3D重建網絡：將補全的視圖轉換為高質量的3D部件，實現模型的整體性和一致性。
達到的效果
- 提升分割與重建質量：相比現有分割與部件提取baseline，PartGen在分割精度和部件完整性上表現出色。
- 多輸入支持：支持從文本、圖像或無結構3D對象生成具有部分結構的3D資產。
- 下游任務應用：支持3D部分編輯任務，例如部件替換、移除、獨立編輯等，滿足動畫制作、游戲開發和機器人應用需求。
- 語義一致性：生成的部件語義清晰，整體結構完整，為3D理解和空間智能提供支持。
方法
PartGen是一個能夠將 3D 對象完全分解為完整 3D 部件的框架。每個部件都是獨立的、可供人類理解的、自包含的元素，組成了 3D 對象的組合表示。PartGen 能夠接受不同的輸入模態（文本提示、圖像提示或 3D 資產），并通過重新利用一個強大的多視角擴散模型來執行部件分割和補全任務。PartGen 的概述如下圖 2 所示。
本節簡要介紹了 3D 生成的多視角擴散模型背景，以及 PartGen 如何應用于文本、圖像或 3D 模型輸入。然后，描述了 PartGen 如何自動分割、補全和重建 3D 部件。
3D 生成的背景
多視角擴散模型方法通常采用兩階段的 3D 生成方法。
多視角部件分割
通過多視角擴散的視角處理 3D 對象分割有以下幾個優勢：
- 它能輕松集成到現有的多視角框架中。
- 將對象分解為部件本質上是一個非確定性、模糊的任務，因為它取決于所需的詳細程度、個人偏好以及藝術意圖。
實現細節
上下文部件補全
部件重建
訓練數據
根據三種需要微調的模型，對數據進行了不同的預處理：
多視角生成器數據
實驗
評估協議
首先分別評估pipeline中的兩個主要組件：部件分割和部件補全與重建。然后，評估分解后的重建結果與原始對象的匹配程度。所有實驗均使用數據集中的 100 個保留對象。
部件分割
評估協議
為分割任務設置了以下兩種場景：
排序列表通過對候選區域評分并移除冗余部分生成。隨后，將這些分割與真實分割Mk進行匹配，并報告平均精度均值（mAP）。
由于問題本身的不確定性，該精度在實際應用中可能較低：算法預測的許多部件可能無法完全匹配特定藝術家的選擇。
Baselines
采用原始的和微調后的 SAM2 作為多視角分割的基線方法，并使用以下兩種方式對 SAM2 進行微調：
- mask解碼器微調：在本文的數據集上使用真實mask和隨機選擇的種子點微調 SAM2 的mask解碼器，針對不同視角進行訓練。
- 多視角拼接微調：將四個正交視角拼接為多視角圖像I，并微調 SAM2 以預測多視角mask M（此情況下，種子點隨機落在某一視角中）。
對于每個輸入圖像和種子點，SAM2 生成三個區域：
- 自動分割：在對象上分布一組查詢點作為種子點，獲得每個種子點的三個不同區域。
- 種子分割：直接返回給定種子點的分割結果。
此外，與最新工作 Part123 進行了比較。
結果
如下表 1 所示，本文的方法在 mAP 指標上的結果顯著高于其他方法，包括微調后的 SAM2。這主要歸因于分割任務的模糊性，基于生成器的方法能夠更好地捕捉這種模糊性。定性結果如下圖 4 所示。
部件補全與重建
對于每個模型，隨機選擇一個部件索引k，以下表示中省略k以簡化符號。
評估協議
如下表 2 所示，本文的方法在性能上大幅超越基線方法。聯合多視角推理和上下文部件補全對取得良好性能至關重要。定性結果見前面圖 5。
部件重組
應用
基于部件的文本到 3D 生成
將 PartGen 應用于基于部件的文本到 3D 生成。訓練的文本到多視角生成器類似于 [76]，接受文本提示作為輸入，輸出四視圖網格。
- 示例中使用了DreamFusion的提示。
- 下圖 6 表明，PartGen 即使在高度遮擋（如橡皮糖熊）等具有挑戰性的情況下，也能有效生成具有清晰和完整部件的 3D 對象。
基于部件的圖像到 3D 生成
進一步擴展 PartGen 到基于部件的圖像到 3D 生成，在文本到多視角生成器的基礎上，通過類似于 [95] 的策略微調生成器以接受圖像作為輸入。上圖 6 的結果表明，PartGen 在這一任務中同樣表現出色。
真實世界 3D 對象分解
PartGen 還可以分解真實世界的 3D 對象。使用 Google Scanned Objects (GSO) 的對象進行實驗。
- 對于每個 GSO 3D 對象，渲染不同視角以獲得圖像網格，并按上述方式應用 PartGen。
- 上圖 6 的最后一行展示了 PartGen 在分解真實世界 3D 對象方面的效果。
3D 部件編輯
展示了分解后的 3D 部件可以通過文本輸入進一步修改。
- 如下圖 7 所示，方法的變體使得能夠基于文本提示有效編輯部件的形狀和紋理。
- 3D 編輯模型的詳細信息見補充材料。
結論
PartGen，一種從文本、圖像或非結構化 3D 對象生成或重建組成性 3D 對象的新方法。PartGen 可以重建即使是僅部分可見或完全不可見的 3D 部件，利用特制的多視角擴散先驗進行引導。還展示了 PartGen 的幾個應用，包括基于文本的部件編輯。這是朝著生成更適用于專業工作流的 3D 資產邁出的重要一步。
本文轉自AI生成未來 ，作者：AI生成未來
