文章鏈接：https://arxiv.org/pdf/2505.07747 
Git鏈接：https://github.com/stepfun-ai/Step1X-3D 

亮點直擊

• 提出了一套全面的數據治理流程，該流程在提升生成保真度的同時，深入解析了3D資產特性。
• 提出了Step1X-3D，一個原生3D生成框架，實現了幾何與紋理合成的解耦。該框架能夠生成拓撲結構合理的網格和幾何對齊的紋理，并通過圖像與語義輸入增強可控性。完整框架——包括基礎模型、訓練代碼和基于LoRA的適配模塊——將被開源以促進3D研究社區的發展。
• Step1X-3D在資產質量上超越了現有開源3D生成方法，同時達到了與專有前沿解決方案相媲美的性能。

總結速覽

解決的問題

• 數據稀缺性：現有開源3D數據集（如ShapeNet、Objaverse）規模有限或質量參差不齊，制約3D生成模型的訓練效果。
• 算法局限性：3D生成涉及幾何（Geometry）和紋理（Texture）的復雜耦合，現有方法在細節保留、跨視角一致性等方面表現不足。
• 生態碎片化：開源模型（如Trellis）泛化性差，商業模型（如Hunyuan3D）未開放訓練代碼，限制了可復現性和可控生成。

提出的方案

• 高質量數據集構建：

• 從500萬原始資產中篩選，構建200萬高質量3D數據集（含80萬公開子集），標準化幾何與紋理屬性。
• 通過紋理分辨率、法線貼圖精度、水密性（watertight）檢測等指標嚴格過濾。

• 兩階段生成架構：
• 幾何生成：混合VAE-DiT模型生成TSDF（截斷符號距離函數），結合感知器編碼（perceiver）和銳邊采樣保留細節。
• 紋理合成：基于SD-XL微調的多視角擴散模型，通過幾何條件約束和隱空間同步確保跨視角一致性。
• 開源生態支持：
• 完整開源模型、訓練代碼及適配模塊（如支持2D控制技術LoRA遷移至3D生成）。

應用的技術

• 幾何生成：

• 混合VAE-DiT：3D感知器編碼壓縮點云至隱空間，MMDiT（FLUX架構）作為擴散主干。
• 細節保留：銳邊采樣（sharp edge sampling）和DoRA雙交叉注意力機制。

• 紋理合成：
• 多視角擴散模型：輸入幾何渲染圖（法線/位置圖）約束生成一致性。
• 隱空間同步：在去噪過程中對齊多視角隱變量，解決遮擋問題。
• 后處理：Trimesh修復網格拓撲，xAtlas進行UV參數化。
• 2D-3D協同：支持2D控制技術（如LoRA）直接遷移至3D生成。

達到的效果

• 性能提升：

• 幾何與紋理生成質量超越開源基線（如Trellis），媲美商業方案（Tripo、Rodin）。
• 基準測試顯示SOTA結果，尤其在細節保留和視角一致性上表現突出。

• 可控性：
• 支持單視角條件生成，兼容2D適配技術（如LoRA），實現細粒度控制。
• 生態貢獻：
• 開源數據集、訓練框架及適配工具，推動3D生成研究的可復現性。

Step1X-3D幾何生成

Step1X-3D是一種基于流的擴散模型，旨在從圖像生成高保真3D形狀，并支持包括文本和語義標簽在內的多模態條件輸入。所提出的幾何生成模型建立在先前的隱空間集擴散模型（如Shape2VecSet、CLAY、Michelangelo和Craftsman3D）的基礎上，利用帶有修正流的隱空間集擴散框架進行3D形狀生成。

Step1X-3D的Pipeline

本節首先介紹數據治理方法以進行預處理。接著詳細描述形狀VAE和擴散模型組件的架構設計。此外，受CLAY方法的啟發，提出了針對3D生成的LoRA 生態系統的適配方案。所有訓練代碼和采樣數據將公開提供，以支持研究和社區發展。

幾何數據清理

近年來，多個大規模開源3D數據集相繼出現，包括Objaverse、Objaverse-XL、ABO、3D-FUTURE、ShapeNet等，這些數據集總計包含超過1000萬個3D資產。然而，由于這些數據大多來源于網絡（尤其是龐大的Objaverse-XL數據集），其質量參差不齊。為確保數據適合訓練，本文實施了一套全面的3D數據處理流程，通過徹底的預處理來篩選高質量、大規模的訓練數據集。

流程包含三個主要階段。首先，通過剔除紋理質量差、法線錯誤、透明材質或單一表面的資產來過濾低質量數據。其次，將非水密網格轉換為水密表示，以實現正確的幾何監督。第三，在表面上均勻采樣點及其法線，為VAE和擴散模型訓練提供全面的覆蓋。通過這一全面的數據處理流程，從多個來源成功篩選出約200萬個高質量3D資產：從原始Objaverse數據集中提取32萬個有效樣本，從Objaverse-XL中額外獲取48萬個樣本，并結合來自ABO、3D-FUTURE以及部分內部創建數據的精選數據。

數據過濾完整的數據過濾流程如下圖3(a)所示。

• 紋理質量過濾：為每個3D模型渲染6張標準視角的反照率貼圖。這些渲染圖像隨后轉換為HSV色彩空間進行分析。對于每個視角，計算色調（H）和明度（V）通道的直方圖。基于這些直方圖，過濾掉過暗、過亮或顏色過于均勻的紋理。接著計算這6個視角的感知分數并據此排序，剔除排名最低的20%樣本。
• 單一表面過濾：渲染6張標準視角的規范坐標圖（CCM）以檢測單一表面幾何。檢查相對視角上的對應像素是否映射到相同的3D點。如果此類像素匹配的比例超過閾值，則該物體被歸類為單一表面。
• 小物體過濾：過濾掉目標物體在前視圖中占據面積過小的數據。這發生在兩種情況下：物體方向不當（例如仰臥的人體在前視圖中僅可見腳部），或多物體場景中經過歸一化后物體過小。計算前視圖中有效alpha通道像素的百分比，并剔除覆蓋率低于10%的樣本。
• 透明物體過濾：排除具有透明材質的物體，因為這些物體通常使用alpha通道平面建模（例如樹葉）。這些透明表面會導致渲染的RGB圖像與實際幾何之間的不對齊，從而對模型訓練產生負面影響。本文的過濾方法檢測并剔除Principled BSDF著色器中包含alpha通道的資產。
• 錯誤法線過濾：識別并剔除法線錯誤的數據，否則這些數據會在水密轉換過程中產生孔洞。本文的方法在相機空間中渲染6視角法線貼圖，并通過檢查法線向量是否與對應相機位置形成鈍角來檢測錯誤法線。
• 名稱和網格類型過濾：通過名稱或網格類型過濾掉標記為點云的數據，因為這些掃描數據集通常包含噪聲幾何且難以轉換為水密網格。

增強的網格到SDF轉換

訓練數據轉換

Step1X-3D形狀生成

與2D圖像生成類似，Step1X-3D形狀生成模塊由一個形狀自動編碼器和一個Rectified Flow Transformer組成。對于采樣的點云P，首先使用形狀隱空間集自動編碼器將其壓縮為一維張量，然后通過受Flux啟發的一維Rectified Flow Transformer訓練擴散模型。我們還支持LoRA等附加組件以增強靈活性。

3D形狀變分自動編碼器

隱空間擴散模型（LDM）的成功證明，緊湊、高效且表達能力強的表示對于訓練擴散模型至關重要。因此，我們首先將3D形狀編碼到隱空間，然后訓練一個3D隱空間擴散模型用于3D生成。遵循3DShape2VecSet的設計，本文采用潛在向量集表示將點云編碼到隱空間，并將其解碼為幾何函數（例如符號距離場或占據場）。為了提高可擴展性，采用了近期工作[29, 95]中基于Transformer的編碼器-解碼器架構。此外，還結合了Dora提出的Sharp Edge Sampling和Dual Cross Attention技術以增強幾何細節保留。

Step1X-3D擴散主干網絡

基于文本到圖像擴散模型FLUX的先進架構，采用相同MMDiT結構但適配1D隱空間處理（下圖4）。雙流塊中隱空間token與條件token通過獨立QKV投影和MLP處理，但仍通過交叉注意力交互；單流塊則合并兩類token并采用并行空間/通道注意力機制聯合處理。這種混合架構在保持跨模態交互效率的同時實現靈活特征學習。由于ShapeVAE的隱空間集表示缺乏顯式空間對應關系，移除了隱空間集S的位置編碼，僅保留時間步嵌入進行調制。對于單圖像條件生成，采用帶registers的DINOv2大型圖像編碼器，從預處理后的518×518分辨率圖像（背景去除/物體居中/白底填充）提取條件token，并拼接CLIP-ViT-L/14特征以融合語義與全局特征，最終通過并行交叉注意力機制注入各流塊。

更靈活的3D生成控制

基于VAE+D擴散框架的結構優勢（與文本到圖像架構兼容），實現了2D可控生成技術（如ControlNet、IP-Adapter）與LoRA等高效參數適配方法向3D網格合成的遷移。參考CLAY的ControlNet-UNet組合探索，在Step1x-3D框架系統化實現這些控制機制。為高效引入條件信號，可采用ControlNet式條件分支或LoRA：當前開源階段通過標簽幾何屬性（對稱性/細節層次）訓練LoRA模塊實現輕量化域適應，該模塊僅作用于條件分支。后續計劃擴展骨架/邊界框/標題/IP圖像等條件微調。

訓練Rectified Flow模型

其中c表示條件信號，采用自適應時間步加權方案。為進一步穩定訓練，引入了指數移動平均（EMA）策略，衰減率為0.999，以平滑參數更新。訓練分為兩個階段：初始階段為了快速收斂，使用512的隱空間集大小、1e-4的學習率，在96塊NVIDIA A800 GPU上以1920的批量大小進行100k次迭代；隨后為提升模型容量和精度，將隱空間集大小擴展至2048，學習率降至5e-5，批量大小減半至960再進行100k次迭代，確保在高維數據空間中魯棒適應的同時保持計算效率。

Step1X-3D紋理生成

通過Step1X-3D框架生成未貼圖的3D幾何后，紋理合成通過多階段流水線完成（如圖5）。首先對原始幾何進行后處理以保證拓撲一致性和結構完整性；接著準備紋理生成所需的3D資產；然后基于高質量3D數據集微調多視角圖像生成模型，通過法線和位置圖引入幾何引導；最后將生成的多視角圖像超分辨率至2048×2048再進行UV烘焙，并通過修復完成紋理貼圖。

幾何后處理

為實現高保真紋理貼圖，對幾何生成流程輸出的網格進行后處理。優化過程主要使用trimesh工具包：首先驗證初始網格的密閉性，檢測到非流形幾何時實施孔洞填充算法；隨后執行重網格化操作，將每個三角面細分為四個子面并施加拉普拉斯表面平滑約束，該過程確保拓撲均勻分布并最小化UV接縫瑕疵；最后利用xAtlas參數化框架生成優化UV坐標并集成到最終網格表示中。此系統化優化流程為后續紋理映射提供幾何魯棒性保障。

紋理數據集準備

相比幾何生成，紋理生成組件不需要百萬級訓練樣本，但對紋理質量和美學指標要求更高。基于清洗后的320K Objaverse數據集，進一步篩選30K 3D資產用于多視角生成模型訓練。具體使用Blender渲染每個對象的六視角（前、后、左、右、頂、底）圖像，同步輸出768×768分辨率的反照率、法線圖和位置圖。

幾何引導的多視角圖像生成

幾何引導的生成

為上述未貼圖3D網格生成合理精細的紋理，在多視角生成過程中除單視角輸入條件外，通過注入幾何信息以增強細節合成及紋理與網格表面的對齊精度。具體引入兩類幾何引導：法線圖和3D位置圖。法線圖保留物體細粒度幾何細節，3D位置圖則通過全局世界坐標系下的三維坐標一致性確保不同視角間紋理與網格頂點的空間對應關系。這些幾何特征經圖像編碼器編碼后，通過交叉注意力機制注入主干生成模型，在保持生成模型感知連貫紋理能力的同時實現顯式幾何條件控制。

紋理域的多視角同步

盡管跨視角注意力和雙重幾何條件項已實現令人滿意的多視角一致性，但圖像空間與UV空間的本征差異仍會導致合成紋理出現局部模糊和接縫不連續等問題。為此在推理階段擴展MV-Adapter框架，引入紋理空間同步模塊。不同于MVPaint和SyncMVD等文本到多視角方案——它們回避了輸入條件圖像與輸出多視角圖像間風格參考(sref)和內容參考(cref)的顯式建模——本文的方法無需輔助精煉管線（如帶ControlNet的Stable Diffusion）即可實現多視角同步。該設計基于兩點考量：1）生成器在96×96潛在分辨率下運行，經驗證已具備充足紋理表征能力；2）統一隱空間中的聯合優化天然保持跨視角紋理連貫性。因此我們僅通過單一擴散模型主干內的隱空間對齊實現紋理同步，在保證視覺保真度的同時提升參數效率。

紋理烘焙

遵循傳統紋理烘焙流程，本文對物體的多視角投影實施標準紋理處理操作，并復用Hunyuan3D 2.0的紋理烘焙工具。首先將多視角圖像超分辨率至2048×2048，隨后逆投影至紋理空間。由于遮擋和多視角不一致性，該過程不可避免會引入UV映射紋理中的斷裂和孔洞等偽影。為此，通過迭代優化實現連續性感知的紋理修復，確保整個表面無縫的紋理合成。此后處理階段有效解決了拓撲歧義性，同時保留了光真實感渲染所需的高頻紋理細節。

實驗

本節全面評估Step1X-3D的生成性能。首先詳細展示其基于單張輸入圖像生成幾何與紋理的能力；接著驗證模型的靈活性與可控性；最后將Step1X-3D與開源（Trellis、Hunyuan3D 2.0、TripoSG）和商用方案（Meshy-4、Tripo-v2.5、Rodin-v1.5）在定量指標、用戶研究和視覺質量三個維度進行系統對比。

Step1X-3D生成資產的視覺質量

為評估Step1X-3D，圖6和圖7分別展示幾何與紋理維度的生成結果。為突出幾何細節，渲染生成網格的多視角法線圖進行3D幾何可視化。如下圖6所示，第1、6列為輸入圖像，其余列為不同物體的多視角表現。測試對象涵蓋多種風格（卡通、素描、照片級）、幾何復雜度（平面、空心結構、細節豐富物體）和空間配置（單物體與多物體組合）。面對多樣化輸入，Step1X-3D幾何生成模型不僅保持3D網格與輸入圖像的高度相似性，還能為遮擋區域重建合理的空間結構與幾何細節。這些結果證明了我們專門設計的3D擴散模型與VAE架構的關鍵作用，以及大規模高質量訓練數據對泛化能力的顯著提升。

下圖7進一步通過帶紋理3D網格的多視角渲染展示紋理生成能力。紋理生成模型在各類輸入風格下產出風格一致的紋理，同時高度還原輸入圖像的紋理細節。對于輸入圖像的遮擋區域，通過保留SD-XL原始參數并引入目標模型法線圖與位置圖作為幾何引導，Step1X-3D實現了具有優秀多視角一致性和精準幾何-紋理對齊的合理視角補全。綜上，Step1X-3D生成的3D幾何兼具合理性與豐富紋理，最終帶紋理網格在內容與風格上與輸入條件圖像高度匹配。

基于LoRA微調的高可控3D生成

在基于單圖條件進行網格重建的預訓練幾何生成模型基礎上，無縫集成LoRA微調以實現對多樣化3D生成模型的靈活控制。本實驗聚焦實際用戶需求，專門設計兩種幾何控制策略：對稱性操縱和層級幾何細節調整。為實現控制，我們收集約30,000個3D模型，并利用Step1O多模態模型基于（1）對稱屬性和（2）幾何細節層級（銳利、普通、平滑）進行標注。圖8和圖9展示了高可控3D生成結果。為更好捕捉3D網格的幾何細節，我們采用多視角法線圖進行幾何表征。

下圖8展示使用“對稱”/“非對稱”標注的幾何生成結果。第1列為輸入圖像，2-5列展示對稱條件標注生成的3D物體四視角（前、后、左、右）結果，6-9列呈現非對稱條件的對應結果。生成物體始終遵循控制指令，尤其在前/后視圖中表現顯著。下圖9詳細展示幾何細節的層級控制，從左至右依次為輸入圖像、“銳利”、“普通”、“平滑”標簽的生成結果，每個物體通過前、右、后視圖的法線圖呈現。與先前結果一致，生成物體嚴格遵循對應控制標簽，進一步驗證了Step1X-3D微調技術的有效性及其幾何生成模型的強泛化能力。

與SOTA方法的對比結果

為驗證Step1X-3D的有效性，本文與現有SOTA方法進行全面對比，包括開源方案（Trellis、Hunyuan3D 2.0、TripoSG）和商用系統（Tripo-v2.5、Rodin-v1.5、Meshy-4）。具體實施：（1）使用幾何與紋理指標的定量評估；（2）通過主觀評分進行3D感知質量的用戶研究；（3）多樣化輸入條件下幾何與紋理結果的視覺對比。

跨SOTA方法的定量比較與用戶研究

除多樣化輸入條件的視覺對比外，本文構建了包含110張真實場景圖像的基準數據集。該基準包含：（1）來自各3D生成平臺（如Tripo、Rodin等）的示例圖像；（2）Flux模型生成的覆蓋COCO數據集80個類別的圖像。基于此測試集，我們系統收集了各方法生成的3D資產用于定量評估與主觀用戶研究。

本文同樣為幾何和紋理維度設計了定量評估指標。在幾何評估方面，利用自監督多模態模型對輸入2D圖像與生成3D點云（從輸出網格中提取）進行特征匹配。為確保全面公平的比較，采用兩種不同的多模態框架進行特征提取：Uni3D和OpenShape，以余弦相似度作為相似性度量。對于采用自監督范式的OpenShape框架，分別以SparseConv和PointBERT作為骨干架構，最終得到三個評估圖像-幾何對齊的獨立指標：Uni3D-I、OpenShapesc-I和OpenShapepb-I，分數越高表明與輸入圖像的幾何一致性越好。紋理評估方面，采用CLIP-Score衡量語義對齊性，具體方法是從帶紋理的3D模型在30°仰角和{0°,90°,180°,270°}方位角下渲染多視角圖像，用于與輸入圖像的語義一致性評估。定量結果如下表1所示，最高分與次高分已標出。Step1X-3D在CLIP-Score上取得最高分，并在幾何-語義匹配指標中獲得多個次高排名，這些優勢進一步證明了Step1X-3D強大的生成能力。

本文開展了包含20名參與者的用戶研究，評估全部110張未篩選測試圖像。針對3D模型的評估標準包括：(1)幾何合理性，(2)與輸入圖像的相似度，(3)紋理清晰度，(4)紋理-幾何對齊度。參與者采用5級李克特量表（1：最差質量，5：最佳質量）對每個對象評分。如下圖10所示，Step1X-3D與當前最佳方法表現相當。但值得注意的是，所有評估算法仍遠未達到理論上限，表明在達到生產級質量前仍有巨大改進空間。這些發現強調了在3D研究社區開展開源協作以共同推動技術進步的重要性。

跨SOTA方法的視覺對比

下圖11與圖12展示了不同方法的幾何與紋理輸出對比結果。不同于以往的視覺比較，通過統一評估協議解決生成3D網格的位姿不一致問題：(1)在Unreal Engine中對未貼圖和帶紋理模型進行位姿歸一化對齊，(2)將多個物體合成單張渲染圖像以便直接對比。這種標準化方法表明，Step1X-3D相對于現有最佳方法具有相當或更優的表現。

結論

Step1X-3D通過引入開源高保真框架實現幾何與紋理合成的解耦，推動了3D生成技術的進步。經過嚴格的數據篩選（200萬資產）和混合VAE-DiT架構，該方法在實現優異結果的同時支持2D到3D的控制遷移。

本文轉自AI生成未來 ，作者：AI生成未來

原文鏈接:??https://mp.weixin.qq.com/s/Wf_nQIGJtylM1iz758MFKg??