3D版DeepSeek卷起開源月：兩大基礎模型率先SOTA！又是VAST

作者：量子位 2025-03-31 08:25:00

人工智能新聞

TripoSG和TripoSF，為團隊的最新研發成果。該團隊去年3月開源了TripoSR，在開源3D生成基礎模型中爆火全球。

3D生成版DeepSeek再上新高度！

國產、易用、性能強且開源——

新模型一露面就刷新SOTA，并且第一時間加入開源全家桶。

順時針轉個圈圈給大家看，效果是這樣：

加上“皮膚”是這樣：

再來一個，效果是這樣：

肉眼可見，這次妥妥升級變成了更細節的細節控～

以上效果，都來自3D大模型明星初創公司VAST，其剛剛上新的兩個基礎模型，TripoSG和TripoSF，為團隊的最新研發成果。該團隊去年3月開源了TripoSR，在開源3D生成基礎模型中爆火全球。

TripoSG，發布即開源，一露面就刷新開源3D生成模型SOTA，讓廣大開發者第一時間享受技術進步的成果。

TripoSF，目前為開源第一階段，已經用實力證明了自己：橫掃一切開源和閉源的現有方法，拿下新SOTA。

你就說秀不秀吧（手動狗頭）？！

——但基礎模型還只是VAST最近大秀一波技術肌肉的上半程表演。

量子位獲悉，接下來VAST要連續開源一個月，每周都有新開源項目公布。而TripoSG和TripoSF是開源月里第二周的項目。

在整個開源月里，除了第一波單張圖像端到端生成三維組合場景、第二波3D基礎模型，接下來還有三維部件補全模型、通用三維模型綁定生成模型、三維幾何精細化模型以及SIGGRAPH Asia 2024 RTL收錄的交互式草圖生三維模型等等技術將與大家見面。

港真，我的胃口已經被吊起來了。

在DeepSeek之后，各領域的國產之光們紛紛開啟了開源大秀。而VAST，就是領先的3D大模型領域公司率先發起的攻勢。

并且這個開源攻勢，持續一個月！

開源月第一彈，兩個基礎模型拿下開閉源新SOTA

3D版DeepSeek登場，一出手就是開源月；第二波出擊比第一波更猛，開源2個強大的基礎模型，很有誠意的那種。

它們分別是：

TripoSG：開源的3D模型新SOTA；目前開源1.5B版本。
TripoSF：以開源之身，刷新閉源3D模型SOTA；目前階段性開源部分成果。

都沿用了VAST最著名的Tripo系列來命名，但各有偏重——

TripoSG

對于TripoSG，官方介紹是這樣的：

一款在質量、細節和保真度上實現重大突破的基礎3D生成模型。

其開源內容，包括1.5B版本TripoSG的模型權重、推理代碼以及交互式演示Demo。

圖片

讓我們從技術側來剖析一下TripoSG的廬山真面目。

簡單來說，TripoSG身上體現了VAST針對3D領域特性，引入的多項關鍵設計創新。

第一，率先將基于校正流（RF，Rectified Flow）的Transformer架構應用于3D形狀生成。

之所以選擇基于矯正流來做，是因為VAST在研究過程中發現，相較于傳統的擴散模型（Diffusion Model），矯正流在噪聲和數據之間提供了更簡潔的線性路徑建模，有助于實現更穩定、高效的訓練。

拿它結合已被驗證的可擴展性和卓越性能的Transformer架構（如DiT），屬于強強結合，讓TripoSG擁有很穩定的強大內核。

第二，TripoSG是首個在3D領域發布的MoE Transformer模型。

以Transformer為基礎，TripoSG融合了包括跳躍連接（skip-connections）在內的關鍵增強設計，以改善跨層特征融合。

此外，獨立的交叉注意力（cross-attention）機制能夠高效地注入全局（CLIP）和局部（DINOv2）圖像特征，讓輸入的2D圖像和輸出的3D形狀之間精準對齊。

這還不夠，VAST團隊為了實現TripoSG的高效Scaling——從1.5B拓展到4B那種——團隊在Transformer中集成了MoE層。

這個辦法此前都只在大語言模型領域實踐過，VAST發現3D領域同樣適用。

這樣一來，可以在幾乎不增加推理計算成本的前提下，顯著提升模型參數容量，并重點應用于網絡中更深、更關鍵的層級。

第三，開發了高質量VAE與創新幾何監督。

VAST開發了一種采用符號距離函數（SDFs，Signed Distance Functions）進行幾何表示的VAE，相較之下，比此前常用的體素占用柵格（occupancy grids）具有更高的精度。

需要注意的是，基于Transformer的VAE架構在分辨率上有很強的泛化性，無需重新訓練，即可處理更高分辨率的輸入。

與此同時，TripoSG還引入了一種混合監督訓練策略，將標準的SDF損失與表面法線引導 (surface normal guidance)和程函方程損失 (eikonal loss) 相結合。

讓VAE能學習到幾何上更準確、細節更豐富的表示，又能為后續的流模型提供了質量更高的潛空間。

第四，重視數據治理，特意開發一套完善、精細的數據構建與治理流水線。

流程各階段如下：

質量評分（Scoring）——數據篩選（Filtering）——修復與增強（Fixing & Augmentation）——SDF 數據生產（SDF Production）

通過這一流程，VAST為TripoSG構建了一個包含200萬高質量“圖像-SDF”訓練樣本對的數據集。

消融實驗明確證明，在此高質量數據集上訓練的模型性能顯著優于在更大規模、但未經過濾的原始數據集上訓練的模型（這一點凸顯了數據質量與數量同等重要，甚至更為關鍵）。

集以上四點于一身的TripoSG，經Normal-FID等量化指標評估，以及基于大型多模態模型（如基于GPTEval3D框架的Claude 3.5）的定性評估，輕松拿下3D開源模型界的新SOTA。

讓我們來看看3D模型開源界新王的表現——

首先，TripoSG為什么能拿下新SOTA，必然是在語義一致性上有超出現有模型的表現。

簡單來說，TripoSG輸出的3D形狀，能準確反映輸入圖像的語義內容和視覺外觀。

當你告訴它你想要一個三斗柜，既寫實又稍微Q一點那種，你將得到：

圖片

不渲染可能視覺上沒那么明顯，但一上色，你就能發現“哎喲不錯哦”，確實是古樸寫實但又兼具可愛風。

還有一些日常生活的使用痕跡：

圖片

非常能直觀感受到的一點是，即使面對具有復雜拓撲結構或包含精細元素的挑戰性輸入，TripoSG也能生成連貫、合理的形狀。

TripoSF

再來看TripoSF。

研發TripoSF，VAST有專門的針對性目標，旨在突破傳統3D建模在細節、復雜結構和擴展性上的瓶頸。

具體來說，3D模型雖然也在不斷發展之中，但現有方法仍有不足。比如預處理帶來的細節損失、對復雜幾何形狀表達能力的不足，或在高分辨率下面臨高昂的內存和計算成本……

令人頭禿。

據VAST官方表示，此前一直在研究中尋找3D模型的tokenizer，現在終于有所進展——

沒錯，就是TripoSF的核心表示方法，SparseFlex。這家伙拉高了3D生成任務的上限。

它借鑒了Flexicubes（可微分地提取帶尖銳特征的網格）的優勢，并創造性地引入了稀疏體素結構，僅在物體表面附近的區域存儲和計算體素信息。

帶來的效果很顯著，約有以下三點：

大幅降低內存占用，讓TripoSF能夠在10243的高分辨率下進行訓練和推理。
原生支持任意拓撲處理：不僅通過省略空白區域的體素，自然地表示開放表面（如布料、葉片），還有效捕捉內部結構。
支持基于渲染損失的直接優化：SparseFlex是可微分的，允許TripoSF使用渲染損失進行端到端訓練，避免了數據轉換（如水密化）導致的細節退化。

為了實現上述第一點，VAST還做了很多功課，最終推出一種叫“視錐體感知的分區體素訓練”的策略。

視錐體感知的分區體素訓練借鑒了實時渲染中的視錐體剔除思想，在每次訓練迭代中，僅激活和處理位于相機視錐體內的SparseFlex體素。

有針對性和選擇性的激活，顯著降低訓練開銷，讓10243這樣高分辨率下的高效訓練成為可能。

另一邊，視錐體感知的分區體素訓練策略首次使僅通過渲染監督即可重建模型的內部精細結構——在此之前，依賴水密表面數據的方法沒法完成這個任務。

當然，還有不得不提的關鍵一步，即基于SparseFlex表示和高效的訓練策略，VAST還構建了TripoSF VAE（變分自編碼器），它成為了TripoSF重建和生成能力的基礎。

具體到輸入到輸出，是醬嬸兒的：

輸入：處理從三維網格采樣得到的點云數據。
編碼：使用稀疏Transformer將輸入幾何映射為緊湊的隱空間編碼。
解碼：從隱編碼重建高分辨率的SparseFlex參數，并采用自剪枝上采樣模塊 (self-pruning upsampling) 來保持稀疏性并精確定義邊界，尤其對開放表面效果顯著。
輸出：生成SparseFlex參數，可用于提取高質量的三維網格。