直觀即時繪制3D模型，可添加文本提示，VAST又開源了

作者：量子位 2025-04-22 09:26:00

Tripo Doodle，能夠將簡單的2D草圖和文本提示（Text Prompt）實時轉化為精細的3D模型。

3D生成明星玩家VAST，又又又又又開源了！

Tripo Doodle（內部代號TripoSG Scribble) ，能夠將簡單的2D草圖和文本提示（Text Prompt）實時轉化為精細的3D模型。

它改進了傳統3D建模學習曲線陡峭、耗時耗力的痛點，尤其是在初期“打形”階段。

現在，該項目的關鍵組件已經開源。

通過Tripo Doodle，用戶可以：

在SIGGRAPH Asia 2024 Real-Time LIVE! 的首次亮相中，Tripo Doodle展示了一個“萬物皆可畫”的未來——3D 建模可以像2D涂鴉一樣流暢自然、觸手可及。

它讓創作者能從繁瑣的工具操作中解放出來，將精力完全聚焦于創意本身。

基于TripoSG的實時交互延伸

Tripo Doodle是一款旨在徹底簡化并加速3D創作流程的全新交互界面。

值得注意的是，Tripo Doodle并非從零構建，它巧妙地利用并擴展了VAST旗下TripoSG基礎模型的能力，并針對實時、多模態交互進行了創新：

首先來了解一下TripoSG基礎模型（TripoSG Base Model）。

TripoSG是它的底層引擎，它是一圖像到3D（Image-to-3D）形狀生成模型。

該模型開創性地采用了大規模整流流 Transformer（Large-Scale Rectified Flow Transformer）架構，能在精選數據集上進行訓練，直接從條件輸入（基礎模型通常是圖像）生成高保真3D網格。

其內部通過定制的VAE管理精確的符號距離函數（Signed Distance Function, SDF）表征。

其次是多模態條件注入（Multimodal Conditioning - Sketch + Text）。

Tripo Doodle的核心突破在于增強了TripoSG，使其能夠理解并同時融合草圖和文本兩種輸入模態。

其一，草圖引導（Sketch Guidance）。

2D繪圖提供了強幾何約束，定義了3D模型的核心形狀、結構和姿態。

其二，文本引導（Text Guidance）。

自然語言提示則負責引導語義理解，影響物體的類型、風格和具體特征（例如，演示中加入“dragon”文本提示，就能將一個基礎的怪獸草圖轉化為龍形態）。

再者還有實時性能優化（Real-Time Optimization - 例如蒸餾技術）。

為了實現“涂鴉”體驗所必需的近乎實時的生成速度，Tripo Doodle采用了CFG Distillation等優化技術。

通過訓練一個更快的“學生”模型來模擬（或“學習”）更大TripoSG 模型的輸出能力，從而實現能在用戶連續輸入時進行快速推理和實時更新。

SIGGRAPH Asia 2024 Real-Time LIVE! 現場，Tripo Doodle生動演示了自己的能力。

以下實例突顯了Tripo Doodle如何將從概念到初步3D可視化的時間縮短至秒級，讓3D創作變得前所未有的簡單和有趣。

無論是植物、桌子、戒指還是怪獸，簡單的幾筆草圖都能即時轉化為3D物體。

隨著用戶繪制、擦除、修改草圖，或添加/更改文本提示（如將普通怪獸變為“烏龜怪獸”或帶翅膀的“龍怪獸”），3D模型會動態、無縫地更新。

“Randomize”（隨機化）功能允許用戶基于同一份草圖和文本輸入，快速瀏覽多種不同的、合理的3D解釋，極大地促進了創意發散。

“Doodle 1v1” 環節中，觀眾成員在30秒內創作怪獸。

即使是初次使用者，也能快速上手并創造出如“番茄怪獸”、“毛毛蟲怪獸”等充滿趣味（有時甚至出人意料）的作品，充分證明了其直觀性和高效性。

一直以來，VAST致力于通過開放合作推動領域發展。

此次，TripoSG Scribble（即Tripo Doodle）與TripoSG的核心組件都將對外開放。

VAST誠邀全球的研究者、開發者和創作者們，深入探索TripoSG及Tripo Doodle背后的技術理念，在其基礎上構建應用。

責任編輯：張燕妮來源：量子位