大規模3D場景2分鐘生成，效率提升30倍！中科院發布空間智能新框架
「空間智能」和「世界模型」是最近學術界和產業界非常火熱的研究方向，走向虛實結合、模擬世界機理的關鍵一步，就是創造出一個生動的虛擬世界。
然而，想要打造豐富多樣、充滿細節，同時具備高度可編輯性和物理真實性的3D虛擬世界，仍然困難重重。
為了解決這些難題，來自中國科學院自動化研究所和北京科技大學的聯合團隊，首次提出了一種全新的3D場景生成框架SceneX，只需簡單的文字描述，就能快速生成高質量的3D虛擬場景。
不論是遼闊的自然風景，還是充滿活力的城市街道，模型都能輕松應對。
圖片
網站：https://zhouzq1.github.io/SceneX/
論文：https://arxiv.org/abs/2403.15698
更重要的是，SceneX還能根據需求靈活調整，讓場景更貼合用戶設想。
有了SceneX，虛擬世界的構建也會更輕松，簡單且高效。
SceneX開啟高效、逼真場景生成新時代
SceneX以創新的方式打破傳統局限，全面提升效率與真實感，主要包括兩個核心模塊：
PCGHub：通過集成多種程序化生成模塊并封裝為標準化API，PCGHub提供了一個靈活的平臺，解決單一生成模塊因固有算法和規則受限而導致的局限性，大幅擴展了資源生成的多樣性和靈活性。
PCGPlanner：作為智能規劃器，PCGPlanner高效協調PCGHub的資源完成場景生成。其全自動化流程包括場景分解、地形生成、資產生成與檢索、資產放置等階段。通過模塊化設計，確保生成結果的連貫性與幾何一致性。
相比傳統方法需要數周完成的大規模場景建模，SceneX將時間壓縮至數小時，同時支持通過簡單的文字指令精確控制場景的細節。SceneX的跨模態協同能力，賦予場景生成前所未有的靈活性與可控性。
圖片
圖1：SceneX可根據文本指令自動生成大規模3D自然場景或城市。生成的模型具備精細的幾何結構、真實的材質紋理和自然的光照效果，可無縫應用于工業流程
PCGHub：多樣化程序化資產與布局生成平臺
場景的多樣性離不開資產的多樣性。
為此，PCGHub提供了一個集成豐富程序化生成模塊和3D資產的平臺，旨在解決傳統方法的局限性并提升內容真實感。
PCGHub提供了172個涵蓋自然環境、建筑等多領域的程序化資產，并配備了散射、網格、線性等多種靈活的布局生成器，使開發者能夠輕松創建豐富多樣的3D場景。
表1：PCGHub中各元素功能概覽
這些資產可通過調整幾何和材質參數實現多樣化變化。
從2,362個原始參數中提取了263個核心參數，并封裝為標準化API，每個API配有詳盡文檔，包括功能描述和參數規格，方便用戶調用和擴展。
此外，PCGHub還包含11,284個高質量3D靜態資產，極大地豐富了資源庫的多樣性。
PCGHub的推出，為生成多樣化且真實感強的場景提供了高效而靈活的解決方案。
圖2：某個樹木程序化生成模塊的API文檔、API功能及生成結果示例
PCGPlanner：智能場景生成與布局規劃
PCGPlanner利用PCGHub提供的資源，實現高效的自動化場景生成。整個生成過程包括四個關鍵階段：
（1）場景分解：根據用戶需求分析場景并列出所需資產；
（2）地形生成：構建基礎地形并應用適當的材質；
（3）物體生成與檢索：根據需求生成或導入場景所需的資產；
（4）資產放置：根據不同的布局類型和程序化生成器，在場景中安排資產。
圖片
圖3：SceneX框架通過四個階段將用戶文本輸入轉換為不同的3D場景：場景分解階段、地形生成階段、物體生成和檢索階段以及資產放置階段
一系列實驗驗證了SceneX在質量、效率和場景編輯上的全方位優勢。主要成果如下：
用戶與專家一致好評
在對場景質量進行評分時，邀請了用戶和專業設計師參與測試。
結果表明，SceneX生成的場景獲得了用戶和專家的一致認可，評分結果幾乎持平。
這意味著，無論是普通用戶還是行業專家，都對SceneX生成的場景贊不絕口。
表2：美學平均得分（AS）和美學專家平均得分（AES）的比較分析
圖4：不同場景下個性化編輯結果的可視化
圖5：SceneX場景生成效果對比
所見即所得的精準還原
通過提示詞與場景匹配度評估，SceneX展現了卓越的語義理解和生成能力。
無論是靜謐的河邊風光，還是繁華的城市景象，SceneX都能完美復現用戶想象，實現「所見即所得」。
圖6：大規模場景和城市生成結果
效率無與倫比
時間就是一切，而SceneX讓場景生成變得又快又準。
實驗結果顯示，生成一片壯麗的自然景觀只需要短短幾分鐘，打造一座大型城市也快得令人驚訝。
圖片
結語
SceneX框架展示了程序化內容生成與多Agent工作流結合的巨大潛力，為大規模場景生成提供了全新的解決方案。
通過其強大的可控性和高質量的生成能力，SceneX為虛擬世界構建、游戲開發、影視制作等領域開辟了新的可能性。
未來，SceneX將進一步優化生成過程，為用戶提供更加高效便捷的場景生成體驗。
