繼火爆全網的AI文生圖，文生視頻之后，文生3D場景的技術也來了！

只要不到30個字的提示詞，瞬間就能生成這樣的3D場景。

場景效果和文字的要求幾乎分毫不差——「平靜如玻璃的湖面，倒映出無云的天空，周圍的山和水鳥的倒影呈現在湖中。」

「烈日照耀在無垠的沙漠之上，倔強生長的植物投下了明顯的陰影。大風把小沙丘雕刻成一片金色的土地。」

而且針對生成的場景，還支持對不同的元素進行連續地修改和編輯！

網友看到效果之后驚呼，「我一輩子就在等這一刻了！」

研究團隊計劃在論文被接受后就在Github上公布項目的代碼，但是在代碼還未公布之時，這個項目就已經獲得141顆星！

這個項目是由澳國立、牛津和智源研究院的科研人員開發的「3D-GPT」系統，它可以簡單地根據用戶提供的文本描述生成各種各樣的3D模型和場景。

項目地址：https://chuny1.github.io/3DGPT/3dgpt.html

和文生圖依賴的獨立模型不同，3D-GPT依然還是利用了大型語言模型(LLM)的多模態和推理能力，將3D建模任務分解成多個子任務，由不同的代理完成，包括任務調度代理、概念化代理和建模代理。

研究人員表示，3D-GPT 將LLM定位為熟練的問題解決者，將程序性3D建模任務分解為可訪問的部分，并為每個任務指定合適的代理。

而且整套系統無需任何訓練，無需訓練即可完成從文本到參數提取再到3D建模的過程。

具體來說，任務調度代理負責根據指令選擇適當的程序生成函數。概念化代理對文本描述進行推理，補充缺失的細節。

建模代理推斷函數參數，生成Python代碼，通過API控制3D建模軟件Blender來進行建模。

這套系統與Blender無縫集成，支持物體變形、材質調整、網格編輯、物理模擬等多種操作。

而且3D GPT框架可以增強用戶提供的簡短場景描述，使之變得更加詳細，更加符合上下文。同時整合了程序生成方法，從豐富的文本中提取參數控制3D建模軟件。

而且因為LLM能夠提供優秀的語意理解和上下文能力，使得3D GPT能夠生成各種各樣的3D資產，而且支持連續地，有針對性地編輯和修改能力。

3D-GPT可以進行精細的對象控制，包括形狀、曲線和細節的捕捉，從而產生細節豐富的建模。同時也可以操控大場景的生成。

而且3D GPT支持連續的指令輸入，可以進行場景的編輯和修改。系統能夠記住之前的修改，使新指令與場景上下文相連結，讓使用者可以對已經生成的場景進行持續的編輯和修改。

而且，3D-GPT還支持通過自然語言針對某一項單獨元素和功能的持續編輯，例如下圖表明，用戶可以通過變換輸入的要求，單獨針對天氣效果進行修改。

3D-GPT

任務定義

整體目標是基于一系列自然語言指令來生成3D內容。

其中，初始指令L0充當了對3D場景的全面描述，比如“一個多霧的春天早晨，露水親吻的花朵點綴在被新發芽的樹木環繞的郁郁蔥蔥的草地上”。

后續的指令用于修改現有的場景，例如指令如“將白色花朵變為黃色花朵”或“將場景轉換為冬季環境”。

為了完成這一目標，研究人員引入了一個名為3D-GPT的框架，它使大型語言模型（LLM）能夠充當解決問題的代理。

模型準備

研究人員指出，讓LLM直接創建每一個3D內容的元素面臨重大挑戰。由于缺乏專門的預訓練數據，LLM在熟練的3D建模方面可能存在困難，因此，它們可能難以準確判斷基于給定指令應該修改哪些元素以及如何修改它們。

為了應對這個問題，在研究人員的框架中，他們利用之前研究中的一個基于Python-Blender的過程生成器Infinigen，它配備了豐富的生成函數庫。

為了使LLMs能夠熟練地運用Infinigen，研究人員為每一個函數提供關鍵提示。這些提示包括函數文檔，容易理解的代碼，所需信息，以及用法示例。

通過為LLM提供這些資源，研究人員使它們能夠發揮其在規劃、推理和工具利用方面的核心能力。因此，LLMs能夠有效地利用Infinigen進行基于語言指令的3D生成，這一過程是無縫和高效的。

用于3D推理、規劃和工具使用的多代理系統

在工具準備完成后，3D-GPT采用一個多代理系統來處理過程式3D建模任務。

該系統包含三個核心代理：任務調度代理、概念化代理和建模代理，如下圖1所示。

它們共同將過程式3D建模任務分解為可管理的部分，每個代理專注于不同方面：3D推理、規劃和工具使用。

任務調度代理在規劃過程中起到關鍵作用。它利用用戶指令查詢函數文檔，并隨后選擇必要的函數進行執行。

一旦選擇了函數，概念化代理就會通過推理來豐富用戶提供的文本描述。

在此基礎上，建模代理推斷出每個選定函數的參數，并生成Python代碼腳本以調用Blender的API，從而促進相應3D內容的創建。此外，還可以使用Blender的渲染功能來生成圖像。

任務調度代理用于規劃

任務調度代理掌握了所有可用函數F的全面信息，能夠高效地識別每個指令輸入所需的函數。例如，當出現“將場景轉換為冬季環境”的指令時，它會精確地找到像add_snow_layer()和update_trees()這樣的函數。

任務調度代理的這一關鍵角色有助于在概念化代理和建模代理之間進行高效的任務協調。

如果沒有它，概念化和建模代理必須為每個給定指令分析所有提供的函數F，這不僅增加了這些代理的工作量，還延長了處理時間，并可能導致意外出現的修改。

LLM系統、用戶和任務調度代理之間的通信流程如下：

概念化代理用于推理

描述可能沒有明確提供用于建模所需的詳細外觀描述。例如，考慮描述：“一個多霧的春天早晨，露水親吻的花朵點綴在被新發芽的樹木環繞的郁郁蔥蔥的草地上。”

當使用需要如樹枝長度、樹大小和葉子類型這樣的參數的樹建模函數時，很明顯，這些具體細節并沒有直接在給定文本中說明。

當指示建模代理直接推斷參數時，它往往會提供簡單的解決方案，比如從參數文檔中使用默認或合理的值，或者從提示示例中復制值。這降低了生成的多樣性并參數推斷的過程更加復雜了。

建模代理可以使用工具

在概念化之后，3D建模處理目標是將詳細的人類語言轉換為機器可理解的語言。

Blender渲染

建模代理最終提供了帶有推斷參數的Python函數調用，這些參數用于Blender節點控制和渲染，從而生成最終的3D網格和RGB結果。

生成效果編輯和修改實驗

研究人員的實驗首先通過展示3D-GPT在一致生成與用戶指令對應的結果方面的高效性來開始，涵蓋了涉及大型場景和單個對象的各種情境。

隨后，研究人員深入探討了特定實例，以說明研究人員的代理如何有效地理解工具功能、獲取必要的知識，并將其用于精確控制。為了深化研究人員的理解，研究人員進行了消融研究，系統地檢查了研究人員多代理系統中每個代理的貢獻。

3D建模

大型場景生成

研究人員調查了3D-GPT基于場景描述控制建模工具的能力。

為了進行這個實驗，研究人員使用ChatGPT生成了100個場景描述，提示如下：“你是一名優秀的作家，請為我提供10個不同的自然場景描述。”

研究人員收集了對這一提示的10次回應以形成他們的數據集。在下圖2中，研究人員展示了3D-GPT的多視圖渲染結果。

結果表明，研究人員的方法能夠生成與提供的文本描述大致一致的大型3D場景，并展示了顯著的多樣性。

值得注意的是，所有3D成果都是直接使用Blender渲染的，確保所有網格都是真實的，從而使研究人員的方法能夠實現絕對的3D一致性，并生成真實的光線追蹤渲染結果。

單一類別的細節控制

除了從簡潔描述中生成大型場景外，研究人員還評估了3D-GPT在建模對象方面的能力。研究人員評估了諸如曲線建模、形狀控制和對對象外觀深入理解等關鍵因素。

為此，研究人員展現了細粒度對象控制的結果。這包括從輸入文本描述中派生的細微方面，如對象曲線、關鍵外觀特征和顏色。

研究人員使用隨機提示來指導GPT生成各種現實世界中的花朵類型。如圖下3所示，研究人員的方法熟練地為每種花朵類型進行了建模，忠實地捕捉了它們不同的外觀。

這項研究強調了3D-GPT在實現精確對象建模和細粒度屬性控制方面的潛力。

子序列指令編輯

研究人員測試了3D-GPT在有效的人-代理通信和任務操縱方面的能力。

在下圖4中，研究人員觀察到研究人員的方法能夠理解子序列指令并做出準確的場景修改決策。

值得注意的是，與現有的文本到3D方法不同，3D-GPT保留了所有先前修改的記憶，從而有助于將新指令與場景的上下文連接起來。

此外，研究人員的方法消除了對可控編輯的額外網絡的需要。這項研究強調了3D-GPT在熟練處理復雜子序列指令用于3D建模方面的效率和多功能性。

單一函數控制

為了評估3D-GPT在工具使用方面的有效性，研究人員展示了一個說明性示例，突出了研究人員的方法在控制單一函數和推斷參數方面的能力。

下圖5舉例說明了3D-GPT基于輸入文本描述來建模天空外觀的能力。

負責生成天空紋理的函數并不直接將顏色信息與天空外觀相關聯。相反，它依賴于Nishita天空建模方法，該方法需要對現實世界的天空和天氣狀況有深刻的理解，并考慮輸入參數。

研究人員的方法熟練地從文本輸入中提取關鍵信息，并理解每個參數如何影響最終的天空外觀，如圖5（c）和（d）所示。這些結果表明，研究人員的方法可以有效地使用單一函數以及推斷相應的參數。