尼奧發現自己生活的世界并非真實存在，而是被精心設計的模擬現實。

而你，有沒有那么一瞬間，認為我們生活的世界，就是模擬的矩陣世界。

而現在，矩陣正式開啟。

靜心感受，這個人類生存已久的地球，大自然的一切，都是虛幻世界。

北極冰川太陽升起。海底世界中的千奇百怪的魚群、五彩斑斕的珊瑚礁。

高山飛雪，老鷹在浩瀚無垠的天空中翱翔。熾熱沙漠，兇險的蛇自由穿梭。

河邊小樹，燃起熊熊烈火，煙霧繚繞。

清澈見底的大海和小溪，海龜在沙灘慵懶地曬著太陽，許多蜻蜓在空中嬉戲。

巖洞中光與影的變幻。

嘩嘩墜落的雨滴、隨風飄落的楓葉，時間瞬間戛然而止。

你所見皆是人工智能設計的。它們的模擬是如此逼真，甚至被所有人誤認為是現實本身。

打開這扇矩陣大門的團隊來自普林斯頓，研究一出瞬間在網上瞬間引起軒然大波。

網友紛紛表示，原來我們生活在矩陣中！

論文中，研究人員引入了一個自然世界的逼真3D場景程序生成器「Infinigen」。

Infinigen完全是程序化的，從形狀到紋理，都是通過隨機的數學規則從頭開始生成。

甚至，還能變換無窮，覆蓋了大自然界的植物、動物、地形，還有火、云、雨和雪等自然現象。

最新論文已被CVPR 2023接收。

論文地址：https://arxiv.org/pdf/2306.09310.pdf

Infinigen建立在免費和開源的圖形工具Blender上，同樣Infinigen也是開源的。

值得一提的是，3.5個小時就能生成一對1080p的圖像！

無限CV數據生成器

普林斯頓大學提出的Infinigen可以輕松定制，生成各種特定任務的真實情況。

如下，模擬大自然界中的多樣性。

而它最主要的作用就在于，能夠作為作為無限訓練數據的生成器，用于廣泛的計算機視覺任務。

其中，包括 目標檢測、語義分割、姿態估計、3D重建、視圖合成和視頻生成。

此外，它還可以用于構建訓練物理機器人，以及虛擬具身智能體的模擬環境。

當然了，3D打印、游戲開發、虛擬現實、電影制作和一般的內容創作都可用。

接下來，看看Infinigen系統是如何被設計出來的。

Blender的預演。

研究人員主要使用Blender開發程序化規則，Blender是一個開源的三維建模軟件，提供各種基元和實用工具。

Blender將場景表現為擺放對象的層次結構。

而用戶通過轉換對象、添加基元和編輯網格來修改這一表示。

Blender提供了大多數常見3D文件格式的導入/導出。

最后，Blender中的所有操作都可以通過其Python API自動完成，或者通過檢查其開源代碼。

節點轉譯器。

作為Infinigen的一部分，研究人員開發了一套新的工具來加速研究人員的程序化建模。

一個值得注意的例子是研究人員的節點轉換器，它可以自動將節點圖轉換為Python代碼，如圖所示。

由此產生的代碼更加通用，并允許研究人員隨機化圖形結構，而不僅僅是輸入參數。

這個工具使結點圖更具表現力，并允許與其他直接用Python或C++開發的程序化規則輕松整合。

它還允許非程序員通過制作節點圖為Infinigen貢獻Python代碼。

生成器子系統。Infinigen是由生成器組成的，生成器是概率程序，每個程序都專門用于生成一個子類的資產（如山或魚）。

每個發生器都有一套高級參數（如山的整體高度），反映了用戶可控制的外部自由度。

在默認情況下，研究人員根據為反映自然界而調整的分布對這些參數進行隨機抽樣，沒有用戶的輸入。

然而，用戶也可以使用研究人員的Python API覆蓋任何參數，以實現對數據生成的細粒度控制。

下圖是隨機的、且僅包含地形的場景。研究人員為各種自然場景類型選擇了13張圖片。

分別為：山脈、上漲的河水、雪山、海岸日出、水下、北極冰山、沙漠、洞穴、峽谷和浮島。

下圖則是隨機生成的模擬火焰的圖片，包括煙霧、瀑布，以及火山噴發的場景。

樹葉、鮮花、蘑菇、松果。

樹木、仙人掌、灌木。

海洋生物。

各種類型的地表。

下圖則是生物的生成。

研究人員自動生成了不同基因組（a）、身體部位（b）、身體部位拼接（c）、毛發（d）和體態（e）。

圖片右側則是研究人員展示的隨機生成的食肉動物、食草動物、鳥類、甲蟲和魚類。

在下圖中，研究人員按程序組成一個隨機的場景布局（a）。

研究者生成所有必要的圖片內容（b，用來顯示每個網格面的顏色），并應用程序化材料和位移（c）。

最后再渲染一個真實的圖像（d）。

下圖展示的是動態分辨率縮放。

研究人員展示了三個相機距離不同，但內容相同的特寫網格可視化視圖。

盡管網格分辨率不同，但在最終的圖像中看不到任何變化。

實驗結果

為了對Infinigen進行評估，研究人員制作了30K的圖像對，這些圖像有用于矯正立體匹配的地面實景。

研究人員在這些圖像上開始訓練RAFTStereo，并在Middlebury驗證集和測試集上對結果進行了比較。

這項研究代碼在今天剛剛公布，已經收攬99顆星。

「西部世界」既視感

英偉達科學家Jim Fan表示，當我們在現實中沒有好的訓練數據時，模擬是便下一個「金礦」。

這里，Infinigen便是一個開源的、程序化生成的、用于3D視覺的逼真數據集。其質量是驚人的！沒有兩個世界是相同的。

? 每一個小細節都是隨機和可定制的，甚至是花瓣上的褶皺！

? 自然界的各種物體和場景：植物、動物、地形；火、云、雨和雪。

? 基準真實值自動注釋：光流、三維場景流、深度、表面法向量、全景分割、封閉邊界。

? 用Blender編寫。

有網友表示，這真是讓我大開眼界。在Blender中程序化生成3D世界。不使用AI，就可以創建任何你能想象的世界。

結合像這樣的工具來創造世界，像Daz3D這樣的工具來創造角色，Blockade Labs來創造天空盒，Convai來創造NPC。

還有人表示Infinigen將在人工智能計算機視覺研究中發揮作用。

他認為未來人工智能將handle所有一切。

比如，我們想在一個有霧的森林里面做一個有瀑布的村莊。

我們告訴一個人工智能寫一個關于森林的詳細描述，再發送到3D世界生成器。

世界生成后，就可以在村莊里添加人物角色。這些人將由人工智能控制，他們將有互動、對話和記憶。

一種西部世界的趕腳。

另外，有網友稱程序生成已經存在了20年（我已經做了15年）。「No Man's SKy」是5年前技術的一個很好的例子。

Infinigen的亮點在于它生成標記數據。這些數據可用于訓練AI。這就很瘋狂。

還有網友暢想，在不遠的將來，游戲會變得瘋狂……「獨立」游戲開發者將能夠推出一些瘋狂的高端內容。

Infinigen生成太過逼真，以至于有人認為這是虛幻引擎生成的。

作者介紹

Alexander Raistrick

Alexander Raistrick是普林斯頓大學計算機系的二年級博士生，導師是Jia Deng。

Lahav Lipson

Lahav Lipson是普林斯頓大學三年級博士生。

他研究重點是為三維視覺構建深度網絡，利用關于極線幾何的強大假設來實現更好的泛化和測試準確性。

Zeyu Ma

Zeyu Ma是普林斯頓大學視覺與學習實驗室的三年級博士研究生。他曾于2020年獲得清華大學電子工程學士學位。目前的研究重點是多視圖3D重建和程序數據生成。