剛剛,李飛飛空間智能新成果震撼問世!3D世界生成進入「無限探索」時代
就在今天,斯坦福大學教授李飛飛的創(chuàng)業(yè)公司 World Labs 發(fā)布了新成果 —— 限量開放的測試預覽版空間智能模型 Marble。
「只需一張圖片,就能生成持久存在的 3D 世界,比以往更宏大、更震撼!」

我們先看下面一段視頻 demo:

李飛飛對此表示,「這是一個使用我們的 3D 世界生成模型創(chuàng)建的極其龐大的世界,它令我驚嘆不已!」
實現這一切,輸入的既可以是單張圖片,也可以是文本提示。

當被問到與谷歌的 Genie 有什么區(qū)別時,李飛飛表示,「我們生成的 3D 世界是永久存在的,用戶可以自由地在其中導航探索,而這一切對你來說完全免費。」

有 X 博主表示,「這才是真正的大規(guī)模 3D 生成。」

另有網友測試后表示效果很棒,也提出了一些改進的建議。

目前,用戶可以加入白名單,訪問 Marble 預覽版。

白名單地址:https://www.worldlabs.ai/waitlist
在 World Labs 放出的官方博客中,我們可以看到更詳細的技術細節(jié)(下文以第一人稱陳述)。
今天,我們很高興分享在「空間智能」前沿探索上的最新進展 —— 生成持久、可導航、可控的 3D 世界。
同時,我們正式推出 Marble,一個限量測試版預覽模型,現已開放試用。

試用地址:marble.worldlabs.ai
無論是輸入一張圖片還是一段文字提示,Marble 都能生成一個 3D 世界,供你無限制地探索 —— 沒有時間限制、沒有形變、沒有不一致性。
與此前成果相比,現在生成的 3D 世界規(guī)模更大、風格更多樣化、幾何結構也更為干凈。
Marble 讓用戶可以瀏覽和構建 3D 世界。愛好者和開發(fā)者還可以將生成的世界導出為高斯點云,并在下游項目中加以使用。這在開源渲染庫 Spark 的支持下尤為方便,它能夠將高斯點云無縫集成進 Three.js,用于構建基于 Web 的 3D 體驗,并能高效地在桌面電腦、筆記本電腦、移動設備和 VR 頭顯上運行。
憑借模型在一致性和風格遵循上的進步,用戶現在可以通過組合多個單獨的生成結果來構建出更大的世界。
更優(yōu)質的幾何結構
在許多視覺創(chuàng)作者的工作流與應用場景中,能夠在一致的 3D 世界中進行導航和交互是核心需求。
我們生成的 3D 世界支持用戶在瀏覽器中進行自由視角的導航,且完全零成本。相比深度圖或點云所提供的有限 3D 體驗,我們的世界具備更豐富的幾何復雜度,能夠生成更完整的 3D 場景,使用戶可以從輸入視角的背后或更遠處進行探索。
目前,我們的模型主要面向 3D 環(huán)境的創(chuàng)建,而不是聚焦于單個或中心對象(例如人物或動物)。所以,對于自拍愛好者或寵物主人來說,暫時可能會有些遺憾。


更多樣化的風格
生成式 AI 最令人興奮的一點,是它能在創(chuàng)作過程中自由迭代外觀與風格。
我們的模型可以將各種風格的輸入轉化為 3D 世界,從平面、色彩鮮明的卡通到逼真、細節(jié)豐富的圖像,讓用戶能夠不斷探索和嘗試,找到最契合需求的 3D 世界。

更宏大場景的探索
以房間大小為尺度的世界是一個很好的起點,但創(chuàng)作者的想象往往超越這些界限。
我們想展示一些可能性:用戶可以將自己生成的空間拼接在一起,從而構建更宏大的環(huán)境。得益于我們的模型在風格一致性和幾何一致性上的表現,如今已經可以暢快地在這些更大的世界中進行導航和瀏覽,并設想出豐富多樣的應用場景。

博客地址:https://www.worldlabs.ai/blog/bigger-better-worlds




































