谷歌110億參數Genie，用來打造交互虛擬世界，它來了！

劃重點：不受視頻監督訓練；只用給它單張圖像，就能提示生成可玩的2D虛擬世界；這個交互式的虛擬世界還自主可控。

但令人撇嘴的點，就是Genie最后出的效果，畫質太糊了。

像這樣：

或者這樣：

團隊也站出來承認，Genie目前確實還有限制，現在只能以1FPS制作游戲。

看得網友忍不住吐槽，不說和Sora的效果比了，就算和別的文生視頻或者文生圖相比，都是“2K”和“480p”的差距。

看起來挺令人興奮的，但emmm怎么說呢，畫質和風格都像個上世紀80年代的游戲。

但也有人站出來為Genie說話。

比如英偉達科學家Jim Fan，就明確表達：

與Sora不同，Genie實際上是個能推斷動作、用正確動作驅動世界模型。

Genie團隊負責人Tim Rockt?schel激情開麥，稱認為這（Genie）是邁向AGI通用世界模型的充滿希望的一步。

他援引了世界模型第一推崇者Yann LeCun的推特，稱：

“誠然， OpenAI的Sora驚艷世界，但正如楊立昆所說，世界模型一定需要動作。”

畫質就一個字，糊

書歸正傳。

咱們從視覺上來感受一下Genie的神奇魔法，直接上效果圖。

這是官方給出的例子——

現實世界的照片，喂給Genie，就能動起來，變成無限的虛擬世界。

Like this，小黃狗逛公園：

還有古堡武士向前沖：

Genie團隊用Imagen2生成圖像，然后把圖像喂給Genie。Genie把圖像作為起始幀，生成以下效果。

團隊表示，Genie不僅僅能用AI繪畫來作為驅動的起始幀，隨便拿張人類大作，也可以達到同樣的效果。

比如這是個小朋友的畫作：

丟給Genie后，能得到老鷹起飛的效果：

這也是一張小朋友涂鴉，經由Genie處理后得到的：

可以明顯看到，上面給出的這些官方效果，明顯畫質參差不齊。

難怪有的網友稱，這些demo看上去有一種700度近視眼摘掉眼鏡看世界的美。

不少人提問為什么不用超高清分辨率輸出，目前還沒得到回應。

除了畫質太糊，Genie的另一個點，就是網友們覺得demo都太短太短了。

平均每個時長不到2s。

好多人都急了：

能不能放出來1分鐘時長的demo啊？？？或者至少讓咱看看，超過3秒鐘，會是啥樣子吧。

然而，雖然肉眼可見的畫質糊、時長短，Genie仍然是令人驚呼的新研究。

畢竟，任何人，包括幼兒園階段的小朋友，都可以繪出一個世界，然后加入其中，開始探索。

有小伙伴已經在暢想，日后能用Genie制造“一個讓每個人都感到滿足和滿足、永無止境的生成世界”。

眨眼間，AI就從生成下一個word發展到了生成下一個world。

Genie，一種通用方法

令人欣慰，谷歌DeepMind放出了關于Genie的論文，《Genie: Generative Interactive Environments》。

論文顯示，Genie是一個11B參數的交互式環境生成模型，能夠從互聯網視頻中無監督地學習并生成可交互的虛擬世界。

并且，Genie可以通過文本、圖像、照片甚至手繪草圖生成最終的交互式虛擬世界。

整個Genie包含三個關鍵組件：

• 潛在動作模型（Latent Action Model ，LAM）；
• 視頻分詞器（Tokenizer）；
• 潛在動態模型（Dynamics Model）。

其中，潛在動作模型用于推理每對幀之間的潛在動作。

為了讓視頻生成可控，谷歌DeepMind用前一幀所采取的動作來預測未來幀。

由于此類動作標簽在互聯網視頻中可用的很少，同時獲取動作注釋的成本超級高，因此，團隊以完全無監督的方式學習潛在動作。

也就是說，Genie的訓練使用了大量公開的互聯網視頻數據集，而沒有使用任何動作標簽數據。

視頻分詞器的作用則是把原始視頻幀轉換為離散token。

三組件之中的第三樣，潛在動態模型，作用是給定潛在動作和過去幀的token，用來預測視頻的下一幀。

論文介紹，在訓練過程中，使用超200000小時的互聯網游戲視頻，作為其訓練數據。

這些數據集經過篩選，且包含了2D平臺游戲的視頻片段。

最終，其推理過程如下：

值得引起注意的是，Genie允許用戶通過潛在動作在生成的環境中進行交互。

這些動作是通過一個因果動作模型學習得到的，這個模型允許用戶通過指定潛在動作來控制視頻的生成過程。

用戶通過潛在動作與生成的環境進行交互，從而創造出新的、動態的視頻內容。

這也是谷歌認為Genie是實現通用Agent的基石之作的原因之一。

此前研究表明，游戲環境可以成為開發AI Agent的有效測試平臺，但實際情況中常常受到可用游戲數量的限制。

借助 Genie，未來的AI Agent可以在新生成的世界中，進行永無休止的訓練。

多說一句，論文中進行了一個概念證明，即“Genie學到的潛在動作可以轉移到真實的人類環境中”，不過，這都是未來可能發生的事情了。

谷歌還明確表達了自己的態度：Genie是一種通用方法。

也就是說，雖然Genie的訓練數據多是2D的游戲視頻or機器人視頻，但不需要任何額外的領域知識，Genie就可以在多個領域中應用。

為了驗證這個觀點，谷歌在RT1的無動作視頻上訓練了一個較小的模型，只有2.5B。

結果發現，具有相同潛在動作序列的軌跡通常會表現出相似的行為，也就是說，Genie能夠學習一致的動作空間。

這對訓練機器人甚至具身智能來說，都是大大的利好消息。

最后來看一眼Genie的研究團隊～

團隊人員不老少，共同一作就有六位，分別是Jake Bruce，Michael Dennis，Ashley Edwards，Jack Parker-Holder，Yuge（ Jimmy） Shi，以及Tim Rockt?schel。

Yuge（Jimmy）Shi是華人，本科畢業于澳大利亞國立大學，2023年在牛津大學拿下機器學習博士學位。

她在2023年3月加入谷歌DeepMind，此前還在Meta AI實習過。

此外，研究團隊不少人都是谷歌DeepMind的開放性團隊（Open-Endedness Team）成員。

研究團隊中，有位不列顛哥倫比亞大學的計算機科學副教授，他同時是谷歌DeeoMind的高級研究顧問。

他在推特上敲了敲小黑板，稱：

咳咳，注意了，現在看到的Genie是最糟糕的情況！
相信用不了多久它就會變完美。

參考鏈接：
[1]https://sites.google.com/view/genie-2024/home。

[2]https://arxiv.org/pdf/2402.15391.pdf。