1月26日消息，據(jù)外媒報(bào)道，谷歌公布了一款名為Lumiere的人工智能視頻生成器，并在相關(guān)的預(yù)印本論文中稱其為“逼真視頻生成的時(shí)空擴(kuò)散模型”。Lumiere在制作可愛動(dòng)物在荒謬場景中的視頻方面做得很好，比如穿旱冰鞋、開車或彈鋼琴。

根據(jù)谷歌的說法，Lumiere利用獨(dú)特的架構(gòu)一次生成視頻的整個(gè)時(shí)間持續(xù)時(shí)間。或者，正如該公司所說，“我們引入了一種時(shí)空U-Net架構(gòu)，通過模型中的一次傳遞，可以立即生成視頻的整個(gè)時(shí)間持續(xù)時(shí)間。”這與現(xiàn)有的視頻模型形成對(duì)比，現(xiàn)有的視頻模型合成遠(yuǎn)距離關(guān)鍵幀，然后是時(shí)間超分辨率，這種方法本質(zhì)上使全局時(shí)間一致性難以實(shí)現(xiàn)。”

通俗地說，谷歌的技術(shù)旨在同時(shí)處理空間(視頻中物體的位置)和時(shí)間(整個(gè)視頻中物體的移動(dòng)和變化)兩個(gè)方面。因此，它不是通過將許多小部件或幀放在一起制作視頻，而是可以在一個(gè)平滑的過程中從頭到尾創(chuàng)建整個(gè)視頻。

Lumiere也可以做很多派對(duì)技巧，在谷歌的演示頁面上有很好的例子。例如，它可以執(zhí)行文本到視頻的生成(將書面提示轉(zhuǎn)換為視頻)，將靜止圖像轉(zhuǎn)換為視頻，使用參考圖像生成特定風(fēng)格的視頻，使用基于文本的提示應(yīng)用一致的視頻編輯，通過動(dòng)畫圖像的特定區(qū)域創(chuàng)建電影圖形，并提供視頻繪畫功能(例如，它可以改變一個(gè)人穿著的衣服的類型)。

在Lumiere的研究論文中，谷歌研究人員表示，AI模型輸出5秒長的1024×1024像素視頻，他們稱之為“低分辨率”。盡管存在這些限制，但研究人員進(jìn)行了一項(xiàng)用戶研究，并聲稱Lumiere的輸出比現(xiàn)有的AI視頻合成模型更受歡迎。