超10秒高分辨率，北大Open Sora視頻生成更強(qiáng)了，還支持華為芯片
OpenAI 在今年年初扔出一項(xiàng)重大研究，Sora 將視頻生成帶入一個(gè)新的高度，很多人表示，現(xiàn)在的 OpenAI 一出手就是王炸。然而，眾多周知的是，OpenAI 一向并不 Open，關(guān)于 Sora 的更多細(xì)節(jié)我們無(wú)從得知。誰(shuí)能率先發(fā)布類(lèi) Sora 研究成了一個(gè)熱門(mén)話(huà)題。
今年 3 月初，北大團(tuán)隊(duì)聯(lián)合兔展啟動(dòng)了 Sora 復(fù)現(xiàn)計(jì)劃 ——Open Sora Plan，該項(xiàng)目希望通過(guò)開(kāi)源社區(qū)的力量復(fù)現(xiàn) Sora。
項(xiàng)目上線(xiàn)一個(gè)月，星標(biāo)量已經(jīng)達(dá)到 6.6k。
- 項(xiàng)目地址：https://github.com/PKU-YuanGroup/Open-Sora-Plan
- 技術(shù)報(bào)告：https://github.com/PKU-YuanGroup/Open-Sora-Plan/blob/main/docs/Report-v1.0.0.md?
現(xiàn)在這個(gè)項(xiàng)目終于有了新成果，Open-Sora-Plan v1.0.0 來(lái)了，新研究顯著增強(qiáng)了視頻生成的質(zhì)量以及對(duì)文本的控制能力。研究者表示，他們正在訓(xùn)練更高分辨率（>1024）以及更長(zhǎng)時(shí)間（>10s）的視頻。目前該項(xiàng)目已支持國(guó)產(chǎn) AI 芯片（華為昇騰 910b）進(jìn)行推理，下一步將支持國(guó)產(chǎn)算力訓(xùn)練。
項(xiàng)目作者林彬表示：Open-Sora-Plan v1.0.0 可以生成1024×1024分辨率視頻，也能生成10 秒、24 FPS 的高清視頻。而且它還能夠生成高分辨率圖像。
下面我們看一下 v1.0.0 的效果（為了展示，動(dòng)圖進(jìn)行了一些壓縮，會(huì)損失一些質(zhì)量）。
文本到視頻生成
提示：沿海景觀(guān)從日出到黃昏過(guò)渡的延時(shí)拍攝……
文本到圖像生成（512×512 ）
視頻重建（720×1280）
圖像重建（1536×1024）：
在實(shí)現(xiàn)細(xì)節(jié)方面，通過(guò)團(tuán)隊(duì)放出的技術(shù)報(bào)告，我們得知模型架構(gòu) CausalVideoVAE 概覽圖如下所示：
CausalVideoVAE 架構(gòu)繼承自 Stable-Diffusion Image VAE。為了保證 Image VAE 的預(yù)訓(xùn)練權(quán)重能夠無(wú)縫應(yīng)用到 Video VAE 中，模型結(jié)構(gòu)設(shè)計(jì)如下：
CausalConv3D：將 Conv2D 轉(zhuǎn)換為 CausalConv3D，可以實(shí)現(xiàn)圖像和視頻數(shù)據(jù)的聯(lián)合訓(xùn)練。CausalConv3D 對(duì)第一幀進(jìn)行特殊處理，因?yàn)樗鼰o(wú)法訪(fǎng)問(wèn)后續(xù)幀。
初始化：Conv2D 擴(kuò)展到 Conv3D 常用的方法有兩種：平均初始化和中心初始化。但本文采用了特定的初始化方法 tail 初始化。這種初始化方法確保模型無(wú)需任何訓(xùn)練就能夠直接重建圖像，甚至視頻。
訓(xùn)練細(xì)節(jié)：
上圖展示了 17×256×256 下兩種不同初始化方法的損失曲線(xiàn)。黃色曲線(xiàn)代表使用 tail init 損失，而藍(lán)色曲線(xiàn)對(duì)應(yīng)中心初始化損失。如圖所示，tail 初始化在損失曲線(xiàn)上表現(xiàn)出更好的性能。此外，該研究發(fā)現(xiàn)中心初始化會(huì)導(dǎo)致錯(cuò)誤累積，導(dǎo)致在長(zhǎng)時(shí)間內(nèi)崩潰。
訓(xùn)練擴(kuò)散模型。與之前的工作類(lèi)似，該研究采用了多階段級(jí)聯(lián)訓(xùn)練方法，總共消耗了 2048 A800 GPU 小時(shí)。研究發(fā)現(xiàn)，圖像聯(lián)合訓(xùn)練顯著加速了模型收斂并增強(qiáng)了視覺(jué)感知，這與 Latte 的研究結(jié)果一致。
?
不過(guò)，目前發(fā)布的 CausalVideoVAE（v1.0.0）有兩個(gè)主要缺點(diǎn)：運(yùn)動(dòng)模糊和網(wǎng)格效果。團(tuán)隊(duì)正在改進(jìn)這些缺點(diǎn)，后續(xù)版本很快就會(huì)上線(xiàn)。
本文轉(zhuǎn)自 機(jī)器之心 ，作者：機(jī)器之心
