像俄羅斯方塊一樣生成視頻！ 北大聯合快手AI團隊推出新框架VideoTetris實現跟隨復雜指令的文生視頻！
Paper: ??https://arxiv.org/abs/2406.04277??Code: ??https://github.com/YangLing0818/VideoTetris??Project: ??https://videotetris.github.io/???
擴散模型在文本到視頻（T2V）生成方面取得了巨大成功，視頻生成模型正以飛快的速度發展。
然而，現有的文生視頻模型在應對復雜、細節豐富、多物體的指令時，仍存在一定的挑戰。
為了生成更精確的復雜視頻，北京大學與快手AI團隊推出了 VideoTetris，定義了復雜組合指令生成任務，并提出了一個新的框架，實現復雜視頻生成。這個框架不僅能夠直接增強現有模型的組合生成，還能夠支持涵蓋多復雜指令、多場景變更等更高難度的長視頻生成。
具體而言，提出了時空合成擴散，通過在空間和時間上操縱和合成去噪網絡的注意力圖來精確地遵循復雜的文本特征。此外，還提出了一種增強的視頻數據預處理方法，以增強訓練數據的運動動力學和快速理解，并配備了一種新的參考幀注意力機制，以提高自回歸視頻生成的一致性。
就像拼俄羅斯方塊一樣，輕松實現更精妙的組合細節！
總體貢獻總結如下：
- 介紹了一種時空合成擴散方法，用于處理具有多個對象的場景并遵循漸進的復雜提示。
- 開發了一個增強的視頻數據預處理pipeline，通過運動動力學和提示語義增強自回歸長視頻生成。
- 提出了一種具有參考幀注意力的一致性正則化方法，該方法在合成視頻生成中保持內容一致性。
- VideoTetris可以生成最先進的高質量合成視頻，也可以生成符合漸進合成提示的高質量長視頻，同時保持最佳一致性。
組合生成
在文生圖領域，RPG、Omost等項目已經實現了復雜的組合式多物體多場景圖片生成。而在文生視頻領域，組合生成自然地擴展到時間和空間維度，這樣的場景還未被廣泛探索。團隊首次定義了組合視頻生成任務，包括兩個子任務：
1、跟隨復雜組合指令的視頻生成。
2、跟隨遞進的組合式多物體指令的長視頻生成。在第一個場景中，我們輸入“左邊一個可
愛的棕色狗狗，右邊一只打盹的貓在陽光下小憩”這樣的簡單指令給文生視頻模型。幾乎所有開源模型都未能生成正確的視頻，如：
Animatediff:
opensora plan v1.1:
videocrafter2:
這些模型生成出融合了兩個物體信息的奇怪視頻。而使用 videotetris，生成出的視頻是這樣的：
貓貓和狗狗自然靈動，同時保留了所有的位置信息和細節特征！甚至說，如果對比已經商用的 Gen-2 和 Pika呢？
Gen-2：
也生成了融合了貓和狗的一只奇怪生物
Pika：
終于生成了兩個小動物，結果搞錯了左右關系
可見 ，VideoTetris 的組合視頻生成能力即使面對商用模型也毫不遜色。
在長視頻生成中，目前的方法支持的可變指令目前還停留在“春夏秋冬”的轉化，或單物體從走到跑到騎馬的場景變化階段。
我們輸入一個簡單的多指令：“從一只可愛的棕色松鼠在一堆榛子上過渡到一只可愛的棕色松鼠和一只可愛的白色松鼠在一堆榛子上”。
將這個指令輸入給 FreeNoise 和 StreamingT2V 這兩個還不錯的長視頻生成模型中，一次性生成長達 30s 的視頻，他們生成的結果是這樣的：
FreeNoise：
松鼠幾乎一動不動，一個松鼠從榛子變身而來，最后兩個竟然都變了色
StreamingT2V:
完全沒有第二個松鼠出現，甚至在視頻末期出現了嚴重的偏色
而VideoTetris生成的視頻是這樣的，到視頻最后，生成了一個靈動的白松鼠和另一個棕松鼠，兩只松鼠還在自然地交換食物
技術實現
這樣的效果是如何做到的呢？該團隊的 VideoTetris 框架使用了 時空組合擴散 方法。
他們將一個提示詞首先按照時間解構，為不同的視頻幀指定好不同的提示信息。
隨后，在每一幀上進行空間維度的解構，將不同物體對應不同的視頻區域。
最后，通過時空交叉注意力進行組合，通過這個過程實現高效的組合指令生成。
而為了生成更高質量的長視頻，該團隊還提出了一種增強的訓練數據預處理方法。使得長視頻生成更加動態穩定。此外，還引入了一個參考幀注意力機制，使用原生 VAE 對之前的幀信息編碼，區別于 StreamingT2V, Vlogger, IPAdapter 等使用 CLIP 編碼的方式，這樣使得參考信息的表示空間和噪聲完全一致，輕松獲取更好的內容一致性。
這樣優化的結果是，長視頻從此不再有大面積偏色的現象，能夠更好地適應復雜指令，并且生成的視頻更具有動感，更符合自然。
時空組合擴散模型
動機 為了實現自然的組合生成，一個直接的方法是使用布局作為條件來指導生成過程。然而，這種方法提出了幾個挑戰: (i)需要大規模的訓練。鑒于布局到圖像模型改進的巨大潛力，訓練布局到視頻模型或訓練布局到圖像模型的時間卷積和注意力層將需要大量的計算資源，并可能難以跟上文本到視頻模型的最新進展。(ii)基于布局的生成模型對目標邊界框施加了很大的限制。由于視頻持續時間較長，需要不斷調整這些box的位置和大小，以保持連貫的視頻內容，因此需要一個復雜的規劃過程，這增加了整個方法的復雜性。因此，我們提出了一種直接調整不同目標交叉注意力的無訓練方法，而不是訓練布局到視頻模型，如下圖3所示。這種方法旨在克服基于布局的方法的局限性，并利用更靈活和高效的生成技術的潛力。
基于 LM 的自動時空分解器(可選) 或者，時空分解過程可以直接利用大語言模型(LLM)來自動化任務，因為 LLM 在語言理解，推理，摘要和區域生成能力方面具有強大的性能。利用 LLM 的上下文學習(ICL)能力，引導模型使用思維鏈(CoT)推理。具體來說，首先引導 LLM 對故事進行時間分解，生成框架式提示，并使用 LLM 接收每一個提示，以獲得更好的語義豐富性。然后，使用另一個 LLM 將每個提示符空間分解為對應于不同對象的多個提示符，并為每個子提示符分配一個區域mask。具體的提示模板，包括任務規則(指令) ，上下文示例(演示)見附錄。
利用 α 參數調節全局信息和個體特征之間的平衡，使視頻內容更符合人類的審美感知。最后，自然而然地將所有交叉注意值連接起來，這些交叉注意值是沿著時間維度計算的:
通過這種方式，無論是對于預先訓練的文本到視頻模型，如 Modelscope，Animatediff，VideoCrafter2和 Latte，還是對于更長的視頻生成如 StreamingT2V 的自回歸模型，這種方法可以直接應用于無訓練的方式，以獲得合成的，一致的和美觀的結果。
增強的視頻數據預處理
運動動增強力學 對于自回歸視頻生成，我們經驗性地發現 StreamingT2V在生成一致的內容方面是最有效的。然而，在視頻生成的后期階段，有一個顯著的趨勢，即出現質量差的病例和顏色退化。我們把這個問題歸因于原始訓練數據的次優質量。為了提高長視頻生成的運動一致性和穩定性，必須對視頻數據進行過濾，以保持高質量的內容和一致的運動動力學。受到 Stable Video Diffusion的啟發，我們經驗性地觀察到視頻的光流量與其運動幅度之間存在顯著的相關性。過低的光流通常對應于靜態視頻幀，而過高的光流通常表明幀有劇烈的變化。為了確保生成平滑和合適的視頻數據，通過選擇 RAFT計算的平均光流分數在指定范圍(s1至 s2)內的視頻來過濾 Panda-70M。
強化提示語義 雖然Panda-70M的視頻顯示出最好的視覺質量，配對提示往往是相對簡短的，這與我們的目標，生成視頻堅持復雜的，詳細的，組合提示。直接使用這些數據進行訓練可能會導致視頻生成模型不能充分理解復雜的合成提示。受到最近文本到圖像的研究的啟發，已經證明高質量的提示可以顯著提高視覺內容的輸出質量。因此，在過濾了最初的一組視頻之后，對選定的樣本執行重述過程，以確保它們更好地與我們的目標保持一致。使用三個多模態 LLM 來生成每個視頻的時空上錯綜復雜的詳細描述，然后使用一個 LLM 來合并這些描述，提取公共元素，并添加進一步的信息。
具有參考幀注意的一致性正則化
我們的方法涉及到在長視頻中添加和刪除不同的對象，在整個視頻中保持每個對象的一致性對于最終輸出是至關重要的。最一致的 ID 控制方法，如 IP-Adapter，StreamingT2V，InstantID和 Vlogger，通常使用圖像編碼器(通常是 CLIP)編碼參考圖像，然后將結果整合到交叉注意力塊中。然而，由于 CLIP 是在圖像-文本對上預訓練的，所以它的圖像embedding被設計成與文本對齊。
一致性控制則側重于保證同一物體在不同幀中的特征信息相似，且不涉及文本。我們假設使用 CLIP 是一種間接的方法，并提出引用框架注意來保持目標特征的幀間一致性。形式上，首先直接對參考圖像進行編碼，這些圖像通常是物體出現的初始幀，使用與預先訓練的 T2V 模型相同的自編碼器。這保證了潛在去噪過程中的計算目標與隱含表示空間中的參考目標在空間上是一致的。然后我們訓練一個2D卷積層和映射層，它們在結構上與原始pipeline中的結構相同。這一過程可以表現為:
評測和效果
而對于這種組合生成的結果評測工作，該團隊引入了新的評測指標 VBLIP-VQA 和 VUnidet，將組合生成評價方法首次擴展到視頻維度。實驗測試表明，在組合視頻生成能力上，該模型的表現超過了所有開源模型，甚至是商用模型如 Gen-2 和 Pika。
與SOTA文本到視頻模型相比，具有合成提示的視頻生成的定性結果:
更多VideoTetris的定性結果:
更多的樣例歡迎訪問項目主頁：https://videotetris.github.io/
本文轉自 AI生成未來，作者：Ye Tian等
