論文鏈接：https://arxiv.org/pdf/2407.16655
項目主頁：https://aim-uofa.github.io/MovieDreamer/
github鏈接：https://github.com/aim-uofa/MovieDreamer

亮點直擊

• MovieDreamer，一個新穎的分層框架，將自回歸模型與擴散渲染結合起來，平衡長時間敘事連貫性與短時間視覺保真度。該方法大幅延長了生成視頻內容的時長，達到數千個關鍵幀。
• 使用多模態自回歸模型生成視覺token序列。自回歸模型支持zero-shot和few-shot的個性化生成場景，并支持可變長度的關鍵幀預測。
• 使用了一種新穎的多模態腳本，對場景和角色身份進行分層結構化豐富描述。這種方法不僅促進了視頻不同片段之間的敘事連貫性，還增強了角色控制和身份保持能力。
• 方法展示了卓越的生成質量，具有詳細的視覺連續性、高保真度的視覺細節以及角色身份保持能力。

最近的視頻生成技術進展主要利用擴散模型來生成短時內容。然而，這些方法在處理復雜敘事和保持角色一致性方面常常不足，而這些對于電影等長篇視頻制作至關重要。本文提出了MovieDreamer，一個新穎的分層框架，將自回歸模型的優勢與基于擴散的渲染相結合，開創了具有復雜情節進展和高視覺保真度的長時視頻生成。本文的方法利用自回歸模型來保持整體敘事連貫性，預測視覺token序列，然后通過擴散渲染將其轉換為高質量的視頻幀。這種方法類似于傳統的電影制作過程，將復雜的故事分解為可管理的場景拍攝。

此外，本文采用多模態腳本，豐富了場景描述，提供詳細的角色信息和視覺風格，增強了場景間的連續性和角色身份一致性。本文在各種電影類型中進行了廣泛的實驗，證明本文的方法不僅在視覺和敘事質量上取得了優異的成績，而且有效地將生成內容的時長顯著延長，超越了當前的能力。

方法

概覽

本文提出了一種新穎的框架，用于生成擴展的視頻序列，該框架利用自回歸模型在長期時間一致性方面的優勢和擴散模型在高質量圖像渲染方面的優勢。本文的方法以多模態腳本作為條件，以自回歸方式預測關鍵幀tokens，并使用這些幀作為anchor生成完整的視頻。本文的方法提供了靈活性，支持zero-shot生成以及需要遵循給定風格的few-shot場景。本文特別注意在多模態腳本設計、自回歸訓練和擴散渲染過程中保持角色身份的一致性。下圖2中展示了整體框架。

通過擴散自編碼器進行關鍵幀tokens

自回歸關鍵幀tokens生成

傳統的 LLM 通常使用交叉熵損失進行訓練，這適用于離散輸出。然而，本文的模型處理的是連續實值圖像tokens，使得交叉熵不適用。

受 GIVT的啟發，本文采用 k-混合高斯混合模型（GMM）來有效地建模這些實值tokens的分布。這涉及用 2kd 個均值、2kd 個方差和 k 個混合系數來參數化 GMM。

這些參數是通過自回歸模型的一個修改后的線性輸出層獲得的，從而能夠從 GMM 中采樣連續tokens。模型通過最小化負對數似然進行訓練：

為了解決自回歸模型在長視頻關鍵幀生成中的過擬合問題，本文實施了幾種關鍵策略：

• 數據增強：為了最大限度地利用本文的訓練數據，本文應用了隨機水平翻轉和隨機反轉視頻幀的時間順序。這種訓練數據增強大大增加了訓練數據的多樣性。
• 面部embedding隨機化：為了防止身份泄露，本文隨機檢索同一角色在不同幀中的面部embedding。否則，模型會簡單地通過面部embedding輸入記住訓練幀。
• 激進的Dropout：本文使用了異常高的50%的Dropout率，這對于從有限的訓練數據中進行廣泛學習至關重要。
• tokens mask：本文以0.15的概率隨機mask輸入tokens，這適用于因果注意力mask。這迫使模型根據可用的上下文（如面部ID）推斷缺失的信息，進一步增強了其從部分數據中進行泛化的能力。

自回歸條件下的多模態腳本。本文開發了一種結構良好的多模態腳本格式，作為自回歸模型的輸入，如下圖14所示。本文的腳本整合了多個維度：角色、場景元素和敘述弧線。僅使用文本來準確表示角色外貌是具有挑戰性的；因此，本文將文本描述與面部embedding結合起來，以提供每個角色的更詳細表示。為了便于自回歸模型的處理，本文將腳本格式結構化，以明確區分這些元素。

對于非文本模態（如面部embedding和壓縮tokens），本文使用多層感知器將其投射到LLaMA的embedding空間中。主要的挑戰在于文本數據，它往往會產生長序列，從而消耗過多的tokens空間并限制模型的上下文廣度。為了解決這個問題，本文將文本視為一種單獨的模態，將其分為“標識符”和“描述”（見上圖2）。標識符是簡潔的陳述，用于建立腳本的結構。相比之下，描述則詳細說明了生成的屬性，每個描述都使用CLIP編碼為一個單獨的[CLS]tokens，然后投射到統一的輸入空間中。

這種方法通過將整個句子壓縮成單個tokens，顯著延長了訓練期間可用的上下文長度。本文使用LongCLIP作為描述的文本編碼器，支持最多248個tokens的輸入，這增強了本文處理詳細敘述內容的能力。因此，時間步t的多模態腳本及其之前的歷史數據表示為：

個性化生成的few-shot訓練。 為了促進個性化電影內容生成，本文提出了一種利用上下文學習的few-shot學習方法。在訓練過程中，本文從一集中隨機選擇10個幀，將它們編碼為視覺tokens，并隨機將這些tokens添加到該集的視覺tokens之前。這一策略不僅促進了上下文學習，使模型能夠根據參考幀定制內容，還作為一種數據增強技術，有效減輕了過擬合問題。

本文的模型具有多功能性，支持zero-shot和few-shot生成模式。在zero-shot模式下，模型僅根據文本提示生成內容。在few-shot模式下，模型利用一小組用戶提供的參考圖像，使生成的內容更符合用戶的偏好，而無需進一步訓練。這一功能確保用戶能夠高效地生成高質量、定制化的視覺內容，符合他們期望的主題和風格。

保留 ID 的擴散渲染

為了進一步提升模型對關鍵細節的關注能力，本文引入了一種隨機mask策略，該策略會遮蔽一部分輸入token。這種技術鼓勵解碼器更有效地利用現有的面部和文本線索，以更高的保真度重建圖像，特別是在保持身份特征方面。這種身份保留渲染也彌補了在自回歸建模過程中身份丟失的問題，如下圖3所示，顯著提高了身份感知質量。

基于關鍵幀的視頻生成

在獲得電影中的關鍵幀后，本文可以基于這些關鍵幀生成電影片段。一種直接的方法是利用現有的圖像到視頻模型，例如Stable Video Diffusion (SVD)，來生成這些片段。具體來說，SVD將輸入圖像轉化為用于條件的潛在特征，并通過交叉注意力引入與輸入圖像的CLIP特征的交互。雖然SVD能夠生成高質量的短視頻，例如25幀，但在生成更長的電影片段時會遇到困難。

為了生成更長的電影片段，一種直接的方法是利用前一個視頻的最后一幀作為生成后續視頻的初始幀。這個過程可以迭代進行，以獲得較長的視頻序列。然而，本文通過實驗證明，這會導致嚴重的錯誤積累：隨著時間的推移，視頻幀的質量會逐漸惡化。

為了解決這個問題，本文提出了一種簡單而有效的解決方案。本文的動機是始終使用第一幀的特征作為視頻擴展過程中的“錨”，以增強模型對原始圖像分布的感知。在實際操作中，本文在生成后續視頻時，使用原始輸入圖像的CLIP特征，而不是前一個視頻的最后一幀進行交叉注意力交互。

實驗

與最先進的模型比較

故事生成。 許多現有的故事生成方法專注于使用小數據集進行微調，表現出較差的泛化能力。因此，本文僅與那些展示出高泛化能力的方法進行比較，即StoryDiffusion和 StoryGen。如下圖4所示，StoryDiffusion無法保持長期一致性。例如，角色的頭發不一致，關鍵幀77中的角色與關鍵幀968中的角色不一致。類似地，StoryGen也未能保持一致性并生成了異常結果。相比之下，本文的方法在生成極長內容的同時，能夠在多個角色之間保持短期和長期的一致性。這個觀察也通過下表1中的定量結果得到了證實，本文的方法在LT和ST指標上均取得了高分。此外，更高的CLIP得分反映了本文生成的結果與故事情節很好地契合。更好的IS、AS和FID得分表明本文的方法生成了高質量的圖像。

視頻結果。 本文對生成長視頻的方法進行了詳細比較。對于文本到視頻的方法，本文使用測試集中準備的詳細描述作為輸入。對于圖像到視頻的方法，本文采用由本文的方法生成的關鍵幀作為輸入。如下表2所示，本文的方法在質量方面顯著優于現有的開源模型，展示了強大的泛化能力。最重要的是，本文的方法能夠生成持續數小時的視頻，且質量幾乎沒有妥協，達到了最先進的水平。

分析

反過擬合策略。 大型自回歸模型是強大的學習器，這使得它們很容易對數據集過擬合。如下圖6的第一行所示，生成的內容主要由輸入字符主導。即使給出不同的文本提示，模型也會生成相似的視覺內容。本文的反過擬合策略旨在削弱字符ID與目標幀之間的對應關系，從而避免簡單的記憶。如第二行所示，這有助于生成與文本描述高度一致的多樣化高質量結果。

多模態電影腳本。 多模態腳本引入了面部embedding，以更好地保持一致性。下圖5有力地展示了這種設計的有效性。具體來說，移除面部embedding會導致模型保持角色一致性的能力下降。面部embedding攜帶了比單純文本更細致和精確的信息。使用面部embedding后，短期和長期的一致性都得到了很好的保持。

ID保持渲染。 在啟用ID保持渲染之前，本文的解碼器已經顯示出重建目標圖像的能力。然而，對于訓練集外的圖像，由于壓縮token中細微面部特征的丟失，重建的角色外觀可能與預期目標略有不同。應用ID保持渲染后，本文的解碼器在保持角色身份方面表現出顯著增強的能力。實驗結果如上圖3所示，清楚地展示了后處理步驟的有效性。

few-shot個性化生成。 本文的方法作為一個強大的上下文學習者，能夠根據用戶提供的少量參考生成與風格或角色一致的結果。結果展示在下圖7中。本文的模型在few-shot場景下能夠生成與參考風格和角色更一致的結果。

結論

本文提出了MovieDreamer，以應對生成具有復雜敘事的長時間視覺內容的挑戰。該方法巧妙地結合了自回歸和擴散的優勢，能夠生成長視頻。此外，本文設計了多模態腳本，旨在保持生成序列中角色的一致性。本文進一步引入了身份保持渲染，以更好地保持角色身份，并通過上下文建模支持few-shot電影創作。這項工作有望為自動化長時間視頻制作的未來發展開辟令人興奮的可能性。

本文轉自 AI生成未來 ，作者：Canyu Zhao等

原文鏈接:??https://mp.weixin.qq.com/s/bR0AwBo9Hy5KmChdcKXrIQ??