LongVie突破超長視頻生成極限：1分鐘電影級絲滑視頻，雙模態(tài)控制告別卡頓退化
論文鏈接：??https://arxiv.org/pdf/2508.03694??
項目鏈接：https://vchitect.github.io/LongVie-project/?
亮點直擊
- 對現(xiàn)有可控長視頻生成模型的局限性進行了全面分析，識別出兩個關(guān)鍵挑戰(zhàn)：長期時序不一致性和視覺質(zhì)量退化?；诖颂岢?strong>LongVie，首個用于可控長視頻生成的自回歸框架。
- 為了提升視覺質(zhì)量，提出了一種多模態(tài)控制機制，將密集控制信號與稀疏控制信號相結(jié)合，以發(fā)揮它們各自的優(yōu)勢。同時引入一種感知退化的訓(xùn)練策略，以平衡它們的貢獻。
- 為了增強時間一致性，利用了統(tǒng)一的噪聲初始化和全局控制信號歸一化，從而在時間步之間實現(xiàn)世界一致性生成動態(tài)。
- 引入了LongVGenBench，一個用于可控長視頻生成的評估數(shù)據(jù)集，包含100個多樣化、高質(zhì)量的視頻，每個視頻長度均不少于一分鐘。
LongVie:一種可控超長視頻生成框架
總結(jié)速覽
解決的問題
- 長期時序不一致性：現(xiàn)有方法在生成長視頻時難以保持前后幀之間的時間一致性，導(dǎo)致動作不連貫或場景突變。
- 視覺質(zhì)量退化：隨著視頻長度增加，生成內(nèi)容的細(xì)節(jié)和清晰度顯著下降。
- 控制能力不足：單一模態(tài)的控制方式（如僅使用文本或關(guān)鍵點）難以精準(zhǔn)引導(dǎo)復(fù)雜視頻內(nèi)容。
提出的方案
- 提出LongVie：首個用于可控超長視頻生成的端到端自回歸框架，從根本上解決長視頻生成中的一致性與質(zhì)量問題。
- 構(gòu)建LongVGenBench：一個專為可控長視頻生成設(shè)計的評測基準(zhǔn)集，包含100個多樣化、高質(zhì)量的視頻（每個視頻時長超過1分鐘）。
應(yīng)用的技術(shù)
- 統(tǒng)一的噪聲初始化策略：確保不同時間段的視頻片段在生成過程中保持連續(xù)性，提升時序一致性。
- 全局控制信號歸一化機制：在整個視頻生成過程中統(tǒng)一控制信號的尺度和分布，避免控制漂移。
- 多模態(tài)控制框架：
- 融合稀疏控制信號（如關(guān)鍵點）與密集控制信號（如深度圖），提升控制精度和靈活性。
- 感知退化訓(xùn)練策略：
- 動態(tài)調(diào)整不同模態(tài)控制信號的重要性，緩解長時生成中的視覺退化問題。
達到的效果
- 在多個維度上實現(xiàn)了SOTA性能：
- 長距離可控性：能夠精確控制超過一分鐘的視頻內(nèi)容。
- 時序一致性：生成的視頻在時間維度上保持連貫自然。
- 視覺質(zhì)量：在長時生成過程中仍保持高分辨率和高保真度。
- LongVGenBench為后續(xù)研究提供了統(tǒng)一的評估標(biāo)準(zhǔn)，推動了超長視頻生成領(lǐng)域的發(fā)展。
方法
概述。 在 CogVideoX 的基礎(chǔ)上擴展了一個 ControlNet 風(fēng)格的架構(gòu)，以引入外部控制信號。一個輕量級的控制分支與基礎(chǔ)模型部分共享，用于處理控制信號。盡管在短視頻合成中表現(xiàn)有效，但大多數(shù)基于擴散的可控模型（包括 CogVideoX 及其變體）并未設(shè)計用于處理長時長生成，例如一分鐘的序列。生成如此長的視頻在一次前向傳播中計算代價過高。因此，常見的做法是以自回歸的方式生成視頻——依次生成短片段，每個片段從前一個片段的最后一幀開始初始化。在本文的實現(xiàn)中，采用了這種策略，使用了一個基于深度圖引導(dǎo)的 CogVideoX 變體。然而，正如下一小節(jié)所討論并在下圖2中所示，這種策略引入了兩個主要挑戰(zhàn)：（1）連續(xù)片段之間的時間不一致性，以及（2）由于誤差累積導(dǎo)致的逐步質(zhì)量下降。
重新思考可控長視頻生成
時間不一致性。 為了研究時間不一致性的來源，本文分析了可控視頻生成模型中使用的輸入信號。在依賴外部控制的模型中，例如深度圖（見下圖3 (a)），這些信號通常是對每個片段獨立歸一化的。本文發(fā)現(xiàn)，這種逐片段歸一化在片段之間引入了不一致性。例如，同一場景在連續(xù)片段中可能具有不同的深度值。結(jié)果是，模型在片段之間接收到不匹配的引導(dǎo)，從而扭曲了其對場景幾何和運動連續(xù)性的感知。這會導(dǎo)致時間偽影，例如不自然的縮放或突然的視角變化（下圖3 (a)）。這些發(fā)現(xiàn)表明，獨立歸一化破壞了片段之間控制信號的對齊，特別是當(dāng)這些信號缺乏全局上下文或一致的參考尺度時，最終導(dǎo)致片段之間出現(xiàn)可見的不一致性。
受到本文對控制信號歸一化分析的啟發(fā)，本文進一步研究了噪聲初始化對時間一致性的影響。在基于擴散的視頻生成中，初始噪聲在決定輸出的整體結(jié)構(gòu)和運動方面起著關(guān)鍵作用。本文觀察到，時間不一致性經(jīng)常出現(xiàn)在每個生成片段的開頭，表明噪聲初始化與時間擾動之間存在強相關(guān)性。在標(biāo)準(zhǔn)的自回歸生成中，每個片段都從不同的隨機噪聲輸入中采樣。這種變化在片段之間引入了運動、外觀或場景布局的不一致性，即使控制信號保持對齊。本文的實證研究（見上圖3 (b)）驗證了這一效應(yīng)：與第一個片段相比，初始化噪聲差異（通過均方根誤差 RMSE 衡量）較大的片段，更容易表現(xiàn)出明顯的時間不一致性，如上圖3 (b) 中的結(jié)構(gòu)相似性指數(shù)（SSIM）曲線所示。
總之，長視頻生成中的時間不一致性主要由片段之間未對齊的控制信號和初始化噪聲的變化引起，這兩者都會破壞運動和外觀的連續(xù)性。
視覺質(zhì)量退化。 在對時間不一致性的分析基礎(chǔ)上，進一步研究了長視頻生成中的視覺質(zhì)量退化問題。使用逐幀信號控制長視頻生成是一種在實踐中保持穩(wěn)定性和視覺質(zhì)量的策略。然而，不同的控制模態(tài)具有固有的權(quán)衡，這限制了它們在長序列中的有效性。以深度圖作為一種稠密模態(tài)為例，它在幀間提供像素級的結(jié)構(gòu)信息。雖然它在保持局部幾何方面有效，但對鄰近或遠(yuǎn)處區(qū)域的控制能力有限，且缺乏表示高級語義（如物體運動或場景動態(tài)）的能力。如圖4所示，這些限制在復(fù)雜場景中會導(dǎo)致偽影和質(zhì)量下降。相比之下，基于點的控制是一種稀疏模態(tài)，通過指定少量關(guān)鍵點來捕捉語義線索。雖然它在引導(dǎo)運動和物體結(jié)構(gòu)方面有效，但由于其稀疏性，使其對場景變化敏感，并且在跨幀保持語義對齊方面不夠可靠。這些限制表明，單獨使用稠密或稀疏控制都不足以實現(xiàn)一致的長視頻生成。當(dāng)控制信號無法與不斷變化的場景對齊時，視覺質(zhì)量會逐步退化。
LongVie 框架
為了解決上述挑戰(zhàn)，提出了LongVie——一個用于可控長視頻生成的框架，如下圖5所示。模型的核心是一個多模態(tài)框架，結(jié)合了稠密和稀疏控制，有效地引導(dǎo)場景生成。
多模態(tài)控制注入。 具體來說，采用深度圖作為稠密控制信號，采用點圖作為稀疏控制信號，分別利用深度圖提供的詳細(xì)結(jié)構(gòu)信息和點軌跡捕捉的高級語義線索。為了構(gòu)建點圖序列，遵循 DAS 中的方法，在幀間追蹤一組關(guān)鍵點，并根據(jù)其深度值進行著色。
全局歸一化。 為減少由獨立歸一化控制輸入引起的時間不一致性，本文對深度視頻采用全局歸一化策略。具體而言，本文計算整個視頻序列中所有像素值的第 5 百分位數(shù)和第 95 百分位數(shù)，作為全局最小值和最大值歸一化邊界。然后將深度值截斷至該范圍，并線性縮放至【0，1】 。這種基于百分位的歸一化對異常值具有魯棒性，并確保所有片段中的深度值處于一致的尺度。如上圖 3（右上）所示，該全局歸一化有效減少了片段間的變化，帶來了更時間對齊的控制信號。歸一化后，深度視頻被分割為重疊的片段，以匹配自回歸推理過程，并便于相應(yīng)點圖的提取。
統(tǒng)一噪聲初始化。 為進一步增強時間一致性，本文在生成過程中對所有視頻片段使用共享的噪聲初始化。本文不再為每個片段單獨采樣噪聲向量，而是采樣一個統(tǒng)一的噪聲實例，并將其應(yīng)用于整個序列。該統(tǒng)一噪聲作為一致的潛在先驗，減少了由獨立采樣噪聲引起的相鄰片段之間的變化。如上圖 3（右下）所示，這種方法顯著提升了時間連貫性，緩解了閃爍現(xiàn)象，并促進了生成視頻中的平滑過渡。
模態(tài)平衡的退化策略。 雖然多模態(tài)控制有可能帶來更豐富和更準(zhǔn)確的視頻生成，但簡單地結(jié)合稠密和稀疏控制信號并不能保證性能提升。在實踐中，本文觀察到像深度這樣的稠密信號往往在生成過程中占主導(dǎo)地位，常常壓制了關(guān)鍵點等稀疏信號所提供的語義和運動層級引導(dǎo)。這種不平衡可能導(dǎo)致視覺質(zhì)量不佳，特別是在需要時間上的高級語義對齊的場景中。
為了解決這個問題，本文提出了一種基于退化的訓(xùn)練策略，旨在調(diào)節(jié)稠密控制信號的相對影響力，并鼓勵更平衡地利用兩種模態(tài)。該策略通過在特征層和數(shù)據(jù)層的受控擾動，削弱稠密輸入的主導(dǎo)性：
該操作降低了稠密特征的幅度，使模型更加依賴稀疏模態(tài)所提供的補充信息。隨著時間推移，這促使網(wǎng)絡(luò)學(xué)習(xí)更平衡地整合兩種控制來源。
b）自適應(yīng)模糊增強： 對稠密輸入應(yīng)用一個平均模糊操作，使用一個隨機選擇的奇數(shù)大小核來降低圖像清晰度，從而限制模型對局部深度細(xì)節(jié)的過擬合傾向。
這些退化方法共同防止對稠密信號的過度依賴，并提升模型整合稀疏模態(tài)補充信息的能力，最終增強生成視頻的長期質(zhì)量和一致性。
面向下游視頻生成任務(wù)的多樣性
視頻編輯。 LongVie 可用于長距離視頻編輯。本文首先編輯初始幀，選擇目標(biāo)區(qū)域并使用 FLUX 的填充模型進行補全。補全后的幀與稠密和稀疏控制信號一起輸入 LongVie，以生成時間一致的編輯視頻。
運動與場景遷移。 LongVie 支持跨長視頻的運動與場景遷移。給定一個具有目標(biāo)運動或布局的源視頻，使用 FLUX 的深度到圖像模型合成反映所需屬性的初始幀。提取深度圖和點圖作為 LongVie 的控制信號，從而生成在保持遷移運動或場景的同時，確保時間和視覺一致性的視頻。
可控的 Mesh 到視頻生成。 LongVie 能夠從無紋理的動畫 3D 網(wǎng)格生成長視頻。本文在 3D 引擎（例如 Blender）中渲染網(wǎng)格以生成動畫。使用 depth-to-image 模型合成初始風(fēng)格化幀，并從動畫中提取深度圖和點軌跡。這些信號引導(dǎo) LongVie 生成連貫、高質(zhì)量的視頻，使動畫 3D 資產(chǎn)能夠無縫集成到真實感領(lǐng)域中。
實驗
實現(xiàn)細(xì)節(jié)。 通過復(fù)制并微調(diào)每個模型中的 18 個 DiT 模塊來實現(xiàn) LongVie。在訓(xùn)練過程中，首先使用 Video Depth Anything 提取深度圖作為稠密控制信號，然后應(yīng)用 SpatialTracker 基于歸一化深度跟蹤 3D 點。按照 DAS 的方法，本文從每個短視頻中均勻采樣 4,900 個點作為稀疏控制信號。每個訓(xùn)練視頻被劃分為 49 幀的片段，分辨率為 480x720，幀率為 8 幀每秒（fps）。然后，使用 Qwen2.5-VL-7B 自動為訓(xùn)練視頻生成字幕?？偣彩褂昧?130,000 個視頻來訓(xùn)練 LongVie。訓(xùn)練數(shù)據(jù)包括 ACID、VchitectT2VDataVerse 和 MovieNet。
定性與定量結(jié)果
LongVGenBench。 為了解決缺乏適用于可控長視頻生成的基準(zhǔn)問題，引入了 LongVGenBench，這是一個包含 100 個 one-shot 視頻的數(shù)據(jù)集，每個視頻時長至少為一分鐘，分辨率為 1080p?，F(xiàn)有數(shù)據(jù)集不足以勝任此任務(wù)，因為它們?nèi)狈﹂L時間、連續(xù)、one-shot 的視頻，而這對于評估時間一致性和可控性至關(guān)重要。LongVGenBench 覆蓋了多種真實世界和游戲場景，并包含諸如快速場景切換和復(fù)雜動作等具有挑戰(zhàn)性的案例，使其成為該任務(wù)的強基準(zhǔn)。用于評估時，每個視頻被劃分為多個 6 秒片段，并使用 Qwen-2.5-VL-7B 自動生成字幕作為提示。每個視頻進一步被分割為十個 49 幀的片段，幀率為 8 fps，片段之間有 1 幀重疊，遵循本文實驗中使用的自回歸設(shè)置。從劃分后的片段中提取控制信號。在驗證過程中，不對每個視頻的第一幀進行任何變換，以確保公平比較并實現(xiàn)對生成質(zhì)量的準(zhǔn)確評估，因為可參考的真實幀是可用的。
評估指標(biāo)與基線模型。 為了評估 LongVie 的有效性，本文對多個視頻生成模型進行了適配，以支持長視頻生成，包括基礎(chǔ)模型 CogVideoX；可控模型 VideoComposer、Motion-I2V、Go-With-The-Flow 和 DAS；以及一個基于深度控制的 CogVideoX 變體，稱為 Depth-LV。本文還與 StreamingT2V 進行了比較，這是一個強大的基于圖像驅(qū)動的長視頻生成基線模型。
在評估中，遵循廣泛使用的基準(zhǔn) VBench，并采用七個指標(biāo)——背景一致性（Background Consistency）、主體一致性（Subject Consistency）、整體一致性（Overall Consistency）、時間風(fēng)格（Temporal Style）、動態(tài)程度（Dynamic Degree）、時間閃爍（Temporal Flickering）和成像質(zhì)量（Imaging Quality）——來評估時間連貫性和視覺逼真度。本文還報告了傳統(tǒng)的基于相似度的指標(biāo)，包括 SSIM 和 LPIPS，以量化生成視頻相對于其輸入?yún)⒖嫉闹亟ㄙ|(zhì)量。
實驗結(jié)果。 下表 1 中的定量結(jié)果表明，LongVie 在所有基線模型中實現(xiàn)了最佳的時間一致性和可控性，達到了最先進的性能。
為了進一步展示 LongVie 在可控長視頻生成方面的有效性，本文在下圖 7 中展示了視頻編輯結(jié)果，LongVie 能夠忠實地替換指定的目標(biāo)角色或物體。
下圖 8 展示了動作和場景遷移的結(jié)果，表明 LongVie 能夠處理復(fù)雜的動作和場景變換。此外，
在下圖 9 中展示了可控的 mesh-to-video 生成結(jié)果。本文首先將所需的動畫 3D 模型放置在 Blender 中，并使用 FLUX 進行重新上色。如圖所示，LongVie 成功地從重新上色的網(wǎng)格中合成了高質(zhì)量的視頻。
用戶研究。 為了全面評估各模型，本文精心設(shè)計并開展了一項主觀用戶研究。為了減輕參與者的疲勞，本文對評估流程進行了相應(yīng)設(shè)計。從生成的視頻中，本文隨機選擇了 80 個樣本，每個樣本都配有相應(yīng)的提示詞和控制信號。評估聚焦于五個關(guān)鍵方面：視覺質(zhì)量（Visual Quality）、提示詞與視頻一致性（Prompt-Video Consistency）、條件一致性（Condition Consistency）、顏色一致性（Color Consistency）以及時間一致性（Temporal Consistency）。本文比較了五個模型：CogVideoX、StreamingT2V、DAS-LV、Depth-LV 和 LongVie。共邀請了 60 名參與者。對于每個評估維度，參與者對五個模型的輸出進行排序，最好的賦 5 分，最差的賦 1 分。所有評估的平均得分匯總于下表 2。如圖所示，本文提出的方法 LongVie 在所有評估標(biāo)準(zhǔn)中均獲得了最高分。
消融研究
統(tǒng)一初始噪聲與全局歸一化。 觀察發(fā)現(xiàn)，噪聲的統(tǒng)一初始化以及控制信號的歸一化對生成視頻的一致性和質(zhì)量都有顯著影響。為了評估它們的影響，本文在三種設(shè)置下生成視頻：無全局歸一化、無統(tǒng)一初始噪聲，以及兩者都無。下表 3 中的結(jié)果使用四個對應(yīng)的指標(biāo)進行評估，表明全局歸一化和統(tǒng)一初始噪聲均對可控長視頻生成有積極貢獻。
退化訓(xùn)練策略。 對退化感知訓(xùn)練策略進行了消融研究，以平衡多模態(tài)的貢獻。上表 3 中的結(jié)果顯示，特征級和數(shù)據(jù)級的策略都提升了長視頻生成的視覺質(zhì)量。
結(jié)論
本工作研究了可控長視頻生成中的時間不一致性與視覺退化的成因。為了解決這些問題，提出了 LongVie，一個多模態(tài)引導(dǎo)框架，以自回歸方式整合稠密與稀疏的控制信號，并輔以退化感知訓(xùn)練策略以提升視覺質(zhì)量。該方法還對控制信號應(yīng)用全局歸一化，并使用統(tǒng)一噪聲初始化以增強時間一致性。為了評估可控長視頻生成，構(gòu)建了 LongVGenBench，一個包含 100 個高質(zhì)量視頻的數(shù)據(jù)集，每個視頻時長超過一分鐘，涵蓋真實世界與游戲場景。在 LongVGenBench 上的實驗和消融研究表明，LongVie 在長視頻生成中達到了SOTA。此外，下游的視頻生成任務(wù)也表明，LongVie 能夠生成最長達一分鐘的高質(zhì)量可控視頻。
本文轉(zhuǎn)自AI生成未來 ，作者：AI生成未來
