大家好，我是肆〇柒。今天我們一起閱讀一項研究成果——由UCLA、字節跳動Seed團隊和中佛羅里達大學聯合研發的Self-Forcing++技術。這項工作由字節跳動Seed的吳杰擔任項目負責人，UCLA的Cho-Jui Hsieh教授作為通訊作者，帶領團隊成功解決了視頻生成領域的"5秒魔咒"，實現了長達4分15秒的高質量視頻生成，且無需長視頻教師監督或重新訓練長視頻數據集，為影視級內容創作提供了創新思考。

100秒視頻生成對比

這是當前最先進模型生成的100秒"熱帶魚"視頻：CausVid從30秒開始嚴重過曝，畫面逐漸變亮直至完全過曝；Self-Forcing從50秒開始逐漸變暗，最終陷入運動停滯；MAGI-1和SkyReels-V2則表現為中度到重度的過曝光，特別是MAGI-1從15秒標記開始，大面積區域變成純白色。這些視頻不是"不會畫"，而是錯誤在連續潛在空間中累積的必然結果——0-25秒表現為輕微抖動；25-50秒發展為運動停滯；50秒后則進入視覺保真度災難性下降階段。這一現象揭示了視頻生成領域的核心困境：為何當前SOTA模型（Sora、Wan、Hunyuan-DiT、Veo）仍被限制在5-10秒短視頻生成？

現有方案的雙重困境：為何長視頻生成如此困難？

長視頻生成面臨的核心挑戰源于訓練與推理之間的雙重錯位。當模型嘗試生成超出5秒訓練窗口的視頻時，質量會急劇下降，通常退化為靜態或停滯內容。值得注意的是，超出訓練窗口的視頻通常保持結構一致性，即使表現為不希望的artifacts如運動停滯。這表明問題本質并非自回歸機制的根本崩潰，而是錯誤在連續潛在空間中累積。

訓練推理對齊對比

該圖清晰揭示了三種方法在訓練-推理對齊方面的本質區別。CausVid采用純隨機噪聲初始化，依賴重疊幀計算維持時間一致性，導致嚴重的訓練-推理不匹配和過曝光問題；Self-Forcing雖引入了KV緩存，但訓練時使用固定緩存而推理時使用滾動緩存，形成新型不匹配；Self-Forcing++則通過向后噪聲初始化和滾動KV緩存在訓練和推理階段保持一致，從根本上解決了訓練-推理不匹配問題。

錯誤累積的雙重表現尤為關鍵：首先，時間錯位問題顯著——訓練過程中模型僅生成不超過5秒的短片段，而在推理時卻需要生成遠超這一時長的視頻；其次，監督錯位問題同樣關鍵——在訓練中，教師模型為短片段內的每一幀提供豐富監督，但這種密集指導導致學生模型極少接觸長滾動中自然產生的累積錯誤，使其在處理長序列時準備不足。這些累積錯誤最終表現為運動損失、場景凍結和視覺保真度的災難性下降，形成難以突破的惡性循環。

從CausVid到Self-Forcing：解決過曝光的演進與局限

CausVid作為早期嘗試，通過將雙向教師模型蒸餾為流式學生模型，為長視頻生成提供了初步方案。然而，該方法嚴重依賴重疊幀計算來維持時間一致性，導致顯著的訓練-推理不匹配問題。這一缺陷使得CausVid在長視頻生成中表現出明顯的過曝光問題——視頻逐漸變亮直至完全過曝，嚴重損害了視覺質量。

Self-Forcing在此基礎上進行了重要改進，通過在訓練中直接引入KV緩存，有效對齊了訓練與推理分布。這一改進顯著緩解了過曝光問題，提升了短時域視頻質量，語義得分達到83.71，總分83.00，超越了其他基線方法。然而，Self-Forcing仍存在未解決的瓶頸：訓練時使用固定緩存而推理時使用滾動緩存，導致新的訓練-推理不匹配；5秒訓練窗口限制使得超出該時長后質量驟降，100秒視頻的動態程度僅26.41；缺乏專門處理長序列中錯誤傳播的機制，導致錯誤累積問題依然存在。

評估指標偏差

一個令人意外的發現是，廣泛使用的VBench評估基準存在嚴重偏差，傾向于高估過曝光和退化幀。左圖顯示了圖像質量評分問題，右圖展示了美學質量評分問題，VBench對早期和后期幀的常規與退化圖像評分失真，錯誤地獎勵了CausVid等過曝方法和Self-Forcing等退化方法。例如，在"宇航員在月球表面奔跑"場景中，CausVid從0秒開始就顯示明顯過曝光，但VBench評分仍高達53.64，而質量良好的Self-Forcing++視頻卻僅獲59.05分。這一評估偏差掩蓋了真實質量差異，誤導了研究方向。

Self-Forcing++：解決長視頻生成的范式轉變

Self-Forcing++提出了一個簡單而有效的范式轉變，核心思想是利用短時域教師模型糾正學生模型的長序列錯誤。盡管教師模型不能生成長視頻，但它隱含地捕獲了"世界"的基礎數據分布，能夠糾正學生模型長序列中的錯誤。這一思路將雙向擴散模型的恢復過程適應到自回歸視頻生成領域——教師模型在不同的時間幀上逐步恢復學生退化的滾動輸出，并將這些糾正知識蒸餾回學生模型。

擴展分布匹配蒸餾(Extended Distribution Matching Distillation)基于一個突破性假設：任何短的連續視頻片段都是有效長視頻序列邊緣分布的樣本。實現上，學生模型首先滾動生成N幀（N遠大于T，T為教師模型可靠生成的最大時長，通常約5秒，對應21個潛在幀），然后在長序列中均勻采樣長度為T的窗口，計算學生與教師模型在該窗口內的分布差異。數學表達為：。其中，窗口大小K通常匹配教師模型原始訓練時長（約5秒，對應21個潛在幀）。這種滑動窗口方法有效利用了教師模型隱含的"世界"知識，使學生模型學會從自身退化狀態中恢復。

錯誤累積消融研究

消融研究表明，通過縮小注意力窗口可以部分緩解錯誤累積問題。例如，將窗口縮小到9個潛在幀時，視覺穩定性從40.12提高到52.50。然而，這種方法以犧牲一致性為代價，因為模型現在依賴的上下文比原始21幀歷史少得多。相比之下，Self-Forcing++無需縮小注意力窗口，就能將視覺穩定性提升至90.94，大幅優于所有其他方法。

訓練與推理對齊方面，Self-Forcing++采用滾動KV緩存策略，徹底解決了訓練-推理不匹配問題。與CausVid和Self-Forcing不同，Self-Forcing++在訓練和推理階段均使用滾動緩存，無需重計算重疊幀，避免了過曝光問題，實現了真正自回歸的長視頻生成。學生模型通過學習從自身退化狀態恢復，有效處理了長序列中的錯誤傳播。

時間重復評分對比

在時間重復問題上，Self-Forcing++的NoRepeat評分為98.44，僅次于Self-Forcing的100.0分。這表明自回歸方法主要依賴KV緩存生成新幀，不太容易出現時間重復問題。相比之下，NOVA得分為67.19，MAGI-1得分為73.44，表明這些方法在擴展到長視頻時更容易出現固定循環模式。在熱帶魚場景中，NOVA和MAGI-1在100秒視頻中出現明顯的周期性重復模式，如魚群運動呈現固定循環，而Self-Forcing++在255秒視頻中未觀察到明顯的時間重復現象。

GRPO效果對比

為提升長時平滑性，Self-Forcing++引入了Group Relative Policy Optimization(GRPO)，利用光流幅度作為時間穩定性的代理。數據顯示，未經GRPO處理的視頻可能出現突兀的場景轉換，表現為光流幅度的尖銳峰值（方差24.52）。通過促進更平滑的時間轉換，GRPO方法有效抑制了這些峰值（方差降至2.00），顯著提升了長程一致性和整體感知質量。

在"Big Sur海岸懸崖邊的無人機視角"場景中，未使用GRPO的視頻出現明顯的場景突變，而使用GRPO后視頻保持了連貫的視角過渡。

質量評估的重新定義：視覺穩定性指標

研究發現，廣泛使用的VBench評估基準存在嚴重偏差，傾向于高估過曝光和退化幀，導致評分結果不可靠。下圖左圖顯示了圖像質量評分問題，右圖展示了美學質量評分問題，VBench對早期和后期幀的常規與退化圖像評分失真，錯誤地獎勵了CausVid等過曝方法和Self-Forcing等退化方法。

評估指標偏差

為解決這一問題，Self-Forcing++提出了新的評估協議，采用Gemini-2.5-Pro這一先進的視頻MLLM進行評估。該協議明確定義了長視頻問題如過曝光和錯誤累積，引導Gemini-2.5-Pro沿這些維度對視頻進行評分，并將結果匯總為0-100分的視覺穩定性指標。評分標準采用0-5級曝光穩定性評分系統：5分表示"曝光良好"，4分表示"輕微曝光瑕疵"，3分表示"中度曝光問題"，2分表示"明顯曝光問題"，1分表示"嚴重曝光問題"，0分表示"災難性曝光"。

人工驗證表明，20個隨機采樣的MovieGen視頻由兩位作者獨立標注，與Gemini-2.5-Pro的評分高度一致：50秒序列的Spearman等級相關系數達100%（前三名方法）和94.2%（所有六種基線）。75秒和100秒視頻的驗證結果類似，隨著視頻長度增加，基線方法的質量進一步下降，而Self-Forcing++保持穩定。

評估結果對比1

在"宇航員在月球表面奔跑"場景的評估中，Self-Forcing++獲得"5/5 – 曝光良好"評分，理由是"視頻曝光均衡，高對比度場景處理出色，月球背景的深黑色和月球表面陰影的細節都適當且不表示細節丟失"。相比之下，CausVid和Self-Forcing等基線方法在視頻后半段出現嚴重過曝光或變暗問題，導致評分大幅下降。CausVid從30秒開始出現嚴重過曝光，Self-Forcing從50秒開始逐漸變暗。

評估結果對比2

在"色彩斑斕的熱帶魚在珊瑚礁中游動"場景中，Self-Forcing++同樣獲得"5/5 – 曝光良好"評分，理由是"視頻保持平衡一致的曝光，沒有明顯區域過度曝光或變暗"。而SkyReels-V2和MAGI-1等基線方法在視頻中后期出現嚴重過曝光，特別是MAGI-1從15秒標記開始，大面積區域變成純白色，導致評分僅為1分。

實驗驗證：從理論到實踐的跨越

在5秒短視頻測試中，Self-Forcing++保持了競爭力，語義得分80.37，總分83.11，與Self-Forcing相當，同時超越了其他基線方法。下表顯示了不同模型在5秒短視頻和50秒長視頻上的性能對比，Self-Forcing++在長視頻生成中展現出明顯優勢。

短時與50秒視頻性能對比

對于50秒視頻，Self-Forcing++的視覺穩定性達到90.94，相比Self-Forcing的40.12提升了127%。在100秒視頻測試中，其動態程度達到54.12，比Self-Forcing的26.41提高了104.9%；文本對齊得分為26.04，比Self-Forcing的22.00提高了18.36%。

75秒與100秒長視頻性能對比

該表詳細展示了各模型在75秒和100秒長視頻上的性能對比。在100秒視頻測試中，Self-Forcing++的文本對齊得分為26.04，比排名第二的SkyReels-V2高出3.99分；動態程度達到54.12，比排名第二的SkyReels-V2高出15.37分；視覺穩定性得分為84.22，遠超其他方法。這表明Self-Forcing++在維持長時動態一致性和視覺質量方面具有顯著優勢。

100秒視頻生成對比

在"熱帶魚"場景中，基線方法在生成長視頻時出現嚴重錯誤累積和過曝光，而Self-Forcing++始終保持高質量。具體而言，CausVid表現為嚴重過曝光，視頻逐漸變亮直至完全過曝；Self-Forcing表現為逐漸變暗和運動停滯；MAGI-1和SkyReels-V2則表現為中度到重度的過曝光。這些現象清晰地展示了不同方法的失敗模式。

Self-forcing++生成四分鐘視頻示例

該圖展示了Self-Forcing++生成的四分鐘視頻示例，雷達圖證實模型在長時域仍能保持高質量和動態一致性。特別是"Motion Dynamics over Time"曲線顯示，Self-Forcing++的動態程度在255秒（4分15秒）內保持平穩，而基線方法在50秒后急劇下降，這直觀地解釋了為何"視覺穩定性90.94 vs 40.12"對實際體驗如此重要。

多維度質量指標比較

該表展示了各模型在50秒、75秒和100秒視頻上的11個維度質量指標比較。在100秒視頻測試中，Self-Forcing++在"文本對齊"指標上得分為26.04，比排名第二的CausVid高出1.63分；在"動態程度"指標上得分為54.12，比排名第二的SkyReels-V2高出15.37分；在"運動平滑度"指標上得分為98.35，僅比CausVid的98.54低0.19分。這表明Self-Forcing++在保持運動連貫性的同時避免了運動停滯問題，實現了高質量與高動態性的平衡。

訓練預算擴展效果

研究還揭示了訓練預算與生成能力之間的顯著正相關。經過ODE初始化的模型僅能生成短而低質量的片段；1×預算（與Self-Forcing相當的訓練量）下，模型在擴展生成時出現明顯的時間閃爍和錯誤累積，50秒視頻的視覺穩定性僅為40.12；4×預算使模型能夠在更長的時域內保持語義一致性，如"大象在陽光明媚的稀樹草原上行走"場景中，模型能維持大象語義一致性超過100秒；8×預算下，模型開始生成詳細背景和更準確的主題，但視頻后半部分仍出現輕微質量下降；20×預算產生高質量視頻，可穩定維持50秒以上，50秒視頻的視覺穩定性達90.94；25×預算下，模型成功生成255秒（4分15秒）視頻，質量損失可忽略不計，視覺穩定性仍保持在80以上，這相當于基礎模型位置嵌入支持最大跨度的99.9%。

訓練預算與生成能力呈近似線性關系，表明通過增加訓練資源可以系統性提升長視頻生成能力。在8×A100 GPU集群上，25×預算訓練需要約2周時間，比教師強制訓練慢約3-5倍，這是方法的主要局限性之一。

錯誤累積緩解方法對比

此圖展示了各種錯誤累積緩解方法的可視化比較。在"Big Sur海岸懸崖邊的無人機視角"場景中，注意力窗口縮小到9幀(Attn-9)的方法雖然能部分緩解錯誤累積，但導致了更大的不一致性。而Self-Forcing++在保持完整上下文的同時，有效避免了錯誤累積，生成了高質量的50秒視頻。

未來展望

盡管Self-Forcing++取得了顯著突破，研究也指出了其局限性：相比教師強制訓練，訓練速度較慢；缺乏長期記憶機制，可能導致長時間被遮擋區域的內容發散。在"宇航員在月球表面奔跑"場景中，當宇航員被巖石遮擋超過20秒后，重新出現時細節發生變化，表明模型缺乏真正的長期記憶，無法保持長時間被遮擋區域的內容一致性。

針對這些挑戰，研究提出了幾個有前景的改進方向：探索并行化訓練過程以解決高訓練成本問題；研究量化潛在表示或歸一化KV緩存的技術，防止分布偏移；將長期記憶機制整合到自回歸框架中，實現真正的長程時間一致性。

對我們的啟示在于，訓練-推理一致性必須得到高度重視，錯誤糾正機制是長視頻生成的關鍵，評估指標需與人類感知對齊，避免傳統指標的偏差。尤為重要的是，Self-Forcing++證明了無需長視頻監督即可實現高質量長視頻生成——通過有效利用現有短視頻模型的知識，可以突破生成時長的限制，大幅降低數據需求門檻。

與Diffusion Forcing方法（如SkyReels-V2和MAGI-1）相比，Self-Forcing++無需為不同幀應用不同噪聲水平，訓練更加穩定。Diffusion Forcing方法雖然具有更好的長期記憶，但訓練不穩定，因為噪聲水平組合的數量極其龐大。Self-Forcing++證明了無需變量噪聲上下文也能實現高質量長視頻生成，這是方法的一大優勢。

與LongLive等并發工作相比，Self-Forcing++通過簡化設計避免了對注意力匯幀(attention sink frames)的依賴，實現了更簡潔有效的長視頻生成。LongLive也采用窗口式DMD，但依賴注意力匯幀來對抗錯誤累積，而Self-Forcing++通過向后噪聲初始化、擴展分布匹配蒸餾和滾動KV緩存的組合，無需額外機制即可解決錯誤累積問題。

這一思路為構建更穩健、可擴展的長視頻生成模型鋪平了道路，標志著視頻生成技術向分鐘級高質量內容創作邁出了關鍵一步。通過系統性解決訓練-推理不匹配和錯誤累積問題，Self-Forcing++展示了自回歸視頻生成模型的巨大潛力，為未來影視級內容創作提供了新的技術基礎。