文本指導的視頻到視頻（V2V）合成在各個領域具有廣泛的應用，例如短視頻創作以及更廣泛的電影行業。擴散模型已經改變了圖像到圖像（I2I）的合成方式，但在視頻到視頻（V2V）合成方面面臨維持視頻幀間時間一致性的挑戰。在視頻上應用 I2I 模型通常會在幀之間產生像素閃爍。

為了解決這個問題，來自得州大學奧斯汀分校、Meta GenAI 的研究者提出了一種新的 V2V 合成框架 ——FlowVid，聯合利用了源視頻中的空間條件和時間光流線索（clue）。給定輸入視頻和文本 prompt，FlowVid 就可以合成時間一致的視頻。

• 論文地址：https://huggingface.co/papers/2312.17681
• 項目地址：https://jeff-liangf.github.io/projects/flowvid/

總的來說，FlowVid 展示了卓越的靈活性，可與現有的 I2I 模型無縫協作，完成各種修改，包括風格化、對象交換和局部編輯。在合成效率上，生成 30 FPS、512×512 分辨率的 4 秒視頻僅需 1.5 分鐘，分別比 CoDeF、Rerender 和 TokenFlow 快 3.1 倍、7.2 倍和 10.5 倍，并且保證了合成視頻的高質量。

先來看下合成效果，例如，將視頻中的人物轉換成「希臘雕塑」的形態：

將吃竹子的大熊貓轉換成「國畫」的形式，再把大熊貓換成考拉：

跳跳繩的場景可以絲滑切換，人物也可以換成蝙蝠俠：

方法簡介

一些研究采用流來導出像素對應關系，從而產生兩幀之間的像素級映射，這種對應關系隨后用于獲取遮擋掩碼或構建規范圖像。然而，如果流估計不準確，這種硬約束可能就會出現問題。

FlowVid 首先使用常見的 I2I 模型編輯第一幀，然后傳播這些編輯到連續幀，使得模型能夠完成視頻合成的任務。

具體來說，FlowVid 執行從第一幀到后續幀的流變形（flow warp）。這些變形的幀將遵循原始幀的結構，但包含一些遮擋區域（標記為灰色），如圖 2 (b) 所示。

如果使用流作為硬約束，例如修復遮擋區域，則不準確的估計將持續存在。因此，該研究嘗試引入額外的空間條件，例如圖 2 (c) 中的深度圖，以及時間流條件。聯合時空條件將糾正不完美的光流，從而得到圖 2 (d) 中一致的結果。

研究者基于 inflated 空間控制 I2I 模型構建了一個視頻擴散模型。他們利用空間條件（如深度圖）和時間條件（流變形視頻）對模型進行訓練，以預測輸入視頻。

在生成過程中，研究者采用編輯 - 傳播程序：(1) 用流行的 I2I 模型編輯第一幀。(2) 使用本文模型在整個視頻中傳播編輯內容。解耦設計允許他們采用自回歸機制：當前批次的最后一幀可以是下一批次的第一幀，從而使其能夠生成冗長的視頻。

實驗及結果

細節設置

研究者使用 Shutterstock 的 100k 個視頻來訓練模型。對于每個訓練視頻，研究者按順序采樣 16 個間隔為 {2,4,8} 的幀，這些幀代表持續時間為 {1,2,4} 秒的視頻（視頻的 FPS 為 30）。所有圖像的分辨率都通過中心裁剪設置為 512×512。模型的訓練是在每個 GPU 上以 1 的批量大小進行的，總共使用 8 個 GPU，總批量大小為 8。實驗使用了 AdamW 優化器，學習率為 1e-5，迭代次數為 100k。

在生成過程中，研究者首先使用訓練好的模型生成關鍵幀，然后使用現成的幀插值模型（如 RIFE ）生成非關鍵幀。默認情況下，以 4 的間隔生成 16 個關鍵幀，相當于 8 FPS 下的 2 秒片段。然后，研究者使用 RIFE 將結果插值到 32 FPS。他們采用比例為 7.5 的無分類器引導，并使用 20 個推理采樣步驟。此外，研究者還使用了零信噪比（Zero SNR）噪聲調度器 。他們還根據 FateZero ，融合了在對輸入視頻中的相應關鍵幀進行 DDIM 反轉時獲得的自注意力特征。

研究者從公開的 DAVIS 數據集中選取了 25 個以物體為中心的視頻，涵蓋人類、動物等。針對這些視頻，研究者人工設計了 115 個 prompt，范圍包括風格化到物體替換。此外，他們還收集了 50 個 Shutterstock 視頻，并為這些視頻設計了 200 個 prompt。研究者對以上視頻進行了定性和定量的比較。

定性結果

在圖 5 中，研究者定性地將本文方法與幾種代表性的方法進行了比較。當輸入視頻中的運動量較大時，CoDeF 產生的輸出結果會出現明顯的模糊，在男子的手和老虎的臉部等區域可以觀察到。Rerender 通常無法捕捉到較大的運動，如左側示例中的槳葉運動。TokenFlow 偶爾會難以按照提示進行操作，例如在左側示例中將男子變為海盜。相比之下，本文的方法在編輯能力和視頻質量方面更具優勢。

定量結果

研究者進行了一項人類評估，以將本文的方法與 CoDeF 、Rerender 和 TokenFlow 進行比較。研究者向參與者展示了四段視頻，并要求他們在考慮時間一致性和文本對齊的情況下，找出哪段視頻的質量最好。詳細結果見表。本文方法取得了 45.7% 的偏好，優于其他三種方法。表 1 中還展示了各方法的管道運行時間，對比了它們的運行效率。本文方法（1.5 分鐘）快于 CoDeF（4.6 分鐘）、Rerender（10.8 分鐘）和 TokenFlow（15.8 分鐘），分別快 3.1 倍、7.2 倍和 10.5 倍。

消融實驗

研究者將圖 6（a）中的四種條件進行組合研究，分別是 (I) 空間控制：例如深度圖 ；(II) 流變形視頻：從第一幀使用光流變形的幀；(III) 流遮擋遮罩指示哪些部分被遮擋（標記為白色）；(IV) 第一幀。

圖 6（b）中評估了這些條件的組合，通過與包含所有四種條件的完整模型的勝率來評估它們的有效性。由于缺乏時間信息，純空間條件的勝率僅為 9%。加入流變形視頻后，勝率大幅提高至 38%，突出了時間引導的重要性。研究者使用灰色像素表示被遮擋的區域，這可能會與圖像中的原始灰色相混淆。為了避免可能出現的混淆，他們進一步加入了二進制流遮擋掩碼，更好地幫助模型識別哪部分被遮擋。勝率進一步提高到 42%。最后，研究者增加了第一幀條件，以提供更好的紋理引導，這在遮擋掩碼較大而原始像素剩余較少時尤為有用。

研究者在 FlowVid 中研究了兩種類型的空間條件：canny 邊緣和深度圖。在圖 7（a）所示的輸入幀中，從熊貓的眼睛和嘴巴可以看出，canny 邊緣比深度圖保留了更多細節。空間控制的強度反過來會影響視頻編輯。在評估過程中，研究者發現，當希望盡可能保持輸入視頻的結構（如風格化）時，canny 邊緣效果更好。如果場景變化較大，如物體交換，需要更大的編輯靈活性時，深度圖的效果會更好。

如圖 8 所示，雖然 ?-prediction 通常用于擴散模型的參數化，但研究者發現它可能會出現不自然的跨幀全局色彩偏移。盡管這兩種方法都使用了相同的流變形視頻，但 ?-prediction 帶來了不自然的灰暗色彩。這種現象在圖像到視頻中也有發現。

局限

雖然 FlowVid 取得了顯著的性能，但也存在一些局限性。首先，FlowVid 嚴重依賴于第一幀的生成，而第一幀在結構上應與輸入幀保持一致。如圖 9（a）所示，編輯后的第一幀將大象的后腿識別為前鼻子。錯誤的鼻子會傳播到下一幀，導致最終預測結果不理想。其次，是當攝像機或物體移動得太快，以至于出現大面積遮擋時。在這種情況下，FlowVid 會猜測缺失的區域，甚至產生幻覺。如圖 9 (b) 所示，當芭蕾舞演員轉動身體和頭部時，整個身體部分都被遮擋住了。FlowVid 成功地處理了衣服，但卻將后腦勺變成了前臉，如果在視頻中顯示，這將十分驚悚。

更多詳細內容，請參閱原論文。