隨著 ChatGPT、GPT-4、LLaMa 等模型的問世，人們越來越關注生成式模型的發展。相比于日漸成熟的文本生成和圖像生成，視頻、語音等模態的 AI 生成還面臨著較大的挑戰。

現有可控視頻生成工作主要存在兩個問題：首先，大多數現有工作基于文本、圖像或軌跡來控制視頻的生成，無法實現視頻的細粒度控制；其次，軌跡控制研究仍處于早期階段，大多數實驗都是在 Human3.6M 等簡單數據集上進行的，這種約束限制了模型有效處理開放域圖像和復雜彎曲軌跡的能力。

基于此，來自中國科學技術大學、微軟亞研和北京大學的研究者提出了一種基于開放域擴散的新型視頻生成模型 ——DragNUWA。DragNUWA 從語義、空間和時間三個角度實現了對視頻內容的細粒度控制。

論文地址：https://arxiv.org/abs/2308.08089

以拖動（drag）的方式給出運動軌跡，DragNUWA 就能讓圖像中的物體對象按照該軌跡移動位置，并且可以直接生成連貫的視頻。例如，讓兩個滑滑板的小男孩按要求路線滑行：

還可以「變換」靜態景物圖像的相機位置和角度：

方法簡介

該研究認為文本、圖像、軌跡這三種類型的控制是缺一不可的，因為它們各自有助于從語義、空間和時間角度控制視頻內容。如下圖 1 所示，僅文本和圖像的組合不足以傳達視頻中存在的復雜運動細節，這可以用軌跡信息來補充；僅圖像和軌跡組合無法充分表征視頻中的未來物體，文本控制可以彌補這一點；在表達抽象概念時，僅依賴軌跡和文本可能會導致歧義，圖像控制可以提供必要的區別。

DragNUWA 是一種端到端的視頻生成模型，它無縫集成了三個基本控件 —— 文本、圖像和軌跡，提供強大且用戶友好的可控性，從語義、空間和時間角度對視頻內容進行細粒度控制。

為了解決當前研究中有限的開放域軌跡控制問題，該研究重點關注三個方面的軌跡建模：

• 使用軌跡采樣器（Trajectory Sampler，TS）在訓練期間直接從開放域視頻流中采樣軌跡，用于實現任意軌跡的開放域控制；
• 使用多尺度融合（Multiscale Fusion，MF）將軌跡下采樣到各種尺度，并將其與 UNet 架構每個塊內的文本和圖像深度集成，用于控制不同粒度的軌跡；
• 采用自適應訓練（Adaptive Training，AT）策略，以密集流為初始條件來穩定視頻生成，然后在稀疏軌跡上進行訓練以適應模型，最終生成穩定且連貫的視頻。

實驗及結果

該研究用大量實驗來驗證 DragNUWA 的有效性，實驗結果展示了其在視頻合成細粒度控制方面的卓越性能。

與現有專注于文本或圖像控制的研究不同，DragNUWA 主要強調建模軌跡控制。為了驗證軌跡控制的有效性，該研究從相機運動和復雜軌跡兩個方面測試了 DragNUWA。

如下圖 4 所示，DragNUWA 雖然沒有明確地對相機運動進行建模，但它從開放域軌跡的建模中學習了各種相機運動。

為了評估 DragNUWA 對復雜運動的精確建模能力，該研究使用相同的圖像和文本對各種復雜的拖動（drag）軌跡進行了測試。如下圖 5 所示，實驗結果表明 DragNUWA 能夠可靠地控制復雜運動。

此外，DragNUWA 雖然主要強調軌跡控制建模，但也融合了文本和圖像控制。研究團隊認為，文本、圖像和軌跡分別對應視頻的三個基本控制方面：語義、空間和時間。下圖 6 通過展示文本（p）、軌跡（g）和圖像（s）的不同組合（包括 s2v、p2v、gs2v、ps2v 和 pgs2v）說明了這些控制條件的必要性。

感興趣的讀者可以閱讀論文原文，了解更多研究內容。