AI視頻生成新突破！字節提出一致性視頻生成方法Phantom：通過跨模態對齊生成主題一致的視頻，超多應用場景
Phantom 是一個統一的視頻生成框架，適用于單主題和多主題參考，基于現有的文本轉視頻和圖像轉視頻架構構建。它通過重新設計聯合文本-圖像注入模型，利用文本-圖像-視頻三元組數據實現跨模態對齊。此外，它在人物生成中強調主題一致性，同時增強了身份保留視頻生成。
相關鏈接
- 論文：https://arxiv.org/abs/2502.11079
- 代碼：https://github.com/Phantom-video/Phantom
- 主頁：https://phantom-video.github.io/Phantom/
- ComfyUI:https://github.com/kijai/ComfyUI-WanVideoWrapper/tree/dev
身份保護視頻生成
使用面部參考圖像生成主體視頻。Phantom嚴格保留參考面部的身份，同時根據提供的提示生成生動的視頻。
單參考主題到視頻生成
使用單個參考圖像生成主體視頻。Phantom可以保持各種主體的完整性，包括物體、衣服、動物、虛擬角色等。
多參考主題到視頻的生成
使用多個參考圖像生成主體視頻。Phantom可以實現多個主體之間的逼真互動，例如群體互動、產品演示、虛擬試穿等。
論文介紹
Phantom：通過跨模態對齊生成主題一致的視頻
視頻生成基礎模型的不斷發展演變，并應用于各種應用，而主題一致的視頻生成仍處于探索階段。這類人物稱為“主題到視頻”（Subject-to-Video），該方法從參考圖像中提取主題元素，并按照文本指令生成主題一致的視頻。作者認為“主題到視頻”的精髓在于平衡文本和圖像的雙模態提示，從而深度同步地對齊文本和視覺內容。為此論文提出了Phantom，一個適用于單主題和多主題參考的統一視頻生成框架。
基于現有的文本到視頻和圖像到視頻架構，作者重新設計了聯合文本-圖像注入模型，并驅動其通過文本-圖像-視頻三元組數據學習跨模態對齊。該方法實現了高保真度的主題一致視頻生成，同時解決了圖像內容泄漏和多主題混淆的問題。評估結果表明，提出的方法優于其他最先進的閉源商業解決方案。特別地，該方法強調人類生成中的主題一致性，這涵蓋了現有的身份保留視頻生成，同時提供了增強的優勢。
方法概述
用于跨模態視頻生成的數據處理流程。該流程包括過濾、添加字幕、檢測和匹配階段，用于從視頻片段中提取主體并將其與文本提示對齊，從而確保視頻生成的一致性。
Phantom 架構概述。三元組數據在輸入頭處被編碼到潛在空間，組合后，通過改進的 MMDiT 塊進行處理，以學習不同模態的對齊方式。
每個 MMDiT 塊中針對單個或多個參考對象的動態注入策略和注意力計算
結果展示
視頻質量評估（左）和多主題一致性的用戶研究結果（右）。
身份保護視頻生成
單一參考主題到視頻生成
多參考主題到視頻生成
結論
Phantom是一種基于文本-圖像-視頻三元組學習實現跨模態對齊的主體一致性視頻生成方法。通過重新設計聯合文本-圖像注入機制并利用動態特征集成，Phantom 在統一的單/多主體生成和人臉 ID 保存任務中展現出極具競爭力的性能，并在定量評估中超越了商業解決方案。
