論文鏈接：https://arxiv.org/pdf/2510.00438項目鏈接：https://lzy-dot.github.io/BindWeave/

亮點直擊

• BindWeave：針對現有視頻生成技術在主題一致性方面的瓶頸，提出了一個專為主題一致性視頻生成設計的新型框架。
• 引入多模態大語言模型作為深度指令解析器。使用MLLM替代傳統的淺層融合機制，實現了深度跨模態語義關聯。
• 構建統一交織序列與隱狀態生成機制。將參考圖像與文本提示整合成統一序列，有效銜接高層語義解析與擴散生成過程。
• 多模態條件融合機制。形成高層推理+語義身份+底層細節的協同條件機制，全面提升生成質量。
• 在opens2v上，通過主題一致性、時序自然度、文本-視頻對齊等全面評估；在主題一致性視頻生成任務中持續超越所有現有開源與商業模型，達到SOTA。
• 展示出廣泛的科研與商業應用潛力。

總結速覽

效果一覽

單人：

多人：

人+實體：

解決的問題

• 核心瓶頸：現有視頻生成模型難以解析和理解提示詞中復雜的空間關系、時序邏輯和多主體交互。
• 具體缺陷：導致生成的視頻在主題一致性上表現不足，即無法在視頻中穩定、準確地保持特定主體的身份、屬性和相互關系。

提出的方案

• 核心框架：提出了一個名為BindWeave的統一創新框架。
• 核心思路：用多模態大語言模型（MLLM）作為智能指令解析器，取代傳統的淺層融合機制，實現對提示詞的深度語義理解與跨模態關聯。
• 實現路徑：

• 構建統一序列：將參考圖像和文本提示整合成交織序列輸入MLLM。
• 深度解析與綁定：利用MLLM解析復雜時空關系，將文本指令錨定到具體視覺實體，并生成編碼了主體身份和交互關系的“主題感知隱狀態”。
• 多條件協同生成：將上述隱狀態與參考圖像的CLIP特征（強化語義錨定）和VAE特征（保留細節）共同作為條件，輸入到基于擴散Transformer（DiT）的生成器中，指導視頻生成。

應用的技術

• 多模態大語言模型（MLLM）：作為核心的深度跨模態推理引擎。
• 擴散Transformer（DiT）：作為基礎的視頻生成骨干模型。
• 多源條件融合機制：創新性地融合了三種條件信號：

• MLLM輸出的隱狀態（提供高層推理和交互關系）。
• CLIP圖像特征（提供語義層面的身份錨定）。
• VAE圖像特征（提供像素級別的外觀細節）。

• 基準數據集：在細粒度的OpenS2V基準上進行評測。

達到的效果

• 性能卓越：在OpenS2V基準測試中，在主題一致性、時序自然度和文本-視頻對齊等關鍵指標上均取得了優越性能。
• 業界領先：全面超越了現有的主流開源方法和商業模型，達到了最先進的性能水平。
• 質量優異：定性結果（圖示）表明，生成的視頻樣本具有極高的保真度和主題一致性。
• 應用潛力：展現出在科研和商業視頻生成領域的巨大應用潛力。

方法

架構設計

本文提出的BindWeave旨在克服主題一致性視頻生成中淺層融合范式的局限性。該方法的核心原理是在生成過程開始前，通過深度推理理解多模態輸入來替代淺層的事后融合。為此，BindWeave首先利用多模態大語言模型作為智能指令解析器。該MLLM通過生成引導范式——具體實現為編碼復雜跨模態語義和時空邏輯的隱狀態序列，進而在整個合成過程中精確指導擴散Transformer。下圖2展示了BindWeave架構的示意圖。

基于MLLM的智能指令規劃

這個復合信號不僅封裝了顯式的文本指令，還包含了對主體交互和時空邏輯的深度推理，為后續生成階段奠定了堅實基礎。

集體條件化視頻擴散

為保持參考圖像的細粒度外觀細節，本文設計了自適應多參考條件化策略（如下圖3所示）。

訓練與推理

訓練設置：遵循前文所述的修正流公式，本文的模型被訓練用于預測真實速度場。BindWeave的整體訓練目標可表述為模型輸出與Vt之間的均方誤差：

本文的訓練數據選自公開可用的500萬規模OpenS2V-5M數據集。通過一系列過濾策略，最終提煉出約100萬個高質量視頻-文本對。隨后基于該數據采用兩階段課程學習策略進行訓練。所有訓練過程均在512個xPU上開展，全局批大小為512，使用恒定學習率5e-6和AdamW優化器。初始穩定階段持續約1000次迭代，使用從100萬數據中精選的優質代表性子集。該階段對于使模型適應主題到視頻任務的特定需求至關重要，主要側重于學習在保持主體視覺身份真實性的同時使其與文本運動指令對齊，為后續大規模訓練奠定堅實基礎。隨后訓練轉入全面階段并持續5000次迭代，模型在此階段接觸全部100萬精選數據。第二階段使模型能在穩定基礎上進一步擴展，通過更廣泛的高質量樣本學習，顯著提升生成能力與泛化性能。

推理設置：在推理過程中，本文的BindWeave可接受靈活數量的參考圖像（通常為1-4張），同時通過文本提示描述目標場景與行為來引導生成。與Phantom方法類似，本文在推理時使用提示詞改寫器以確保文本準確描述所提供的參考圖像。生成過程采用修正流軌跡執行50步采樣，并通過尺度因子為w的無分類器引導技術進行指導。每一步t的引導噪聲估計量計算如下：

實驗

實驗設置

基準與評估指標：為確保公平比較，采用OpenS2V-Eval基準并遵循其官方評估協議，該協議對主題到視頻生成進行主題一致性和身份保真度的細粒度評估。該基準包含七個不同類別的180個提示，涵蓋從單一主體到多主體及人-物交互的場景。為量化性能，本文報告該協議的自動化指標，所有指標分數越高代表結果越好。這些指標包括衡量視覺吸引力的美學評分、時序平滑度的運動平滑度、運動幅度的運動幅度以及身份保持的面部相似度。本文還使用了OpenS2V-Eval引入的三個與人類感知高度相關的指標：主題一致性的NexusScore、自然度的NaturalScore和文本-視頻相關性的GmeScore。

實現細節：BindWeave基于DiT架構的基礎視頻生成模型進行微調。本評估不包括文本到視頻和圖像到視頻的預訓練階段。對于核心指令規劃模塊，本文采用Qwen2.5-VL-7B作為多模態大語言模型。為使多模態控制信號與DiT條件空間對齊，本文引入了輕量級連接器來投影Qwen2.5-VL的隱狀態。具體而言，該連接器采用具有GELU激活函數的雙層MLP結構。本文使用Adam優化器訓練模型，學習率為5e-6，全局批大小為512。為減輕復制粘貼偽影，本文對參考圖像應用數據增強技術。在推理過程中，本文使用50步去噪，并將無分類器引導尺度w設置為5。

基線方法：將BindWeave與最先進的視頻定制方法進行比較，包括開源方法和商業產品。

定量結果

本文在OpenS2V-Eval基準上進行了全面比較，如下表1所示，跨多種場景提供了廣泛而嚴格的評估。遵循基準協議，每種方法生成180個視頻進行評估以確保統計可靠性并覆蓋所有類別。本文報告了前文所述的八項自動指標以確保全面評估，從而統一捕捉視覺質量、時序行為和語義對齊。如下表1所示，BindWeave在總體得分上達到了新的SOTA，其中NexusScore顯著領先，凸顯了其在主題一致性方面的優勢。值得注意的是，NexusScore旨在解決先前全局幀CLIP或DINO比較的局限性，提供基于語義且抗噪聲的評估，能更好反映感知身份保真度。它通過檢測后比較策略實現這一目標：首先定位真實目標，裁剪相關區域以抑制背景干擾，然后在基于檢索的多模態特征空間中計算相似度，最后聚合已驗證裁剪區域的得分以獲得可靠總結。重要的是，BindWeave在其他指標上也保持強勁競爭力，包括面部相似度、美學評分、GmeScore、運動相關指標以及自然度，這些分別反映了其在身份保持、視覺吸引力、文本-視頻對齊、時序連貫性與運動幅度以及跨廣泛提示和類別的整體自然度方面的優勢。

定性結果

為清晰展示本文方法的有效性，在下圖4和下圖5中呈現了一些典型的主題到視頻場景，包括單人體到視頻、人-物到視頻、單物體到視頻和多實體到視頻。如下圖4左面板所示，Vidu、Pika、Kling和Hailuo等商業模型能生成視覺吸引人的視頻，但在主題一致性方面存在困難。在開源方法中，SkyReel-A2在主題一致性上相對具有競爭力，但其整體視覺美學落后于本文的BindWeave。VACE和Phantom同樣表現出較弱的主題一致性。在下圖4右面板中，本文的方法實現了顯著更優的主題一致性、文本對齊和視覺質量。如下圖5左面板所示，在單物體到視頻場景中，Vidu和Pika等商業模型仍表現出明顯的物理和語義合理性違反——本文將其總結為“常識違反”。Kling實現了強大的視覺美學但主題一致性較差。

SkyReels-A2顯示出嚴重失真和同樣薄弱的主題一致性，Phantom也難以保持主題一致性。在基線方法中，VACE能較好保持主題一致性但運動連貫性和自然度有限。相比之下，本文的BindWeave在提供強大主題一致性的同時，還實現了自然連貫的運動。值得注意的是，在下圖5右面板所示的多對象和復雜指令設置下，Vidu和Pika等方法經常遺漏關鍵提示，Kling表現出嚴重的物理不合理性，MAGREF未能保持主題一致性；其他基線方法也忽略了關鍵提示細節。相比之下，本文的結果在保持強大主題一致性的同時呈現出細粒度細節。本文將此歸因于BindWeave通過MLLM顯式整合參考圖像和文本提示的跨模態能力，能聯合解析實體、屬性和對象間關系。因此，BindWeave保留了微妙而關鍵的細節，并構建統一、時序一致的場景規劃以指導連貫生成。這種深度跨模態整合可靠地強化了關鍵提示元素，并為多實體交互嵌入基本物理常識，從而減少不合理結果。

消融研究

本文對結合MLLM與T5派生信號以指導DiT生成的控制條件化機制進行消融實驗。比較了僅使用T5的基線方案與本文的T5+Qwen2.5-VL組合方案。值得注意的是，僅使用MLLM的方案在訓練過程中不穩定且未能收斂，因此未納入定量分析。如下表2所示，T5+Qwen2.5-VL組合在美學質量、運動表現、自然度及文本相關性方面均持續優于僅T5方案。下圖6的定性對比進一步驗證了這一發現：當參考圖像存在尺度失配時，僅T5基線傾向于生成不真實的主體尺寸，且在復雜指令下經常錯誤解析動作-對象關系，而T5+Qwen2.5-VL組合能保持準確 grounding 并執行預期交互。本文將這些提升歸因于互補條件化機制——MLLM提供多模態的身份與關系感知線索以消除主體歧義并提升時序連貫性，而T5則提供精確的語言 grounding 以穩定優化過程。兩者的拼接為DiT產生了更豐富可靠的控制信號。

結論

BindWeave——一個新穎的主題一致性視頻生成框架，通過顯式跨模態整合技術在單主體與多主體場景中生成具備一致性、文本對齊且視覺吸引力的視頻。通過采用MLLM深度融合參考圖像與文本提示信息以促進聯合學習，BindWeave有效建模實體身份、屬性及關系，從而實現細粒度 grounding 與強健的主體保持能力。實證結果表明，BindWeave已完整掌握跨模態融合知識，能夠生成高保真度的主題一致性視頻。在OpenS2V基準測試中，BindWeave實現了最先進的性能表現，超越現有開源方案與商業模型，充分彰顯其技術優勢。總體而言，BindWeave為主題視頻生成任務提供了全新視角，并為未來在一致性、真實感與可控性方面的突破指明了方向。

本文轉自AI生成未來 ，作者：AI生成未來

原文鏈接:??https://mp.weixin.qq.com/s/IeShiT7x1_qlVUdA-Wpvtg??