?

Sora、可靈等視頻生成模型令人驚艷的性能表現(xiàn)使得創(chuàng)作者僅依靠文本輸入就能夠創(chuàng)作出高質(zhì)量的視頻內(nèi)容。然而，我們常見的電影片段通常是由導(dǎo)演在一個(gè)場景中精心布置多個(gè)目標(biāo)的運(yùn)動(dòng)、攝像機(jī)拍攝角度后再剪輯而成的。例如，在拍攝賽車追逐的場景時(shí)，鏡頭通常跟隨賽車運(yùn)動(dòng)，并通過扣人心弦的超車時(shí)刻來展示賽事的白熱化。而如今的視頻生成模型無法實(shí)現(xiàn) 3D 場景中目標(biāo)、相機(jī)聯(lián)合控制的文本到視頻創(chuàng)作，限制了 AI 影視制作的能力。

近期，可靈研究團(tuán)隊(duì)在「3D 感知可控視頻生成」領(lǐng)域做出了首次嘗試，推出了電影級(jí)文本到視頻生成框架 CineMaster，允許用戶在提供全局文本描述的基礎(chǔ)上，通過提出的交互式工作流輔助用戶像專業(yè)導(dǎo)演一樣布置場景，設(shè)定目標(biāo)與相機(jī)的運(yùn)動(dòng)，指導(dǎo)模型生成用戶想要的視頻內(nèi)容。目前該論文已錄用于 SIGGRAPH 2025。

?

• 論文標(biāo)題：CineMaster: A 3D-Aware and Controllable Framework for Cinematic Text-to-Video Generation
• 論文地址：https://arxiv.org/abs/2502.08639
• 項(xiàng)目主頁：https://cinemaster-dev.github.io/

?

一、支持3D感知的目標(biāo)、相機(jī)運(yùn)動(dòng)控制

一、支持3D感知的目標(biāo)、相機(jī)運(yùn)動(dòng)控制一、支持3D感知的目標(biāo)、相機(jī)運(yùn)動(dòng)控制

a）目標(biāo)相機(jī)聯(lián)合控制：

?

b）目標(biāo)運(yùn)動(dòng)控制：

?

c）相機(jī)運(yùn)動(dòng)控制：

?

?

可以觀察到，CineMaster可以根據(jù)用戶提供的多模態(tài)細(xì)粒度的控制信號(hào)生成期望的視頻，支持較大幅度的目標(biāo)、相機(jī)運(yùn)動(dòng)的可控生成。

二、CineMaster 框架

二、CineMaster 框架

CineMaster通過兩階段的工作流，實(shí)現(xiàn)高度可控的文本到視頻生成：

階段1：構(gòu)建3D感知的控制信號(hào)：用戶可以通過交互式界面在 3D 空間中調(diào)整物體的邊界框（3D Bounding Box）和攝像機(jī)位置，這個(gè)過程類似于真實(shí)的電影拍攝過程，即導(dǎo)演多次調(diào)整演員在場景中的排布和相機(jī)的運(yùn)動(dòng)。隨后，導(dǎo)出相機(jī)軌跡和每幀的投影深度圖，作為后續(xù)生成的條件信號(hào)。

階段2：如圖所示，該方法框架通過語義布局ControlNet的架構(gòu)集成了物體的運(yùn)動(dòng)控制信號(hào)和物體的類別標(biāo)簽信息，從而明確地控制每個(gè)目標(biāo)的運(yùn)動(dòng)。此外，通過Camera Adapter集成了相機(jī)運(yùn)動(dòng)控制信號(hào)表示視頻序列的全局運(yùn)動(dòng)。

?

三、CineMaster訓(xùn)練數(shù)據(jù)構(gòu)建流程

三、CineMaster訓(xùn)練數(shù)據(jù)構(gòu)建流程

?

數(shù)據(jù)構(gòu)建流程旨在從任意視頻中提取 3D bounding boxes、類別標(biāo)簽、視頻相機(jī)軌

跡，主要包含 4 個(gè)步驟：

• 通過 Qwen2-VL 增強(qiáng)的實(shí)體描述提升開放詞匯目標(biāo)檢測模型 Grounding DINO 的性能，并通過 SAM v2 實(shí)現(xiàn)視頻實(shí)例分割；

• 利用 DepthAnything V2 估計(jì)視頻的絕對深度；

• 在每個(gè)目標(biāo)的 Mask 最大幀通過深度投影分割結(jié)果到點(diǎn)云空間計(jì)算 3D bounding box；

• 訪問由 Spatial Tracker 實(shí)現(xiàn)的 3D 點(diǎn)跟蹤結(jié)果，計(jì)算所有目標(biāo)在視頻序列中的 3D bounding box，并投影整個(gè) 3D 場景得到深度圖。

此外，該框架利用 MonST3R 計(jì)算了視頻的相機(jī)軌跡。

四、四、對比結(jié)果對比結(jié)果

四、對比結(jié)果

上圖中研究者將 CineMaster 與基線方法進(jìn)行了比較。據(jù)觀察，基線方法無法顯式地關(guān)聯(lián)給定的運(yùn)動(dòng)條件和相應(yīng)的目標(biāo)，也存在目標(biāo)運(yùn)動(dòng)和相機(jī)運(yùn)動(dòng)耦合的問題。而 CineMaster 可以合成符合文本提示、目標(biāo)、相機(jī)控制信號(hào)的高質(zhì)量視頻。請?jiān)L問項(xiàng)目主頁查看視頻結(jié)果。

五、總結(jié)

在本文中，研究者期望為用戶提供強(qiáng)大的 3D 感知的可控視頻生成能力，讓用戶能夠像專業(yè)導(dǎo)演一樣創(chuàng)作。為此，首先設(shè)計(jì)了一個(gè) 3D 感知的交互工作流，允許用戶直觀地編輯目標(biāo)和相機(jī)的運(yùn)動(dòng)；隨后開發(fā)了一個(gè)多模態(tài)條件控制視頻生成模型，生成用戶想要的視頻。此外，該方法精心設(shè)計(jì)了一套從任意視頻中提取 3D 控制信號(hào)的數(shù)據(jù)構(gòu)建流程，為 3D 可控視頻生成領(lǐng)域的研究提供了實(shí)踐經(jīng)驗(yàn)。

更多細(xì)節(jié)請參閱原論文。