AI生成電影新革命！字節&港中文等提出Captain Cinema，當「無限記憶」打破〈盜夢空間〉的第四面墻
由約翰霍普金斯大學、字節跳動，斯坦福大學、香港中文大學聯合提出的 Captain Cinema旨在創作具有專業電影級品質的多場景電影，同時 通過超長上下文記憶保持角色和場景的一致性。你可以成為導演，用您的想法、場景和角色重新制作任何電影。
創建你自己的宇宙
Captain Cinema可以將故事線分支成截然不同的路徑，每條路徑都保持著內在的一致性，同時又能探索不同的創意想象。
這部電影短片講述了布魯斯·韋恩、小丑和阿爾弗雷德·潘尼沃斯在宇宙中史詩般的星際之旅。根據敘事字幕，我們的模型首先渲染一致的關鍵幀場景，然后進行交錯條件視頻生成，最終輸出 一部具有卓越視覺一致性的無縫多場景影片。
一致、穩健、流暢的電影生成
Captain Cinema將靜態生成和運動任務分開，使我們的視頻生成模型專注于運動合成，從而實現更一致、更穩健、 更流暢的電影生成。
關鍵幀級創意控制
Captain Cinema配備強大的圖像編輯模型，將每個關鍵幀變成完全可編輯的畫布 - 讓您可以精確控制重新設計服裝、完善角色或 品牌物體，然后將這些編輯完美地傳播到整個鏡頭中。
論文名：Captain Cinema: Towards Short Movie Generation
相關鏈接
- 論文：https://arxiv.org/pdf/2507.18634
- 項目：https://thecinema.ai
論文介紹
Captain Cinema 是一個用于短片生成的生成框架。給定電影故事情節的詳細文本描述，該方法首先生成一系列關鍵幀，概述整個敘事，以確保故事情節和視覺外觀（例如場景和角色）的長距離連貫性。論文將此步驟稱為自上而下的關鍵幀規劃。然后，這些關鍵幀作為支持長上下文學習的視頻合成模型的調節信號，以生成它們之間的時空動態。此步驟稱為自下而上的視頻合成。為了支持穩定高效地生成多場景長篇敘事電影作品，論文引入了一種針對多模態擴散變換器 (MM-DiT) 的交錯訓練策略，該策略專門針對長上下文視頻數據進行了調整。 模型在一個由交錯數據對組成的專門策劃的電影數據集上進行訓練。實驗表明，Captain Cinema 在高質量、高效地自動創作視覺連貫且敘事一致的短片方面表現出色。
方法概述
Captain Cinema：“我可以拍一整天！” Captain Cinema 將自上而下的交錯關鍵幀規劃與自下而上的交錯調節視頻生成連接起來，向首個多場景、整部電影的生成邁進了一步，并在場景和身份識別方面保持了高度的視覺一致性。這里的所有電影幀都是生成的。
從整部電影中學習。這是一個從完整電影中處理的交錯數據樣本。數據流水線提取了跨場景的結構化敘事和視覺信息。每一幀都標注了詳細的視覺描述，并標注了電影中的主要<角色名稱>。
方法概述。 Captain Cinema 將自上而下和自下而上的交叉方法結合起來，實現單階段多場景電影生成。它引入了一種混合注意力掩蔽策略，并結合 GoldenMem 上下文壓縮，從而高效地學習和生成長電影。GoldenMem 標記的數量（指編碼圖像潛伏信息的短邊）是展示逆斐波那契下采樣的一個例子。
GoldenMem 壓縮了上下文長度。 x 軸表示圖文對的數量，y 軸表示 token 總數。初始分辨率為 400×800（高×寬）。
面向語義的上下文檢索。在歷史上下文檢索方面，CLIP 文本轉圖像功能優于 T5 文本轉文本功能。
實驗結果
定性結果。從敘事提示“與布魯斯·韋恩、小丑和阿爾弗雷德·潘尼沃斯的星際之旅”出發，Gemini 2.5 Pro 創作了鏡頭級描述，引導我們自上而下的關鍵幀生成器，最終生成如上所示的故事板面板。每個文本-關鍵幀對隨后會調節我們自下而上的視頻模型，該模型會合成完整的多場景影片。圖中突出顯示了 24 個代表性鏡頭，展現了整個制作過程中持續的敘事連貫性、人物保真度和視覺風格。
定量評估與用戶研究。采用自動指標和平均人工排序 (AHR) 進行評估?！耙恢滦浴北硎局黧w和背景一致性的平均得分。*：大多數視頻片段的時間動態性較低，但在 VBench 指標上被評估為具有較高的時間一致性。
長上下文壓力測試。 論文進行了長上下文壓力測試，以測試長上下文生成的穩健性。使用 Gemini 2.5 Flash 從多個方面評估生成質量，并且使用 VBench 2.0 中引入的自動身份一致性指標。我們與 GoldenMem 的交錯方法可以生成高質量的長上下文，并保持角色和場景的強一致性。
長上下文壓力測試。盡管上下文長度變得很長，但該方法即使在延長的上下文長度下仍然保持了良好的視覺一致性、高視覺質量、多樣性和敘事連貫性。
結論
Captain Cinema模型是基于自上而下的交錯關鍵幀規劃和自下而上的多關鍵幀條件化視頻合成，用于生成短片。利用 GoldenMem 壓縮視覺上下文、漸進式長上下文微調和動態步幅采樣訓練策略，該模型在保持全局敘事連貫性的同時，還能在整個長片中保留局部視覺保真度。Captain Cinema模型還展現了其在創意場景生成和跨電影角色交換方面的泛化能力。盡管存在上述局限性，但是Captain Cinema代表著朝著完全自動化、故事驅動的電影生成邁出的具體一步，并將啟發未來的電影研究。
本文轉載自??AIGC Studio??，作者：AIGC Studio
