大家還記得那個 ICLR 2025 首次滿分接收、徹底顛覆靜態圖像光照編輯的工作 IC-Light 嗎？

今天，來自復旦大學、上海交通大學、浙江大學、斯坦福大學等機構的學者們正式宣布：IC-Light 的視頻版本來了——RelightVid！

• 論文標題：RelightVid: Temporal-Consistent Diffusion Model for Video Relighting
• 論文鏈接：https://arxiv.org/pdf/2501.16330
• 項目地址：https://aleafy.github.io/relightvid/
• Code: https://github.com/Aleafy/RelightVid

在視頻動態環境下實現時序一致、光影真實、支持強光動態場景的高質量視頻光照編輯，徹底打開下一代視頻重光照的新篇章！

圖 1. RelightVid 框架結構圖，從背景合成、光照注入到最終編輯，全面支持高質量光影一致性視頻重光照

RelightVid 有何突破？

在 Relight Your Images 靜態圖像版本中，作者提出了通過條件控制方式實現靈活光照風格遷移的革命性方法。而這次，團隊將目光瞄準更具挑戰性的目標——視頻光照編輯。

這不再是逐幀操作，而是要在真實的視頻中保持光照隨時間連續變化的時序一致性，還原自然真實的物理光影邏輯。

RelightVid 首次實現了在強動態光照條件下的長視頻編輯，不僅支持文字描述的光照風格控制，還兼容參考視頻背景/光源圖像。最終輸出的視頻在保持內容不變的同時，實現了光照的統一重構和流暢過渡。

從圖像到視頻：光照編輯的質變飛躍

圖 2. RelightVid 框架結構圖，從背景合成、光照注入到最終編輯，全面支持高質量光影一致性視頻重光照

RelightVid 展示了如何在圖像層面實現任意光照控制，但當場景換成視頻后，新的挑戰撲面而來：

時間一致性：逐幀編輯很容易出現光影跳變、邊界閃爍等問題

強光源建模：KTV、舞臺燈、城市霓虹燈等高動態強光環境，傳統方法無法真實還原

細節保持 vs 光照遷移的平衡：需要在保持原視頻內容的前提下，引入合理的光照變化

為此，RelightVid 提出了 Reference-to-Video 光照注入框架，結合合成背景生成和雙分支前景編輯網絡，構建全新的視頻級光照編輯流程。

技術亮點搶先看！

Dual-Branch Architecture：將前景和背景解耦處理，前景保持結構穩定，背景靈活響應光照變化，從而有效避免偽影和失真。

Reference-based Illumination Injection：支持通過靜態圖像、描述文字、甚至參考視頻，實現多模態光照風格控制。

Temporal-aware Editing Strategy：引入時序建模模塊，對幀間關系進行學習，使得輸出視頻在光照變化中保持連貫性和自然性。

支持真實+合成混合輸入：Relight a Video 不依賴于實驗室條件構建的數據集，而是能從真實視頻+合成參考中學習強泛化能力。

實驗結果震撼全場！

RelightVid 在多個真實+合成視頻數據集上進行了系統測試，覆蓋了城市夜景、KTV 舞臺、戶外燈光等多個強動態光源環境。

圖 3. RelightVid 實驗效果

通過與圖像逐幀方法、video editing 等 baseline 方法比較，RelightVid 在保持視頻內容連貫性的同時，實現了更加真實、自然的光照變化。

圖 3 右圖展示了在城市夜景場景下，輸入原視頻、參考霓虹燈圖像后，Relight a Video 能夠精確模擬出霓虹反光、水面投影等復雜光影現象，視覺效果極為震撼。

構建全新光照視頻編輯基準數據集！

圖 4 LightAtlas 數據集構建過程

為了支持這一任務的評估，作者構建了一個融合真實與合成場景的高質量 benchmark，LightAtlas 包括：

• 多種類型的參考光源（圖像/視頻/文本）
• 超過百段來自真實世界場景的動態視頻
• 長達 10 秒以上的高時序連續性
• 并配套設計了光照質量、內容保持度、時間穩定性等多維度指標，用于全面評估視頻 relighting 效果。

Relight a Video 正式開源！快來一起 relight the world！

Relight a Video 已全面開源，項目主頁提供了詳細的模型結構、推理腳本、demo 視頻和數據下載地址。如果你對圖像/視頻編輯、3D 重建、視覺物理建模、生成模型感興趣，Relight a Video 是你絕不能錯過的方向！