本文作者來(lái)自于上海交通大學(xué)，中國(guó)科學(xué)技術(shù)大學(xué)以及上海人工智能實(shí)驗(yàn)室等。其中第一作者周彧杰為上海交通大學(xué)二年級(jí)博士生，師從牛力副教授。

數(shù)字化時(shí)代，視頻內(nèi)容的創(chuàng)作與編輯需求日益增長(zhǎng)。從電影制作到社交媒體，高質(zhì)量的視頻編輯技術(shù)成為了行業(yè)的核心競(jìng)爭(zhēng)力之一。然而，視頻重打光（video relighting）—— 即對(duì)視頻中的光照條件進(jìn)行調(diào)整和優(yōu)化，一直是這一領(lǐng)域的技術(shù)瓶頸。傳統(tǒng)的視頻重打光方法面臨著高昂的訓(xùn)練成本和數(shù)據(jù)稀缺的雙重挑戰(zhàn)，導(dǎo)致其難以廣泛應(yīng)用。

如今，這一難題終于迎來(lái)了突破 —— 由上海交通大學(xué)以及上海人工智能實(shí)驗(yàn)室聯(lián)合研發(fā)的 Light-A-Video 技術(shù)，為視頻重打光帶來(lái)了全新的解決方案。

• 論文地址：https://arxiv.org/abs/2502.08590
• 項(xiàng)目主頁(yè)：https://bujiazi.github.io/light-a-video.github.io/
• 代碼地址：https://github.com/bcmi/Light-A-Video

無(wú)需訓(xùn)練，零樣本實(shí)現(xiàn)視頻重打光

Light-A-Video 是一種無(wú)需訓(xùn)練的視頻重打光方法，能夠在沒(méi)有任何訓(xùn)練或優(yōu)化的情況下，生成高質(zhì)量、時(shí)序一致的重打光視頻。這一技術(shù)的核心在于充分利用預(yù)訓(xùn)練的圖像重打光模型（如 IC-Light）和視頻擴(kuò)散模型（如 AnimateDiff 和 CogVideoX），通過(guò)創(chuàng)新的 Consistent Light Attention（CLA）模塊和 Progressive Light Fusion（PLF）策略，針對(duì)視頻內(nèi)容的光照變化進(jìn)行了一致性的優(yōu)化，實(shí)現(xiàn)了對(duì)視頻序列的零樣本（zero-shot）光照控制。

其優(yōu)勢(shì)在于：

1. 無(wú)需訓(xùn)練，高效實(shí)現(xiàn)視頻重打光：Light-A-Video 是首個(gè)無(wú)需訓(xùn)練的視頻重打光模型，能夠直接利用預(yù)訓(xùn)練的圖像重打光模型（如 IC-Light）的能力，生成高質(zhì)量且時(shí)間連貫的重打光視頻。這種方法避免了傳統(tǒng)視頻重打光方法中高昂的訓(xùn)練成本和數(shù)據(jù)稀缺的問(wèn)題，顯著提高了視頻重打光的效率和擴(kuò)展性。

2. 創(chuàng)新的端到端流程，確保光照穩(wěn)定性與時(shí)序一致性：CLA 模塊通過(guò)增強(qiáng)跨幀交互，穩(wěn)定背景光源的生成，減少因光照不一致導(dǎo)致的閃爍問(wèn)題。PLF 通過(guò)漸進(jìn)式光照融合策略，逐步注入光照信息，確保生成視頻外觀的時(shí)間連貫性。

3. 廣泛的適用性與靈活性：Light-A-Video 不僅支持對(duì)完整輸入視頻的重打光，還可以對(duì)輸入的前景序列進(jìn)行重打光，并生成與文字描述相符的背景。而且不依賴于特定的視頻擴(kuò)散模型，因此與多種流行的視頻生成框架（如 AnimateDiff、CogVideoX 和 LTX-Video）具有高度的兼容性。

CLA + PLF

確保光照一致性與穩(wěn)定性

Light-A-Video 核心技術(shù)包括兩個(gè)關(guān)鍵模塊：Consistent Light Attention 和 Progressive Light Fusion。CLA 模塊通過(guò)增強(qiáng)自注意力層中的跨幀交互，穩(wěn)定背景光照源的生成。它引入了一種雙重注意力融合策略，一方面保留原始幀的高頻細(xì)節(jié)，另一方面通過(guò)時(shí)間維度的平均處理，減少光照源的高頻抖動(dòng)，從而實(shí)現(xiàn)穩(wěn)定的光照效果。實(shí)驗(yàn)表明，CLA 模塊顯著提高了視頻重打光的穩(wěn)定性，減少了因光照不一致導(dǎo)致的閃爍問(wèn)題。

PLF 策略則進(jìn)一步提升了視頻外觀的穩(wěn)定性。它基于光傳輸理論的光照線性融合特性，通過(guò)逐步混合的方式，將重打光外觀與原始視頻外觀進(jìn)行融合。在視頻擴(kuò)散模型的去噪過(guò)程中，PLF 策略逐步引導(dǎo)視頻向目標(biāo)光照方向過(guò)渡，確保了時(shí)間連貫性。這種漸進(jìn)式的光照融合方法不僅保留了原始視頻的細(xì)節(jié)，還實(shí)現(xiàn)了平滑的光照過(guò)渡。

Light-A-Video 整體架構(gòu)設(shè)計(jì)

1. 利用視頻擴(kuò)散模型的時(shí)序先驗(yàn)，將原始視頻加噪到對(duì)應(yīng)的步數(shù)后進(jìn)行去噪。在每一步的去噪過(guò)程中，提取其預(yù)測(cè)的原始去噪目標(biāo)并添加上對(duì)應(yīng)的視頻細(xì)節(jié)補(bǔ)償項(xiàng)作為當(dāng)前步的一致性目標(biāo) 

2. 將  輸入圖片重打光模型（IC-Light），并利用 CLA 的雙流注意力模塊進(jìn)行逐幀重打光，實(shí)現(xiàn)穩(wěn)定的背景光源生成，作為當(dāng)前步的重打光的目標(biāo)。

3. 在預(yù)測(cè)下一步的時(shí)，先利用 VAE 編解碼器將和從潛層編碼空間解碼到視頻像素層面。然后通過(guò)引入一個(gè)漸進(jìn)式隨時(shí)間步下降的參數(shù)將兩個(gè)目標(biāo)進(jìn)行線性外觀混合后，重新編碼到潛層編碼空間獲取混合目標(biāo)。即 PLF 策略利用混合目標(biāo)引導(dǎo)生成單步的重打光結(jié)果。

當(dāng)視頻完全去噪后，Light-A-Video 能夠獲得時(shí)序穩(wěn)定且光照一致的重打光視頻。

高質(zhì)量、時(shí)間連貫的重光照效果

為了驗(yàn)證 Light-A-Video 的有效性，研究團(tuán)隊(duì)基于 DAVIS 和 Pixabay 公開(kāi)數(shù)據(jù)集上構(gòu)建了其測(cè)試數(shù)據(jù)集。實(shí)驗(yàn)結(jié)果表明，Light-A-Video 在多個(gè)評(píng)估指標(biāo)上均優(yōu)于現(xiàn)有的基準(zhǔn)方法，尤其在動(dòng)作保留方面，該方法在保證原視頻外觀內(nèi)容的基礎(chǔ)上實(shí)現(xiàn)了高質(zhì)量的重打光效果。

另外，Light-A-Video 能夠在僅提供前景序列的情況下，實(shí)現(xiàn)背景生成和重打光的并行處理。

未來(lái)展望：動(dòng)態(tài)光照與更廣泛應(yīng)用

之后，Light-A-Video 將致力于有效地處理動(dòng)態(tài)光照條件，進(jìn)一步提升視頻重打光的靈活性與適應(yīng)性。這一創(chuàng)新技術(shù)的出現(xiàn)，已然為視頻編輯領(lǐng)域注入了全新思路。隨著技術(shù)的持續(xù)發(fā)展與優(yōu)化，我們有理由相信，Light-A-Video 必將在更廣泛的領(lǐng)域大放異彩，為視頻內(nèi)容創(chuàng)作開(kāi)辟更多可能性。