TC-Light 是由中科院自動化所張兆翔教授團隊研發的生成式渲染器，能夠對具身訓練任務中復雜和劇烈運動的長視頻序列進行逼真的光照與紋理重渲染，同時具備良好的時序一致性和低計算成本開銷，使得它能夠幫助減少 Sim2Real Gap 以及實現 Real2Real 的數據增強，幫助獲得具身智能訓練所需的海量高質量數據。

它是如何實現的呢？本文將為你揭秘 TC-Light 背后的黑科技！本工作已中稿 NeurIPS2025，論文與代碼均已公開，歡迎大家試用和體驗，也歡迎大家到 Project Page 體驗 Video Demo。

• 論文題目：TC-Light: Temporally Coherent Generative Rendering for Realistic World Transfer
• 項目主頁: https://dekuliutesla.github.io/tclight/ 
• 論文鏈接: https://arxiv.org/abs/2506.18904
• 代碼鏈接: https://github.com/Linketic/TC-Light

研究背景

光線及其與周圍環境的交互共同塑造了人類以及具身智能體感知數字世界和現實世界的基本方式，在不同光照條件下對世界的觀測使得我們理解光線與物質的交互關系，使得我們形成對周邊環境物質和幾何屬性的基本判斷，并且也使得我們能夠在不同的光照條件下都能夠魯棒且正確地完成與世界的交互。

然而，在現實環境中采集不同光照與場景條件下的數據代價高昂，而仿真環境中盡管可以獲得近乎無限的數據，但受限于算力資源，通常需要對光線的多次折射衍射以及紋理精度進行近似和簡化，使得視覺真實性無可避免地受到損失，在視覺層面產生 Sim2Real Gap。而如果能夠借助生成式模型根據所需的光照條件對現實或仿真環境下采集到的視頻數據進行重渲染，不僅能夠幫助獲得增加已有真實數據的多樣性，并且能夠彌合計算誤差帶來的 CG 感，使得從仿真器中得到視覺上高度真實的傳感器數據，包括 RL-CycleGAN 在內的許多工作已經證實，這一策略能夠幫助減少將具身模型遷移到真實環境中所需微調的數據量和訓練量。

盡管這一任務意義重大，但實際解決過程面臨許多挑戰。用于訓練的視頻數據往往伴隨復雜的運動以及前景物體的頻繁進出，同時視頻序列有著較長的長度以及較高的分辨率。我們的定量和定性實驗證據（參見論文實驗部分及 Project Page）表明，在這些復雜且困難的輸入條件下，已有的算法要么受制于訓練所用視頻數據的分布（如 COSMOS-Transfer1，Relighting4D），要么難以承受巨大的計算開銷（如 Light-A-Video, RelightVid），要么難以保證良好的時序一致性（如 VidToMe, RAVE 等）。

圖 1 TC-Light 效果展示

為了推動這一問題的解決，我們提出了 TC-Light 算法，在提升視頻生成模型計算效率的同時，通過兩階段在線快速優化提升輸出結果的一致性，如圖 1 和視頻Demo所示所示，本算法在保持重渲染真實性的同時，時序一致性和真實性相比于已有算法取得了顯著提高。下面對算法細節進行詳細介紹。

二、TC-Light 算法介紹

零樣本時序模型擴展

TC-Light 首先使用視頻擴散模型根據文本指令對輸入視頻進行初步的重渲染。這里我們基于預訓練好的 SOTA 圖像模型 IC-Light 以及 VidToMe 架構進行拓展，同時引入我們所提出的 Decayed Multi-Axis Denoising 模塊增強時序一致性。具體而言，VidToMe 在模型的自注意力模塊前后分別對來自不同幀的相似 token 進行聚合和拆分，從而增強時序一致性并減少計算開銷；如圖 2 中 (a) 所示，類似 Slicedit，Decayed Multi-Axis Denoising 模塊將輸入視頻分別視作圖像 (x-y 平面) 的序列和時空切片（y-t 平面）的序列，分別用輸入的文本指令和空文本指令進行去噪，并對兩組噪聲進行整合，從而使用原視頻的運動信息指導去噪過程。不同于 Slicedit，我們在 AIN 模塊對兩組噪聲的統計特性進行了對齊，同時時空切片部分的噪聲權重隨去噪步數指數下降，從而避免原視頻光照和紋理分布對重渲染結果的過度影響。

圖 2 TC-Light 管線示意圖

兩階段時序一致性優化策略

盡管通過引入前一小節的模型，視頻生成式重渲染結果的一致性得到了有效改善，但輸出結果仍然存在紋理和光照的跳變。因此我們進一步引入兩階段的時序一致性優化策略，這同時也是 TC-Light 的核心模塊。在第一階段，如圖 2 中 (b) 所示，我們為每一幀引入 Appearance Embedding 以調整曝光度，并根據 MemFlow 從輸入視頻估計的光流或仿真器給出的光流優化幀間一致性，從而對齊全局光照。這一階段的優化過程非常快速，A100 上 300 幀 960x540 分辨率只需要數十秒的時間即可完成。

在第二階段，我們進一步對光照和紋理細節進行優化。如圖 2 中 (c) 所示，這里我們首先根據光流以及可能提供的每個像素在世界系下的位置信息，快速將視頻  壓縮為碼本 （也即圖中的 Unique Video Tensor），即：

其中 κ(x,y,t) 為視頻幀給定像素依據光流及空間信息得到的碼本索引，這一基于時空先驗的壓縮方式在原視頻上近乎可以保持無損。不同于 Vector Quantization 僅考慮顏色相似性的做法，這一壓縮方案保證了被聚合的像素之間的時空關聯性，使得對應同一個碼本值的不同像素具有相似的時空一致性優化目標和梯度。隨后，我們以碼本 作為優化目標，以解碼后的幀間一致性作為主要優化目標，并且以 TV Loss 抑制噪聲，同時以 SSIM Loss 使得與一階段優化結果保持一定程度的結構相似性。實驗結果表明，這一階段的優化能顯著改善時序一致性，同時非常快速，A100 上 300 幀 960x540 分辨率通常只花費 2 分鐘左右，且由于以壓縮后的碼本作為優化目標，不僅避免了以往工作以 NeRF 或 3DGS 為載體帶來的 10-30 分鐘的訓練代價，顯存開銷上也能得到優化。

三、實驗與分析

表 1 與主流算法的定量性能比較，其中 VidToMe 和 Slicedit 的基模型都換成了 IC-Light 以進行公平比較。Ours-light 指不用 Multi-Axis Denoising 模塊的結果，相當于對 VidToMe 直接應用兩階段優化算法。

為了驗證算法在長動態序列的重渲染表現，我們從 CARLA、Waymo、AgiBot-DigitalWorld、DROID 等數據集收集了 58 個序列進行綜合評測，結果如表 1 所示。可以看到我們的算法克服了已有算法在時序一致性和計算開銷等方面的問題，取得了最佳的綜合性能表現。圖 3 的可視化對比也表明，我們的算法在保持內容細節的同時得到了高質量的重渲染性能表現。

圖 3 一致性與生成質量可視化對比。TC-Light 避免了 (a) 中像 Slicedit 和 COSMOS-Transfer1 那樣不自然的重渲染結果和 (b) 中展現出的模糊失真，或 (c) 中像 IC-Light 和 VidToMe 那樣的時序不一致性。

此外，我們也在有 GT 數據的仿真數據集 Virtual KITTI 上進行了比較，從而可以使用 SSIM 和 LPIPS 等指標替換 CLIP-T 等代理指標獲得更客觀的性能評估。表 2 的結果同樣表明，我們的算法很好地取得了計算開銷和性能之間的平衡，取得了最佳的重渲染效果。

表 2 Virtual KITTI 數據集上與主流算法的定量性能比較 

四、總結

TC-Light 作為一種新的生成式渲染器，克服了具身環境下視覺傳感器數據重渲染面對的時序一致性和長序列計算開銷兩大挑戰，在性能表現上優于現有技術，不僅為 Sim2Real 和 Real2Real 數據擴展帶來了新的思路，也為視頻編輯領域帶來了新的模型范式。TC-Light 的論文和代碼均已開源，希望能夠相關領域帶來不同的思考和啟發。