耶魯大學(xué)和Adobe提出SynthLight：智能重塑人像照明，打造完美光影
耶魯大學(xué)和Adobe提出一種用于人像重新照明的擴(kuò)散模型SynthLight，該方法將圖像重新照明視為重新渲染問(wèn)題，其中像素會(huì)根據(jù)環(huán)境照明條件的變化而變化。在真實(shí)肖像照片上可以產(chǎn)生逼真的照明效果，包括頸部的明顯投射陰影和皮膚上的自然鏡面高光。
相關(guān)鏈接
- 論文：http://arxiv.org/abs/2501.09756v1
- 主頁(yè)：https://vrroom.github.io/synthlight/
論文介紹
SynthLight 是一種用于人像重新照明的擴(kuò)散模型。該方法將圖像重新照明視為重新渲染問(wèn)題，其中像素會(huì)根據(jù)環(huán)境照明條件的變化而變化。使用基于物理的渲染引擎，我們合成一個(gè)數(shù)據(jù)集，以在不同照明下使用 3D 頭部資產(chǎn)模擬這種照明條件下的轉(zhuǎn)換。我們提出了兩種訓(xùn)練和推理策略來(lái)彌合合成圖像域和真實(shí)圖像域之間的差距：
- 利用沒(méi)有照明標(biāo)簽的真實(shí)人物肖像的多任務(wù)訓(xùn)練；
- 基于無(wú)分類器指導(dǎo)的推理時(shí)間擴(kuò)散采樣程序，利用輸入肖像更好地保留細(xì)節(jié)。
我們的方法推廣到各種真實(shí)照片并產(chǎn)生逼真的照明效果，包括鏡面高光和投射陰影，同時(shí)保留主體的身份。我們對(duì) Light Stage 數(shù)據(jù)的定量實(shí)驗(yàn)表明結(jié)果可與最先進(jìn)的重新照明方法相媲美。我們對(duì)野外圖像的定性結(jié)果展示了豐富且前所未有的照明效果。
方法
SynthLight 的訓(xùn)練管道。 我們首先通過(guò)使用合成的重新照明元組訓(xùn)練擴(kuò)散主干（任務(wù) 1，頂行）來(lái)啟用重新照明建模。為了進(jìn)一步緩解合成圖像域和真實(shí)圖像域之間的域差距，我們包括文本到圖像任務(wù)的聯(lián)合訓(xùn)練。提出的模型基于LDM，由 VAE 和 UNet 組成。
我們?cè)谕评磉^(guò)程中采用圖像調(diào)節(jié)無(wú)分類器指導(dǎo)，以在身份保存和重新照明效果之間實(shí)現(xiàn)比例平衡。最終分?jǐn)?shù)估計(jì)值按公式 (2) 計(jì)算。
輸入肖像指導(dǎo)參數(shù) λI 的影響：我們展示 (a) 輸入肖像，(b) 光照條件和在 Blender 中以相同光照渲染的參考圖像，以及 (c) 具有不同 λI 的輸出。(d) 突出顯示 λI = 1，相當(dāng)于刪除推理時(shí)間適應(yīng)，改變了眼睛形狀（紅色矩形）。(e) 表明較高的 λI 會(huì)引入不受歡迎的光照偽影，例如來(lái)自輸入肖像的陰影偽影（黃色矩形）。
結(jié)果
(a) 我們的方法展示了在室外（左）和室內(nèi)（右）環(huán)境中有效重新照亮拍攝對(duì)象的能力。在室外場(chǎng)景中，由于面部特征和眼鏡的自我遮擋，會(huì)產(chǎn)生強(qiáng)烈的投射陰影（見(jiàn)插圖）。對(duì)于室內(nèi)場(chǎng)景，我們的方法可以處理復(fù)雜的照明條件，例如在輸入肖像上投射霓虹燈。
(b) 我們的方法可以捕捉肖像中有趣的燈光效果，合成精細(xì)的細(xì)節(jié)，例如眼睛中的捕捉光以實(shí)現(xiàn)逼真的重新照明（左，見(jiàn)插圖） 以及在強(qiáng)背光條件下（例如陽(yáng)光）耳朵中的次表面散射（右，見(jiàn)插圖）。
野外肖像結(jié)果：我們顯示輸入肖像、環(huán)境地圖、在 Blender 中渲染的參考圖像和基線比較。DiLightNet 顯示了其管道核心 3D 重建失敗造成的偽影。Neural Gaffer 未在人類肖像上進(jìn)行訓(xùn)練，因此在重新點(diǎn)亮的臉上會(huì)生成不準(zhǔn)確的陰影輪廓。IC-Light 由于選擇背景作為照明條件而難以重新點(diǎn)亮。Total Relighting 和 SwitchLight 在光照階段數(shù)據(jù)上進(jìn)行訓(xùn)練，即使在強(qiáng)烈的陽(yáng)光下也能產(chǎn)生柔和的陰影并改變膚色。相比之下，我們的方法在保留主體身份的同時(shí)實(shí)現(xiàn)了卓越的重新點(diǎn)亮。
背景與環(huán)境圖作為照明條件：背景提供的照明線索有限，導(dǎo)致背景條件模型產(chǎn)生不準(zhǔn)確的照明（請(qǐng)注意 (1)-(c) 中的錯(cuò)誤照明方向）。即便如此，通過(guò)利用我們的合成人臉數(shù)據(jù)集，背景條件模型能夠生成合理的照明，其特點(diǎn)是強(qiáng)烈的投射陰影，而 IC-Light 等協(xié)調(diào)方法則達(dá)不到要求。請(qǐng)參閱圖 7 第 3 行了解輸入肖像。
結(jié)論
SynthLight是一種人像補(bǔ)光擴(kuò)散模型，它可以重新照亮自然場(chǎng)景中的圖像，同時(shí)僅從合成數(shù)據(jù)中獲取照明監(jiān)督。它強(qiáng)調(diào)了使用合成數(shù)據(jù)實(shí)現(xiàn)可信人像補(bǔ)光的潛力，可實(shí)現(xiàn)有趣的照明效果，例如強(qiáng)烈的投射陰影、捕捉眼睛中的光線和相互反射。
