LuminaBrush

LuminaBrush 是一個構建交互式工具以在圖像上繪制照明效果的項目。該框架采用兩階段方法：第一階段將圖像轉換為“均勻照明”的外觀，第二階段利用用戶涂鴉生成照明效果。

相關鏈接

HF 演示：https://huggingface.co/spaces/lllyasviel/LuminaBrush

GitHub：https://github.com/lllyasviel/LuminaBrush

演示

LuminaBrush 目前基于 Flux。

種子為 12345 的示例：

框架

LuminaBrush 是一個兩階段框架。第一階段（左側）將圖像轉換為“均勻照明”的外觀（例如，由均勻分布的白色環境光源照亮的外觀）；第二階段（右側）在用戶涂鴉的指導下為這些“均勻照明”的外觀生成照明效果。

將照明繪制問題分解為兩個階段使學習變得更容易、更直接——否則（例如，如果只使用一個階段）可能需要考慮外部約束/規定（如光傳輸一致性等）來穩定模型行為。

我們首先收集一組相對較小的、光照相對均勻的圖像 - 例如這些：

（然后我們還使用在此集合上訓練的 Flux LoRA 生成的圖像來擴展此集合）

使用這些“均勻照明”的圖像作為中間表示具有一些優勢，例如避免 3D 反照率中網格邊界過于銳利或表面過于平坦。而且這些圖像的細節足以處理皮膚紋理細節、頭發、毛發等。

然后，我們合成隨機法線來隨機重新照亮那些“均勻照明”的圖像，以訓練一個可以從任何輸入圖像中提取“均勻照明”外觀的模型。

之后，我們從數百萬張高質量的野生圖像中提取“均勻照明”的外觀，構建配對數據來訓練最終的交互式照明繪制模型。

這種方法的一個明顯的副產品是應用程序可以獨立使用“均勻照明的舞臺”來“愉悅”圖像 - 我們還為想要使用它的人構建了一個 HF 空間：

https://huggingface.co/spaces/lllyasviel/lumina_brush_uniform_lit