無需物理引擎，單個模型也能實現“渲染+逆渲染”了！

在計算機圖形和視覺領域，渲染是指將3D模型變成逼真的2D圖片，逆渲染則是從2D圖片分析出3D模型的各種屬性（如材質、光照等）。

現在，從材質分解（逆渲染）——材質編輯——物體渲染的整個流程，都被統一到了一個框架中，且在性能方面達到了新SOTA。

該研究出自港科大廣州以及趣丸科技，他們首創雙流擴散框架Uni-Renderer，將渲染（生成圖像）與逆渲染（分解材質、光照、幾何）統一到單一擴散框架，實現“生成即分解”的閉環能力。

相關成果已被CVPR 2025接收，代碼與數據全面開源。

研究團隊表示，這一成果未來將重塑影視、游戲、AR/VR等產業的視覺生成管線。

首創雙流擴散框架

正如開頭提到，渲染是通過光線追蹤或路徑追蹤，生成高質量的圖像；逆渲染是在RGB圖像中提取出對象屬性，比如金屬度、粗糙度以及光照細節。

傳統方法需獨立建模訓練渲染器與逆渲染器，計算成本高效率低泛化差，兩個過程也缺乏聯系，精度和屬性分解效果都有限。

而Uni-Renderer的雙流擴散架構將兩個過程建模為雙條件生成任務，生成時以材質、光照為條件輸出圖像，分解時以圖像為條件反推內在屬性：

其中渲染流負責生成RGB圖像：以VAE編碼材質、法線、光照為條件，通過擴散過程生成圖像，支持動態調整粗糙度/金屬值（如“光滑棒球”秒變“金屬質感”）。

而逆渲染流負責處理內在屬性：以圖像為輸入，通過噪聲預測網絡分解屬性， 并在網絡內部進行跨流交互，實現信息傳遞融合優化協同。

此外，團隊還采用了差異化的timestep調度策略，通過不同的timestep使模型區分渲染和逆渲染的映射關系，讓這兩者能更好協同。

最后，鑒于傳統逆渲染因“材質-光照-幾何”耦合性導致分解模糊。

因此，他們將逆渲染分解得到的屬性，再次輸入到渲染模塊進行再渲染，并借助循環約束確保分解結果可重新生成一致圖像，徹底告別“分解即失真”。

實測對比，性能碾壓SOTA

1、材質編輯

對比Subias（過曝）、InstructPix2Pix（背景錯誤），Uni-Renderer精準控制高光與漫反射，如下圖中“金屬橙子”表面反射環境光照，細節逼真。

2、重光照

如下圖所示，輸入單張圖像，直接替換環境光為“夕陽/霓虹”，模型自動調整漫反射與鏡面反射，光影過渡自然，超越NvDiffRec的生硬效果。

3、真實場景

下圖中，“水壺”逆渲染成功解析高頻環境光，金屬質感與粗糙度誤差僅3%。

概括而言，通過在生成階段，以材質、光照為條件輸出圖像；分解階段，以圖像為條件反推內在屬性，效率提升了200%。

同時，Uni-Renderer強制內在屬性與圖像的一致性，在公開測試集上材質估計誤差降低40%，光照分解PSNR提升30%。

另外，研究基于Objaverse構建業界最大規模多材質合成數據集，涵蓋20萬3D對象、121種材質/光照組合，支持高分辨率（1024×1024）訓練。模型在未見過的真實場景中（如金屬水壺、手機支架）仍能精準分解高光、粗糙度與復雜光照。

在渲染任務中，PSNR達30.72（對比基線28.09），逆渲染任務中，材質估計MSE僅0.118（優化方法0.316）；重光照效果超越GaussianShader等方案，真實感拉滿。

開源即用

目前團隊對Uni-renderer同步進行了開源，包括：

• 代碼庫：支持一鍵訓練/推理，兼容PyTorch生態；
• 合成數據集：20萬對象+百萬級材質-光照組合，涵蓋數理化生多領域；
• 預訓練模型：即插即用于游戲資產生成、影視后期、工業設計等場景。

這項研究的作者為陳知非, 許添碩以及葛汶杭，他們是來自于香港科技大學（廣州）ENVISION實驗室的博士生，師從陳穎聰教授。

（ENVISION實驗室專注于視覺生成模型的研究，致力于探索其基本原理，以提高模型的質量、效率、多樣性和可控性。）

小結一下，Uni-Renderer的提出，標志著視覺生成與解析從“分而治之”邁入“統一智能”時代。

其雙流架構與循環約束機制，為跨任務聯合優化提供了全新范式。

未來，團隊將進一步融合真實數據，攻克復雜動態場景，讓人工智能成為“全能視覺工程師”。

論文鏈接：https://arxiv.org/pdf/2412.15050
GitHub代碼：https://yuevii.github.io/unirenderer-page/