神經輻射場（NeRF）及三維高斯潑濺（3D Gaussian Splatting，3DGS）雖能構建靜態數字孿生，卻無法模擬真實世界的動態，不僅限制了虛擬現實和混合現實的真實感，也是智能訓練與Real2Sim2Real范式突破的關鍵瓶頸。

如何讓數字孿生世界具備真實物理規律，實現可預測、可操控的動態環境，是自動駕駛、具身智能等空間智能應用亟待解決的核心挑戰。

為此，北京大學陳寶權教授研究團隊提出RainyGS技術（合作者為楚夢渝、陳文拯助理教授，博士生戴啟宇、倪星宇和本科生沈千帆），探索了一條通向「孿生世界動態仿真」的新路徑。

目前，該成果已被CVPR 2025接收。

論文地址：https://arxiv.org/abs/2503.21442

項目主頁（內附原始高質量視頻）：https://pku-vcl-geometry.github.io/RainyGS/

RainyGS基于高精度表面表達，統一構建孿生世界的幾何重建、高效渲染、準確仿真及精準交互，奠定了以高質量表面表達為核心的孿生世界動態場景生成新范式。

以降雨、洪澇等復雜流體現象為案例，RainyGS借助3DGS的高效表面表達，融合物理仿真與實時渲染，實現了「從靜態到動態」的無縫擴展，不僅能夠為重建場景帶來逼真的動態雨效，精準呈現雨滴軌跡、水面波動、光線折射等物理現象，還支持用戶「動態調節雨量、風速、流向」，創造從細雨朦朧到暴雨傾盆的可控動態環境。

RainyGS并不僅僅是面向增強現實的動態場景生成技術，同時也代表了Real2Sim2Real的重要進展：RainyGS讓數字孿生世界不僅能「看見現實，呈現現實」，更能感知并預測物理變化，突破了傳統仿真工具在場景逼真多樣、高效性與交互性等方面的局限。

以自動駕駛為例，RainyGS能在真實場景里自動生成高逼真的雨天、洪澇等訓練數據，并提供完備的時空標簽，為無人駕駛系統在多變天氣下的安全性與可靠性提升提供堅實支撐。

此外，RainyGS還能為具身智能體提供更加豐富的動態交互訓練環境，推動空間智能技術的進一步發展，為自動駕駛、機器人、智慧城市等「空間智能」領域帶來全新可能。

從多視角圖像重建高保真的三維場景，RainyGS能夠高效生成具有高真實感的動態下雨效果

為什么「動態」這么難？

在孿生場景中添加下雨等動態現象聽起來似乎簡單，但實際卻極具挑戰。

日常的降雨現象包含雨滴在空中降落、在積水表面形成漣漪、水面層層波動等動態，包含濕潤場景的反射折射等視覺現象，這些都意味著大量的計算。

當前，部分工作選擇將3DGS同傳統的三維空間仿真技術相融合，這往往意味著要將3DGS的表面表達轉化為只含幾何信息的三維空間表達（如Grid體素網格、四面體mesh網格、粒子系統等等）來仿真，而渲染時又需要將數據轉換回去。

這一數據的往復轉換正是其中的瓶頸：為了保證三維空間仿真能夠高效完成，3DGS高精度表面表達往往被轉換為低分辨率的全空間表達，導致幾何精度下降但計算資源飆升。

這種精度「降低」但數據量「升維」的操作不僅大量消耗計算時間空間，更因插值誤差破壞信息一致性：高精度表面信息被浪費，低質量插值數據引入誤差，最終讓動態和渲染呈現的真實感降低，使得許多工作無法同時滿足高保真和實時性需求。

RainyGS的破局之道：基于表面統一表達物理和外觀

RainyGS的創新之處在于，它以表面表達為核心，巧妙融合了幾何重建、仿真與渲染，在場景的多種計算之間，實現了無冗余且無精度損失的信息傳遞。

借助表面表達，RainyGS無需復雜的人工干預，也不額外引入信息插值和誤差，完美的保留了3DGS的像素級精度，又規避全局空間仿真的計算災難。

這種「從圖像到GS表面，從GS表面到表面物理計算」的表達閉環，突破性地實現了動態雨水的高效高保真呈現。

現有大模型等視頻生成技術雖能合成逼真雨景，卻常常犧牲物理規則——雨滴穿透墻體、積水無視重力、被遮擋物體「閃爍」跳變。

RainyGS的動態效果與輸入場景的幾何、材質嚴格綁定：雨滴在積水表面撞出波紋、水流沿地面坡度自然擴散、濕潤表面折射率隨水深漸變。

這種基于表面表達的精細物理計算，使虛擬降雨的每一幀都具備可測量的真實性與三維一致性，為自動駕駛仿真、災害推演等場景提供像素級可信的動態孿生。

與視頻生成大模型的對比?，F有的視頻編輯方法（如 Runway Video2Video）通常難以保持輸入場景的幾何結構，并且缺乏跨視角的三維一致性（例如，被遮擋區域在重新出現時可能發生變化），生成的下雨效果也難以保證物理真實。相比之下，RainyGS 不僅能夠保持輸入幾何結構及其跨視角一致，還能生成逼真且動態變化的下雨效果

利用基于表面的表達統一場景建模和動態生成的方法論。物理現象的本質是相互作用，多種相互作用（包括可形變固體和流體等等）可以等效或近似為能通過邊界方程加以控制的表面效應。而邊界方程可以自然地通過高斯橢球中提取而來的表面點云離散化

值得一提的是，RainyGS所采用的以表面表達統一渲染、仿真與幾何建模技術，其背后有堅實的理論支撐，具備較好的普適性，有潛力支撐大量動態現象的呈現。

物理動態主要描述的是物質間的相互作用規律，而這些相互作用往往通過表面來體現，如固體的形變、流體的波動等等表面效應，可以利用幾何和物理推導，精確地使用邊界方程進行描述。

通過離散和求解表面方程，計算機圖形學領域已研究有一系列以表面為核心的仿真算法，如可變形物體的靜力學仿真、動力學仿真，如流體的表面張力構形、水波波動等等。

這種以表面來仿真、表達世界的范式來源于表面作為物理交互「第一現場」的本質屬性，與高斯表達完美契合，蘊含著高效統一多種動態及呈現的巨大潛力。

RainyGS：幾何、光照與物理動態的完美結合

RainyGS 框架示意圖。首先通過輸入多視角圖像，對場景的外觀與幾何進行高保真重建。隨后生成高度圖，并利用淺水模擬實現動態下雨效果（包括積水、漣漪、雨線等）。接著，在 3DGS 光柵化渲染的深度圖、法線圖等屏幕空間貼圖的基礎上，采用高效的屏幕空間光線追蹤來模擬反射與折射。最后，基于圖像的渲染（IBR）將各分量進行混合，生成逼真、動態的降雨場景

RainyGS的核心在于將基于物理的雨滴和淺水模擬技術與快速的高斯潑濺渲染框架相結合，實現了真實場景中動態雨效的高質量呈現。其核心技術架構包含三大關鍵模塊：

緊致的信息提取

基于高斯表面投影實現場景高度場的無損提取, 服務于后續高精度的物理仿真；

基于高斯表達高效渲染幾何屬性，如場景的深度圖、法向圖，服務于后續高保真的屏幕渲染；

相比于其他復合表達的工作，我們的數據表達做到了完美契合，既保證轉換信息無冗余，如僅提取二維高度場而非三維空間幾何，同時保證數據轉換中精度一致，減少誤差。

精準的物理建模

基于淺水波方程（SWE）精確模擬雨滴與地面的動態交互；

實時計算雨滴軌跡、漣漪擴散等復雜物理現象；

支持動態調整降雨強度，從朦朧細雨到傾盆暴雨無縫切換。

高效的外觀渲染

引入屏幕空間光線追蹤技術，精準還原水面反射與折射效果；

依托三維高斯潑濺（3DGS）和基于圖像的渲染（IBR）框架實現每秒30幀的實時渲染。

這種以表面表達為核心，支撐「精準建模+物理模擬+實時渲染」的創新架構，既突破了傳統NeRF/3DGS在動態上的局限，又避免了純物理模擬對專業建模的依賴，達到實時且準確的仿真和渲染，大大提升場景的細節和沉浸感，為數字孿生、VR/AR、大模型及智能體訓練等任務提供了全新的動態解決方案。

逼真雨效，交互可控

RainyGS在MipNeRF360數據集以及Tanks and Temples數據集的多個真實世界場景中進行了驗證。實驗結果表明，RainyGS不僅在視覺上高度逼真，還能夠保持物理上的準確性，同時實現高效的實時性能。

與基于視頻的雨效合成方法相比，RainyGS能夠更好地保持場景的三維一致性，避免了輸入場景結構的改變，并且能夠生成更加真實和動態的雨線、積水和漣漪效果。

此外，RainyGS還允許用戶靈活調整雨的強度，從「小雨」到「暴雨」，輕松滿足不同場景的需求。

本文視頻有一定壓縮，歡迎查看項目網站瀏覽高清降雨效果:https://pku-vcl-geometry.github.io/RainyGS/

MipNeRF360 - Treehill動態降雨生成結果

MipNeRF360 - Bicycle動態降雨生成結果

Tanks and Temples - Family動態降雨生成結果

Tanks and Temples - Truck動態降雨生成結果

下雨進程示意對降雨強度、水位（在圖中以 [ ] 表示）以及光照等要素的可控調節

開啟現實場景動態仿真新紀元

RainyGS的提出為多個領域帶來了新的機遇。在游戲開發中，它可以為圖片重建的虛擬世界增添更加逼真的天氣效果，虛實結合，提升玩家的沉浸感。

在自動駕駛模擬中，RainyGS能夠為訓練場景添加極端天氣數據，幫助自動駕駛系統更好地應對復雜環境，提高安全性。

Waymo動態降雨生成結果

RainyGS通過創新性融合物理模擬與高效渲染技術，實現高度逼真的動態降雨效果。其核心優勢在于可擴展的架構設計——基于新型高斯表示的物理引擎不僅能精準模擬雨滴軌跡、水面漣漪等復雜流體現象，還構建了一個基于統一緊致表達的框架，支持向多物理場耦合擴展，如人體動態、布料模擬、風雪天氣等。

研究團隊正基于這一框架開發更豐富的動態交互系統，致力于實現物理精確的交互式建模。該技術仍在持續演進中，但這一基于高斯表示的動態建模體系已展現出重塑數字孿生和虛擬訓練環境技術標準的潛力。

相關研究有望推動數字孿生世界邁向更逼真、更復雜的時空動態場景，將進一步拓展Real2Sim2Real的無限可能，助力智能體訓練，推動空間智能的發展。