DrivingGaussian：逼真環視數據，駕駛場景重建SOTA
本文經自動駕駛之心公眾號授權轉載，轉載請聯系出處。
原標題：DrivingGaussian: Composite Gaussian Splatting for Surrounding Dynamic Autonomous Driving Scenes
論文鏈接：https://arxiv.org/pdf/2312.07920.pdf
代碼鏈接：https://pkuvdig.github.io/DrivingGaussian/
作者單位：北京大學 Google Research 加州大學默塞德分校
論文思路：
本文提出 DrivingGaussian，這是一個針對動態自動駕駛場景的高效率和高效益的框架。對于具有移動物體的復雜場景，本文首先使用增量靜態3D高斯 (incremental static 3D Gaussians) 順序漸進地對整個場景的靜態背景進行建模。然后，本文利用復合動態高斯圖(composite dynamic Gaussian graph) 來處理多個移動物體，單獨重建每個物體并恢復它們在場景中的準確位置和遮擋關系。本文進一步使用 LiDAR 先驗進行 Gaussian Splatting 來重建具有更多細節的場景并保持全景一致性。DrivingGaussian 在駕駛場景重建方面優于現有方法，并能夠實現具有高保真度和多相機一致性的逼真環視合成。
主要貢獻：
據本文所知，DrivingGaussian是第一個基于 Composite Gaussian Splatting 的大規模動態駕駛場景的表示和建模框架。
引入了兩個新穎的模塊，包括增量靜態3D高斯 (Incremental Static 3D Gaussians) 和復合動態高斯圖(Composite Dynamic Gaussian Graphs)。前者增量地重建靜態背景，而后者則使用高斯圖對多個動態物體進行建模。在激光雷達先驗的輔助下，該方法有助于在大規模駕駛場景中恢復完整的幾何形狀。
綜合實驗表明，DrivingGaussian 在具有挑戰性的自動駕駛基準測試中優于以前的方法，并能夠對各種下游任務進行極端情況(corner case)模擬。
網絡設計：
本文介紹了 DrivingGaussian，這是一種表示環視動態自動駕駛場景的新穎框架。本文的關鍵思想是使用來自多個傳感器的順序數據對復雜的駕駛場景進行分層建模。本文采用 Composite Gaussian Splatting 將整個場景分解為靜態背景和動態物體，分別重建每個部分。具體來說，本文首先使用增量靜態3D高斯從環視多相機視圖順序構建綜合場景。然后，本文采用復合動態高斯圖來單獨重建每個運動物體，并基于高斯圖將它們動態地集成到靜態背景中。在此基礎上，通過 Gaussian Splatting 進行全局渲染，捕捉現實世界中的遮擋關系，包括靜態背景和動態物體。此外，本文在 GS 表示中加入了 LiDAR 先驗，與利用隨機初始化或 SfM[34] 生成的點云相比，它能夠恢復更精確的幾何形狀并保持更好的多視圖一致性。
大量的實驗表明，本文的方法在公共自動駕駛數據集上實現了最先進的性能。即使事先沒有激光雷達，本文的方法仍然表現出良好的性能，證明了其在重建大規模動態場景方面的多功能性。此外，本文的框架支持動態場景構建和極端情況(corner case)模擬，有助于驗證自動駕駛系統的安全性和魯棒性。
圖 1. DrivingGaussian 實現了環視動態自動駕駛場景的逼真渲染性能。樸素的方法 [13, 49] 要么在大范圍背景中產生 unpleasant 偽影和模糊，要么難以重建動態物體和詳細的場景幾何形狀。DrivingGaussian 首先引入了 Composite Gaussian Splatting 來有效地表示復雜的環視駕駛場景中的靜態背景和多個動態物體。DrivingGaussian 能夠跨多相機高質量合成環視視圖，并促進長期動態場景重建。
圖 2.本文方法的總體流程。左：DrivingGaussian 從多傳感器獲取連續數據，包括多相機圖像和 LiDAR。中：為了表示大規模動態駕駛場景，本文提出了 Composite Gaussian Splatting ，它由兩個部分組成。第一部分增量地重建廣泛的靜態背景，而第二部分使用高斯圖構造多個動態物體并將它們動態地集成到場景中。右圖：DrivingGaussian 在多個任務和應用場景中展示了良好的性能。
圖 3. 具有增量靜態3D高斯和動態高斯圖的 Composite Gaussian Splatting 。本文采用 Composite Gaussian Splatting 將整個場景分解為靜態背景和動態物體，分別重建每個部分并整合它們進行全局渲染。
實驗結果：
總結：
本文介紹了 DrivingGaussian，一種基于所提出的 Composite Gaussian Splatting 來表示大規模動態自動駕駛場景的新穎框架。DrivingGaussian 使用增量靜態3D高斯(incremental static 3D Gaussians)逐步對靜態背景進行建模，并使用復合動態高斯圖(composite dynamic Gaussian graph)捕獲多個移動物體。本文進一步利用 LiDAR 先驗來實現精確的幾何結構和多視圖一致性。DrivingGaussian 在兩個自動駕駛數據集上實現了最先進的性能，實現了高質量的環視視圖合成和動態場景重建。
引用：
Zhou, X., Lin, Z., Shan, X., Wang, Y., Sun, D., & Yang, M. (2023). DrivingGaussian: Composite Gaussian Splatting for Surrounding Dynamic Autonomous Driving Scenes. ArXiv. /abs/2312.07920
