再也不怕顯存爆炸了！高效重建「幾何精準」的大規模復雜三維場景，中科院提出CityGaussianV2
三維場景重建旨在基于圍繞目標場景拍攝的一組圖像恢復出場景的三維結構，其核心追求是精準的幾何結構以及逼真的圖像渲染。
隨著近兩年的發展，3D Gaussian Splatting（3DGS）因其訓練和渲染效率上的優勢逐漸成為該領域的主流算法。這一技術使用一組離散的高斯橢球來表示場景，并使用高度優化的光柵器進行渲染。
然而，這一離散且無序的表征形式通常難以很好地擬合物體表面的實際分布，導致重建出的場景幾何結構并不精準。近來包括SuGaR、2DGS、GOF在內的一系列杰出工作針對這一問題進行了探索，并給出了有效的解決方案。
幾何重建質量可視化比較
盡管這些技術在單一目標或小場景上取得了巨大的成功，但它們應用于復雜的大規模場景卻往往面臨比3DGS更加嚴峻的挑戰。
從不同算法在大規模場景下的幾何重建效果中可以看出，SuGaR的模型容量有限，難以還原精細的幾何結構；GOF受到嚴重的模糊鬼影的干擾，許多視角下畫面被鬼影完全遮擋，以至于監督失效，重建結果面對顯著的欠擬合；2DGS受到模糊鬼影的影響較弱，但也妨礙了其收斂效果，并且退化現象容易誘發高斯基元的過度增長，進而引起顯存爆炸，訓練難以為繼。
此外，大規模場景下長期以來缺少幾何重建質量的有效評估手段，已有的工作或只進行了可視化定性比較，或忽視了欠觀測區域不穩定的重建效果對指標產生的干擾。
大規模場景的重建往往還意味著顯著的訓練開銷，要重建1.97的區域會產生接近兩千萬的高斯點，意味著需要4.6G的存儲以及31.5G的顯存開銷，以及超過三小時的訓練時長。如果要進一步完成壓縮，通常還需要額外將近一個小時的時間。
針對這三方面的技術挑戰，中科院自動化所的研究人員提出了CityGaussianV2。該算法繼承了CityGaussian的子模型劃分與數據分配方案，并使用2DGS作為基元來重建。
項目主頁: https://dekuliutesla.github.io/CityGaussianV2
論文鏈接: https://arxiv.org/pdf/2411.00771
代碼鏈接（500+星）: https://github.com/DekuLiuTesla/CityGaussian
在此基礎上，CityGaussianV2引入了基于延展率過濾和梯度解耦的稠密化技術，以及深度回歸監督，同時合并了訓練和壓縮過程，得到了端到端的高效訓練管線，不僅有效加速算法收斂，同時保障了穩定、快速、低顯存開銷的并行訓練。
CityGaussianV2算法介紹
場景重建基礎
3DGS使用一組高斯分布表征的橢球對場景進行表征，每個高斯球同時綁定包括不透明度、顏色以及高階球諧系數等用于alpha blending渲染的屬性，并通過包含L1損失和SSIM損失的加權和對渲染質量進行監督。
在訓練過程中，算法還會根據每個高斯基元的梯度信息進行自適應地分裂和克隆，使得重建效果不佳的區域能夠自動被更合適的基元填充。
2DGS旨在增強幾何重建精度，并將橢球降維為橢圓面片作為基元表征場景，同時對渲染出的深度和法向量分布施加監督，保證重建表面的平整性。
CityGaussian旨在將3DGS泛化到大場景，首先預訓練一個表征全局場景的粗粒度的3DGS場，隨后將預訓練結果劃分為一系列子模型，并根據子模型對訓練視圖渲染的貢獻程度為每個子模型分配訓練數據。每個子模型隨后會用不同的GPU并行微調，并在訓練結束后進行合并和壓縮，得到場景的最終表征。
CityGaussianV2的優化算法
高斯基元優化算法示意圖
現有表面重建方案在泛化到大場景時往往展現出收斂遲緩、訓練不穩定等問題，導致并行訓練失敗，難以取得良好的重建效果。
算法以泛化能力最好的2DGS為基元，在引入Depth-Anything-V2的偽深度監督提供幾何先驗的基礎上，進一步提出了新的高斯基元稠密化方案。
可以觀察到，在復雜大規模場景上，2DGS在早期訓練階段比3DGS受到更嚴重的模糊偽影的干擾，導致在迭代次數有限的情況下性能顯著劣于3DGS。
為了緩解這一問題，研究人員引入梯度解耦策略，利用對圖像結構差異更為敏感的SSIM損失作為稠密化的主要梯度來源：
此處用于控制梯度的尺度；另外在大規模場景下用2DGS進行重建的障礙在于其退化現象。實驗證據表明，當從遠距離或側面視角渲染時，部分面片可能會退化成線或點，尤其是那些延展率比較高的面片。
對于那些具有高不透明度的投影點，它們的移動往往意味著像素值的劇烈變化，從而使得它們獲得較高的梯度，并在稠密化過程中大量增殖，導致基元數量指數級增長，最終導致顯存爆炸問題。
為了解決這一問題，在稠密化過程中，對容易引起退化和梯度集中的具有極端延展率的高斯面片進行了篩選，并對其增殖過程進行了限制，從而在不犧牲性能的情況下有效穩定了訓練過程，保障了優化過程的順利進行。
CityGaussianV2的并行訓練管線
CityGaussianV2訓練管線，虛線框為摒棄的算法流程
CityGaussianV2在V1的基礎上進一步優化了并行訓練管線，使得訓練和壓縮過程得到統一，刪除了冗余的后處理流程。
具體而言，算法在子模型的并行訓練過程中周期性地遍歷訓練視角集合并計算每個高斯基元的重要性分數：
其中為第
張訓練視圖的像素集合，
為第n個基元的不透明度。以此為基礎，重要性低于一定百分比閾值的基元會被刪除，從而降低顯存和存儲的開銷，使得訓練對于低端設備更友好，也顯著加速了模型總體的收斂速度。
大規模重建幾何評估協議
大規模場景幾何精度評估流程
CityGaussianV2填補了大規模場景下幾何評測協議長期以來的空白，在Tanks and Temple (TnT) 數據集的啟發下，基于點云的目擊頻次統計設計了針對大規模場景欠觀測區域的邊界估計方案。
具體而言，點云真值會首先被初始化為3DGS，在遍歷所有訓練視圖的同時記錄每個點的觀測頻次，觀測頻次低于閾值的點將被濾除；剩余的點將用于估計垂直方向的高度分布范圍，以及地平面內的多邊形外接輪廓，二者構成的Crop Volume進一步用于TnT形式的指標計算。
這一方案有效規避了欠觀測區域重建效果不穩定帶來的指標波動，使得大規模復雜場景的幾何性能評估更為客觀公正。
實驗與分析
與主流算法的性能對比
在實驗中，相比于已有算法，CityGaussianV2在幾何精度（精度P，召回率R，綜合指標F1-Score）方面達到了最佳的性能表現。
從可視化結果中也可以看到，CityGaussianV2的重建結果具有更準確的細節，完整性也更高。而渲染質量方面，CityGaussianV2則達到了和V1相媲美的程度，能夠帶來逼真的瀏覽體驗。此外，CityGaussianV2還能較好地泛化到街道景觀，并且在渲染質量和幾何精度上都取得良好的性能結果。
渲染質量可視化比較
街拍場景可視化比較
高斯基元數量相近情況下的重建性能及訓練開銷比較
在訓練開銷方面，CityGaussianV2克服了2DGS泛化到大規模復雜場景下的種種挑戰，不僅有效規避顯存爆炸問題，而且實現了相對于V1顯著的顯存優化，同時在訓練用時和幾何質量方面大幅領先。針對2DGS的量化壓縮策略也使得大規模場景的重建結果能夠以400M左右的開銷存儲下來。
總結
研究人員致力于大規模復雜場景的高效精準重建，并建立了大規模場景下的幾何精度評估基準，提出的CityGaussianV2以2DGS為基元，消除了其收斂速度和擴展能力方面的問題，并實現了高效的并行訓練和壓縮，從而大大降低了模型的訓練成本。在多個具有挑戰性的數據集上的實驗結果證明了該方法的效率、有效性和魯棒性。
