本文經(jīng)3D視覺之心公眾號授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

0. 論文信息

標(biāo)題：MoDec-GS: Global-to-Local Motion Decomposition and Temporal Interval Adjustment for Compact Dynamic 3D Gaussian Splatting

作者：Sangwoon Kwak, Joonsoo Kim, Jun Young Jeong, Won-Sik Cheong, Jihyong Oh, Munchurl Kim

機(jī)構(gòu)：ETRI, South Korea、KAIST, South Korea、Chung-Ang University, South Korea

原文鏈接：https://arxiv.org/abs/2501.03714

代碼鏈接：https://kaist-viclab.github.io/MoDecGS-site/

1. 導(dǎo)讀

3D Gaussian Splatting (3DGS)在場景表示和神經(jīng)渲染方面取得了重大進(jìn)展，并致力于使其適應(yīng)動(dòng)態(tài)場景。盡管提供了卓越的渲染質(zhì)量和速度，但現(xiàn)有的方法在存儲需求和表示復(fù)雜的真實(shí)世界運(yùn)動(dòng)方面存在困難。為了解決這些問題，我們提出了MoDecGS，一種內(nèi)存高效的高斯分布框架，旨在重建具有復(fù)雜運(yùn)動(dòng)的挑戰(zhàn)性場景中的新視圖。我們引入全局到局部的運(yùn)動(dòng)分解(GLMD)來有效地以粗到細(xì)的方式捕捉動(dòng)態(tài)運(yùn)動(dòng)。這種方法利用全局規(guī)范支架(全局CS)和局部規(guī)范支架(局部CS)，將靜態(tài)支架表示擴(kuò)展到動(dòng)態(tài)視頻重建。對于全局CS，我們提出了全局錨變形(GAD ),通過直接變形隱式支架屬性(錨位置、偏移和局部上下文特征)來有效地表示復(fù)雜運(yùn)動(dòng)的全局動(dòng)態(tài)。接下來，我們通過局部CS的局部高斯變形(LGD)來精確調(diào)整局部運(yùn)動(dòng)。此外，我們引入時(shí)間間隔調(diào)整(TIA)來自動(dòng)控制訓(xùn)練期間每個(gè)本地CS的時(shí)間覆蓋范圍，允許MoDecGS基于指定數(shù)量的時(shí)間片段找到最佳間隔分配。廣泛的評估表明，對于來自真實(shí)世界動(dòng)態(tài)視頻的動(dòng)態(tài)3D高斯模型，MoDecGS在模型大小上實(shí)現(xiàn)了平均70%的縮減，同時(shí)保持甚至提高了渲染質(zhì)量。

2. 效果展示

我們提議MoDec-GS，這是一個(gè)內(nèi)存高效的動(dòng)態(tài)3D高斯分布(3DGS)框架，用于在復(fù)雜的現(xiàn)實(shí)世界場景中進(jìn)行新的視圖重建。它的核心是全局到局部運(yùn)動(dòng)分解(GLMD)方法，該方法使用具有由粗到細(xì)調(diào)整的全局和局部規(guī)范支架來捕捉動(dòng)態(tài)運(yùn)動(dòng)。時(shí)間間隔調(diào)整進(jìn)一步優(yōu)化時(shí)間片段分配。實(shí)驗(yàn)表明**MoDec-GS將模型尺寸平均縮小了70%**同時(shí)保持或提高渲染質(zhì)量。

我們將我們的方法與最先進(jìn)的方法SC-GS，4DGS，可變形3DGS在單目視頻序列上。我們提供了量化的性能以及新穎的視圖渲染結(jié)果:PSNR，SSIM，LPIPS和存儲大小。所提出的方法顯示卓越的定量和定性質(zhì)量性能比SOTA的方法甚至緊湊模型尺寸.

3. 方法

MoDec-GS概述。為了有效地訓(xùn)練具有復(fù)雜運(yùn)動(dòng)的動(dòng)態(tài)3D高斯模型，我們引入了全局到局部運(yùn)動(dòng)分解(GLMD)。我們首先用整個(gè)幀訓(xùn)練全局規(guī)范支架-GS(全局CS ),并將全局錨變形(GAD)應(yīng)用于專用于表示其相應(yīng)時(shí)間片段的局部規(guī)范支架-GS(局部CS)。接下來，為了精細(xì)地調(diào)整剩余的局部運(yùn)動(dòng)，我們應(yīng)用局部高斯變形(LGD ),該局部高斯變形利用共享的六邊形平面顯式地變形重建的3D高斯。在訓(xùn)練期間，執(zhí)行時(shí)間間隔調(diào)整(TIA ),將時(shí)間間隔優(yōu)化為適應(yīng)場景運(yùn)動(dòng)水平的非均勻間隔。推薦課程：實(shí)時(shí)400FPS！高精NeRF/Gaussian SLAM定位與建圖。

兩階段變形的概念和效應(yīng)。為了表示3D高斯的復(fù)雜運(yùn)動(dòng)，可以通過錨本身的變形來更有效地處理時(shí)間間隔上的全局運(yùn)動(dòng)。相比之下，單個(gè)3D高斯在一個(gè)時(shí)間間隔內(nèi)的細(xì)微運(yùn)動(dòng)可以通過每個(gè)高斯的顯式變形來有效地解決。

在訓(xùn)練過程中，時(shí)間間隔通過TIA適當(dāng)?shù)剡m應(yīng)場景中的運(yùn)動(dòng)程度。已經(jīng)證實(shí)，累積的歸一化光流幅度被TIA重新平衡，這導(dǎo)致重新平衡每個(gè)間隔覆蓋的運(yùn)動(dòng)程度。

4. 實(shí)驗(yàn)結(jié)果

5. 總結(jié) & 未來工作

我們提出MoDec-GS，這是一個(gè)新穎的緊湊框架用于高質(zhì)量動(dòng)態(tài)3D高斯濺射，解決了動(dòng)態(tài)場景重建中的存儲需求和復(fù)雜運(yùn)動(dòng)挑戰(zhàn)。通過利用全局到局部運(yùn)動(dòng)分解(GLMD)，其中包含全局錨點(diǎn)變形(GAD)用于全局運(yùn)動(dòng)和局部高斯變形(LGD)用于精細(xì)局部調(diào)整，MoDec-GS有效地捕捉復(fù)雜運(yùn)動(dòng)，同時(shí)使用最小的存儲空間。此外我們的時(shí)間間隔調(diào)整(TIA)允許自適應(yīng)時(shí)間分割跨越動(dòng)態(tài)間隔，而不需要外部運(yùn)動(dòng)數(shù)據(jù)。廣泛評估證實(shí)，MoDec-GS顯著減小模型大小，平均減少70%，同時(shí)在具有挑戰(zhàn)性的數(shù)據(jù)集上保持或提高渲染質(zhì)量，為現(xiàn)實(shí)世界的動(dòng)態(tài)3D重建提供了一種緊湊而強(qiáng)大的解決方案。

對更多實(shí)驗(yàn)結(jié)果和文章細(xì)節(jié)感興趣的讀者，可以閱讀一下論文原文~