譯者 | 布加迪

審校 | 重樓

法國(guó)LIGM實(shí)驗(yàn)室的研究人員已開(kāi)發(fā)了一種新穎的技術(shù)，可以由真實(shí)場(chǎng)景周圍捕獲的圖像集合快速創(chuàng)建高度逼真的3D網(wǎng)格模型。他們的方法被稱為SuGaR，通過(guò)以一種獨(dú)特的方式采用神經(jīng)表示和計(jì)算幾何技術(shù)，可以在短短幾分鐘內(nèi)重新構(gòu)建詳細(xì)的三角形網(wǎng)格模型。這項(xiàng)功能可以為創(chuàng)作者、教育工作者和專業(yè)人員提供一種更易于訪問(wèn)的途徑，以便在許多應(yīng)用環(huán)境充分利用3D模型。

本文將介紹這種方法的獨(dú)特之處以及它對(duì)其他AI項(xiàng)目意味著什么。

3D重建的挑戰(zhàn)

重建真實(shí)環(huán)境的準(zhǔn)確3D模型長(zhǎng)期以來(lái)一直是一項(xiàng)艱巨的任務(wù)，需要專門(mén)的設(shè)備、精心編排的捕獲流程和大量的手動(dòng)后期處理。激光掃描設(shè)備和結(jié)構(gòu)光深相機(jī)可以直接捕獲幾何掃描，但仍存在緩慢、昂貴和笨重的缺點(diǎn)。

基于運(yùn)動(dòng)結(jié)構(gòu)的攝影測(cè)量方法由相機(jī)圖像生成稀疏的3D點(diǎn)云，但光由這些點(diǎn)云生成干凈、詳細(xì)的表面模型就非常困難了。雖然質(zhì)量很出眾，但最先進(jìn)的神經(jīng)輻射場(chǎng)即使在現(xiàn)代GPU上也需要持續(xù)數(shù)小時(shí)乃至數(shù)天的渲染密集型優(yōu)化周期，才能將其體積場(chǎng)景表示轉(zhuǎn)換成實(shí)用的表面網(wǎng)格。

因此，雖然模擬、教育、數(shù)字化和創(chuàng)意媒體等領(lǐng)域的許多下游用例都必然會(huì)從易于訪問(wèn)的高質(zhì)量3D場(chǎng)景表示中受益匪淺，但對(duì)大多數(shù)人來(lái)說(shuō)，捕獲和開(kāi)發(fā)方面仍面臨極大的障礙。

新穎地結(jié)合技術(shù)

本文介紹了SuGaR方法。SuGaR方法將新興的神經(jīng)場(chǎng)景表示與傳統(tǒng)的計(jì)算幾何算法相結(jié)合，克服了這些挑戰(zhàn)，并提供了一種獨(dú)特的快速且易于訪問(wèn)的3D建模途徑。

該技術(shù)立足于最近一種基于神經(jīng)粒子的場(chǎng)景表示方法：3D高斯潑濺。通過(guò)優(yōu)化上百萬(wàn)個(gè)微小的3D高斯基元的方向、尺寸、放射及其他屬性，最準(zhǔn)確地再現(xiàn)一組輸入相機(jī)圖像，高斯潑濺可以在短短幾分鐘內(nèi)重建生動(dòng)的場(chǎng)景神經(jīng)渲染。

經(jīng)過(guò)優(yōu)化后，獨(dú)立的高斯粒子仍然是非結(jié)構(gòu)化的。SuGaR的關(guān)鍵創(chuàng)新在于引入了一種新的訓(xùn)練過(guò)程，該過(guò)程鼓勵(lì)顆粒在保留細(xì)部的同時(shí)符合表面。這種對(duì)齊便于將粒子當(dāng)成結(jié)構(gòu)化的點(diǎn)云進(jìn)行重建。

利用這種點(diǎn)結(jié)構(gòu)，SuGaR隨后執(zhí)行一種名為泊松表面重建的計(jì)算技術(shù)，直接由對(duì)齊的粒子高效地生成網(wǎng)格。同時(shí)處理數(shù)百萬(wàn)個(gè)粒子會(huì)得到一個(gè)詳細(xì)的三角模型，而這是傳統(tǒng)技術(shù)難以實(shí)現(xiàn)的。

從本質(zhì)上講，SuGaR將大量的計(jì)算負(fù)載轉(zhuǎn)移到一個(gè)快速的、可擴(kuò)展的前端點(diǎn)云結(jié)構(gòu)中。這將所需的渲染密集型工作負(fù)載由最終網(wǎng)格生成轉(zhuǎn)移到別處，從而使快速構(gòu)建模型成為可能。

驗(yàn)證效果

研究人員通過(guò)實(shí)驗(yàn)證明了SuGaR在廣泛的公共數(shù)據(jù)集上快速構(gòu)建高質(zhì)量模型的效果，這些數(shù)據(jù)集涉及室內(nèi)場(chǎng)景、室外景觀、詳細(xì)結(jié)構(gòu)、鏡面、照明變化及其他建模挑戰(zhàn)。

圖1. 使用SuGaR的渲染（a）和重新構(gòu)建的網(wǎng)格（b）的兩個(gè)示例。常規(guī)地圖（c）有助于直觀地顯示幾何形狀

示例包括由Mip-NeRF360數(shù)據(jù)集重建復(fù)雜室內(nèi)環(huán)境的建筑模型的詳細(xì)網(wǎng)格，以及由Tank & Temples數(shù)據(jù)集生成車輛和建筑物等結(jié)構(gòu)的生動(dòng)網(wǎng)格。

與現(xiàn)有的最先進(jìn)的神經(jīng)和混合重建技術(shù)進(jìn)行定量和定性比較表明，SuGaR提供了顯著加快的網(wǎng)格創(chuàng)建速度，渲染質(zhì)量和幾何精度可以媲美所需計(jì)算資源多得多的方法。論文作者表示：“我們的方法在由3D高斯潑濺檢索3D網(wǎng)格方面要快得多，而3D高斯潑濺本身就比NeRF快得多。正如我們的實(shí)驗(yàn)表明的那樣，我們通過(guò)將高斯函數(shù)綁定到網(wǎng)格上所進(jìn)行的渲染獲得了比以前基于網(wǎng)格的解決方案更高的質(zhì)量?！?/span>

論文作者還強(qiáng)調(diào)了其方法的速度：“使用我們的方法，檢索這樣一個(gè)可編輯的網(wǎng)格進(jìn)行逼真的渲染只需幾分鐘，同時(shí)提供了更好的渲染質(zhì)量，而使用SDF方面最先進(jìn)的方法也需要數(shù)小時(shí)。”

結(jié)論

SuGaR技術(shù)顯著改善了3D模型重建。像激光掃描這樣的傳統(tǒng)方法既昂貴又復(fù)雜，雖然神經(jīng)輻射場(chǎng)具有高質(zhì)量，但速度慢且耗費(fèi)大量資源。SuGaR通過(guò)將神經(jīng)場(chǎng)景表示與計(jì)算幾何相結(jié)合改變了這種情況。它先使用一種名為3D高斯潑濺的方法來(lái)創(chuàng)建神經(jīng)渲染，然后它對(duì)齊這些粒子，讓其行為如同結(jié)構(gòu)化的點(diǎn)云。這是下一步的關(guān)鍵：使用泊松表面重建將這些粒子轉(zhuǎn)換成詳細(xì)的網(wǎng)格。這個(gè)過(guò)程更快，因?yàn)樗鼘⒎敝氐挠?jì)算移到了最開(kāi)始。

SuGaR已經(jīng)在各種數(shù)據(jù)集上進(jìn)行了測(cè)試，可處理室內(nèi)和室外場(chǎng)景等不同的挑戰(zhàn)。它不僅比NeRF更快，還保持了高質(zhì)量和準(zhǔn)確性。這使得創(chuàng)建詳細(xì)的3D模型更快速、更易于訪問(wèn)，這對(duì)于模擬、教育和媒體等領(lǐng)域的應(yīng)用而言很了不起。

原文標(biāo)題：Turning images into 3D models in minutes, not hours，作者：Mike Young