文章鏈接：https://arxiv.org/pdf/2408.16767
git鏈接：https://liuff19.github.io/ReconX

亮點直擊

• ReconX，一種新穎的稀疏視角3D場景重建框架，該框架將模糊的重建挑戰(zhàn)重新定義為時間生成任務(wù)。
• 將3D結(jié)構(gòu)指導融入視頻擴散模型的條件空間中，以生成3D一致的幀，并提出了一種基于置信度的3D優(yōu)化方案（3DGS），以便在生成的視頻基礎(chǔ)上重建場景。
• 大量實驗表明，ReconX在各種真實世界數(shù)據(jù)集上在高保真度和通用性方面優(yōu)于現(xiàn)有方法。

3D場景重建的進展使得我們能夠?qū)碜袁F(xiàn)實世界的2D圖像轉(zhuǎn)換為3D模型，通過數(shù)百張輸入照片生成逼真的3D結(jié)果。盡管在密集視角重建場景中取得了巨大成功，但從不足的捕捉視角中渲染詳細場景仍然是一個難以解決的優(yōu)化問題，常常導致未見區(qū)域出現(xiàn)偽影和失真。

本文提出了ReconX，一種新穎的3D場景重建范式，該范式將模糊的重建挑戰(zhàn)重新定義為時間生成任務(wù)。關(guān)鍵的洞察在于釋放大型預訓練視頻擴散模型在稀疏視角重建中的強生成先驗。然而，直接從預訓練模型生成的視頻幀難以準確保持3D視角一致性。為了解決這個問題，ReconX首先根據(jù)有限的輸入視角構(gòu)建全局點云，并將其編碼到上下文空間中作為3D結(jié)構(gòu)條件。以此條件為指導，視頻擴散模型生成的幀不僅能保留細節(jié)，而且展示高程度的3D一致性，從而確保從不同視角觀看場景的一致性。最后，通過一種基于置信度的3D Gaussian Splatting優(yōu)化方案從生成的視頻中恢復3D場景。在各種真實世界數(shù)據(jù)集上的大量實驗表明，ReconX在質(zhì)量和通用性方面優(yōu)于現(xiàn)有的最先進方法。

研究ReconX的動機

本文關(guān)注的是從非常稀疏的視角（例如，僅兩個視角）圖像中進行3D場景重建和新視角合成（NVS）的基本問題。大多數(shù)現(xiàn)有的研究（利用3D先驗和幾何約束（如深度、法線、代價體積）來填補稀疏視角3D重建中觀測到的區(qū)域與新區(qū)域之間的差距。盡管這些方法能夠從給定的視角生成高度逼真的圖像，但由于視角不足以及由此產(chǎn)生的重建過程不穩(wěn)定性，它們往往難以在輸入視角不可見的區(qū)域生成高質(zhì)量圖像。為了解決這個問題，一個自然的想法是增加更多觀測，從而將欠定的3D創(chuàng)建問題轉(zhuǎn)化為一個完全約束的3D重建問題。

為此，通過將3D原生結(jié)構(gòu)指導融入擴散過程中，將固有模糊的重建問題重新定義為生成問題。

方法

ReconX 概述

構(gòu)建3D結(jié)構(gòu)指導

生成3D一致的視頻幀

基于置信度的3D Gaussian Splatting優(yōu)化

實驗

研究者們進行了廣泛的實驗來評估稀疏視角重建框架 ReconX。

實驗設(shè)置

數(shù)據(jù)集

ReconX 的視頻擴散模型在三個數(shù)據(jù)集上進行訓練：RealEstate-10K、ACID和 DL3DV-10K。RealEstate-10K 是一個從 YouTube 下載的數(shù)據(jù)集，分為 67,477 個訓練場景和 7,289 個測試場景。ACID 數(shù)據(jù)集包含自然風景場景，包含 11,075 個訓練場景和 1,972 個測試場景。DL3DV-10K 是一個大規(guī)模的戶外數(shù)據(jù)集，包含 10,510 個視頻，具有一致的拍攝標準。對于每個場景視頻，我們隨機抽取 32 幀連續(xù)的幀，并將第一幀和最后一幀作為我們視頻擴散模型的輸入。為了進一步驗證跨數(shù)據(jù)集的泛化能力，我們還直接在兩個流行的多視角數(shù)據(jù)集上評估我們的方法：DTU數(shù)據(jù)集和 NeRF-LLFF數(shù)據(jù)集，這兩個數(shù)據(jù)集在 NVS 任務(wù)中非常流行。

基準和指標

研究者們將 ReconX 與原始 3DGS以及幾種代表性的稀疏視角 3D 重建基準方法進行比較，包括：基于 NeRF 的 pixelNeRF和 MuRF；基于光場的 GPNR和 AttnRend；以及最近的最先進的 3DGS 基于 pixel-Splat和 MVSplat。對于定量結(jié)果，報告 NVS 中的標準指標，包括 PSNR、SSIM、LPIPS。為了公平比較，在 256 × 256 分辨率下進行實驗，以符合現(xiàn)有方法的標準。

與基準方法的比較

小角度變化下的比較。 為了公平地與基準方法如 MuNeRF、pixelSplat和 MVSplat進行比較，首先在小角度變化的稀疏視角下比較了 ReconX 與這些基準方法（見下表1和圖3）。我們觀察到，ReconX 在所有視覺質(zhì)量和定性感知指標上超越了所有先前的最先進模型。

大角度變化下的比較。 由于 MVSplat 和 pixelSplat 相較于以前的基準方法有顯著提升，我們在更困難的設(shè)置下（即，給定具有大角度變化的稀疏視角）進行了深入比較。我們提出的 ReconX 在這些更具挑戰(zhàn)性的設(shè)置下表現(xiàn)出比基準方法更顯著的改進，特別是在未見過的和廣義視角下（見下表2和圖4）。這清楚地表明，ReconX 在利用視頻擴散生成更一致的觀察結(jié)果方面的有效性，從而緩解了固有的稀疏視角重建問題。

跨數(shù)據(jù)集泛化

通過 3D 結(jié)構(gòu)指導釋放視頻擴散模型的強大生成能力，我們的 ReconX 在泛化到分布外的新場景方面具有本質(zhì)上的優(yōu)勢。為了展示我們的強泛化能力，我們進行了兩項跨數(shù)據(jù)集評估。為公平比較，僅在 RealEstate-10K 上訓練模型，并直接在兩個流行的 NVS 數(shù)據(jù)集（即 NeRF-LLFF和 DTU）上進行測試。如下表 3 和圖 5 所示，競爭基準方法 MVSplat和 pixelSplat無法渲染這些包含不同相機分布和圖像外觀的 OOD 數(shù)據(jù)集，導致性能顯著下降。相比之下，我們的 ReconX 展現(xiàn)了令人印象深刻的泛化能力，當訓練數(shù)據(jù)和測試數(shù)據(jù)之間的領(lǐng)域差距增大時，性能提升更為顯著。

視圖數(shù)量評估

ReconX 對輸入視圖數(shù)量是無關(guān)的。具體來說，給定 N 個視圖作為輸入，我們采樣一個合理的相機軌跡來使用我們的 video diffusion 模型渲染圖像對，并最終從所有生成的幀中優(yōu)化 3D 場景。為了公平比較，我們在 DTU 上使用三個上下文視圖進行測試，驗證這一點。ReconX的結(jié)果是：PSNR: 22.83，SSIM: 0.512，LPIPS: 0.317；MVSplat 的結(jié)果是：PSNR: 14.30，SSIM: 0.508，LPIPS: 0.371；pixelSplat 的結(jié)果是：PSNR: 12.52，SSIM: 0.367，LPIPS: 0.585。與雙視圖結(jié)果（上表 3）相比，當給定更多輸入視圖時，ReconX 和 MVSplat 均能取得更好的性能，但ReconX遠優(yōu)于 MVSplat。然而，pixelSplat 在使用更多視圖時表現(xiàn)更差，這一點也在 Chen et al.（2024a）的研究中得到了體現(xiàn)。更多關(guān)于我們結(jié)果的可視化可以在我們的項目頁面找到。

消融研究與分析

在 RealEstate-10K 上進行了一系列消融研究，以分析 ReconX 框架的設(shè)計，如表 4 和圖 6 所示。將預訓練視頻擴散模型與 Gaussian Splatting 進行的簡單組合被視為“基線”。具體來說，在以下方面對ReconX進行了消融實驗：3D 結(jié)構(gòu)指導、基于置信度的優(yōu)化和 LPIPS 損失。結(jié)果表明，省略這些元素中的任何一個都會導致質(zhì)量和一致性上的下降。特別是，原始視頻擴散模型與 3DGS 的基本組合導致場景顯著扭曲。缺乏 3D 結(jié)構(gòu)指導會導致生成的幀在遠處輸入視圖中不一致，從而出現(xiàn)模糊和偽影問題。缺少基于置信度的優(yōu)化會導致某些局部細節(jié)區(qū)域的結(jié)果不佳。將 LPIPS 損失加入到基于置信度的 3DGS 優(yōu)化中，可以提供更清晰的渲染視圖。這說明了我們整體框架的有效性（見前面圖 2），它在僅給定稀疏視圖作為輸入的情況下，驅(qū)動了可泛化和高保真度的 3D 重建。

結(jié)論

本文介紹了 ReconX，一種新穎的稀疏視角三維重建框架，該框架將復雜且模糊的重建問題重新定義為生成任務(wù)。方法核心在于利用視頻擴散模型強大的生成能力，以生成更為可信的觀測幀，用于稀疏視角的三維重建。通過將三維結(jié)構(gòu)指導融入視頻擴散過程中，提升了三維一致性視頻幀的生成質(zhì)量。此外，提出的三維置信度感知方案有效地解決了生成幀的不確定性問題，從而改進了最終的三維場景重建。

廣泛實驗表明，ReconX 在高質(zhì)量和泛化能力方面超越了現(xiàn)有的最先進方法，尤其是在未見數(shù)據(jù)上表現(xiàn)突出。

限制與未來工作

盡管 ReconX 在重建效果上表現(xiàn)出色，但仍存在一些限制。目前的重建質(zhì)量在一定程度上受到所使用的擴散模型的限制，特別是基于 U-Net 的 DynamiCrafter。未來可以通過整合更大規(guī)模的開源視頻擴散模型（如基于 DiT 框架的模型）來提升性能。

此外，未來工作可以探討將三維結(jié)構(gòu)指導優(yōu)化直接集成到視頻生成模型中，從而實現(xiàn)更高效的端到端三維場景重建過程。另一個值得關(guān)注的方向是探索一致的四維場景重建，這將進一步推進三維場景建模的能力。

總體而言，ReconX 為從視頻擴散模型中創(chuàng)建復雜三維環(huán)境提供了一種有前景的方法，并有望激發(fā)該領(lǐng)域更多的研究。

本文轉(zhuǎn)自 AI生成未來 ，作者：Fangfu Liu等

原文鏈接:??https://mp.weixin.qq.com/s/hpXCmVgtLscrJltQ__zMaA??