論文介紹了一種從單幅圖像合成 360° 3D 場景的新方法。該方法以連貫的方式生成全景圖及其相應的深度，解決了現(xiàn)有最先進方法（如 LucidDreamer 和 WonderJourney 的局限性。這些方法按照生成軌跡依次添加細節(jié)，通常在循環(huán)回輸入圖像時導致可見的接縫。相比之下，該方法可確保整個 360° 場景的一致性，如圖所示。黃色條顯示每個結果中與輸入相對應的區(qū)域。

相關鏈接

• 論文：http://arxiv.org/abs/2412.04827v1
• 主頁：https://people.engr.tamu.edu/nimak/Papers/PanoDreamer
• 代碼：https://github.com/avinashpaliwal/PanoDreamer

論文介紹

PanoDreamer：從單個圖像合成 3D 全景

論文提出一種從單個輸入圖像生成連貫 360° 3D 場景的新穎方法PanoDreamer。與順序生成場景的現(xiàn)有方法不同，該方法將問題描述為單圖像全景和深度估計。一旦獲得連貫的全景圖像及其相應的深度，就可以通過修復小的遮擋區(qū)域并將其投影到 3D 空間來重建場景。論文主要貢獻是將單圖像全景和深度估計制定為兩個優(yōu)化任務，并引入交替最小化策略來有效解決其目標。該方法在一致性和整體質量方面優(yōu)于單圖像 360° 場景重建的現(xiàn)有技術。

單圖像全景生成

論文使用修復擴散模型解決單圖像全景生成問題，將其框架為通過交替最小化策略解決的優(yōu)化任務。在迭代過程中，中心的輸入紋理逐漸向外傳播。

全景與多重擴散的比較

全景深度估計

與全景圖生成類似，使用交替最小化來對齊圓柱形全景圖的重疊單眼深度圖塊，從而能夠估計一致的 360° 深度圖。

3D 場景與其他方法的比較

將該方法 PanoDreamer（右）與基線方法（左）的渲染進行比較。嘗試選擇不同的方法和場景！

結論

論文提出了一種從單個輸入圖像生成 360° 3D 場景的新方法。該方法首先生成全景圖及其相應的深度圖。在修復遮擋區(qū)域后，這些圖像用于優(yōu)化 3DGS 表示，從中可以渲染新視圖。為了創(chuàng)建一個連貫且全局一致的全景圖，論文將任務設計為具有兩個項的優(yōu)化問題，并通過交替最小化策略有效地解決它。此外，論文提出使用現(xiàn)有單目深度估計方法估計全景圖深度的問題作為優(yōu)化，并使用交替最小化來解決它。大量實驗表明，該方法在全景圖生成和重建 3D 場景方面都優(yōu)于最先進的方法。