首篇僅使用2D標簽訓練多視圖3D占用模型的新范式
本文經自動駕駛之心公眾號授權轉載，轉載請聯系出處。
【RenderOcc，首篇僅使用2D標簽訓練多視圖3D占用模型的新范式】作者從多視圖圖像中提取NeRF風格的3D體積表示，并使用體積渲染技術來建立2D重建，從而實現從2D語義和深度標簽的直接3D監督，減少了對昂貴的3D占用標注的依賴。大量實驗表明，RenderOcc的性能與使用3D標簽完全監督的模型相當，突顯了這種方法在現實世界應用中的重要性。已開源。
題目: RenderOcc: Vision-Centric 3D Occupancy Prediction with 2DRendering Supervision
作者單位: 北京大學，小米汽車，港中文MMLAB
開源地址: GitHub - pmj110119/RenderOcc
3D占用預測在機器人感知和自動駕駛領域具有重要前景，它將3D場景量化為帶有語義標簽的網格單元。最近的工作主要利用3D體素空間中的完整占用標簽進行監督。然而，昂貴的標注過程和有時模糊的標簽嚴重限制了3D占用模型的可用性和可擴展性。為了解決這個問題，作者提出了RenderOcc，這是一種僅使用2D標簽訓練3D占用模型的新范式。具體而言，作者從多視圖圖像中提取NeRF風格的3D體積表示，并使用體積渲染技術來建立2D重建，從而實現從2D語義和深度標簽的直接3D監督。此外，作者引入了一種輔助光線方法來解決自動駕駛場景中的稀疏視點問題，該方法利用順序幀為每個目標構建全面的2D渲染。RenderOcc是第一次嘗試僅使用2D標簽來訓練多視圖3D占用模型，從而減少了對昂貴的3D占用標注的依賴。大量實驗表明，RenderOcc的性能與使用3D標簽完全監督的模型相當，突顯了這種方法在現實世界應用中的重要性。
網絡結構：
圖 1.RenderOcc 代表了一種新的訓練范例。與之前專注于使用昂貴的 3D 占用標簽進行監督的工作不同，本文提出的 RenderOcc 利用 2D 標簽來訓練 3D 占用網絡。通過 2D 渲染監督，該模型受益于細粒度 2D 像素級語義和深度監督。
圖2.RenderOcc的總體框架。本文通過 2D 到 3D 網絡提取體積特征并預測每個體素的密度和語義。因此，本文生成了語義密度場(Semantic Density Field)，它可以執行體積渲染來生成渲染的 2D 語義和深度。對于Rays GT的生成，本文從相鄰幀中提取輔助光線來補充當前幀的光線，并使用所提出的加權光線采樣策略來凈化它們。然后，本文用光線 GT 和 {,} 計算損失，實現2D標簽的渲染監督。
圖3。輔助光線: 單幀圖像不能很好地捕捉物體的多視圖信息。兩個相鄰的相機之間只有很小的重疊區域，視角的差異是有限的。通過引入來自相鄰幀的輔助光線，該模型將顯著地受益于多視圖一致性約束。
實驗結果：
原文鏈接：https://mp.weixin.qq.com/s/WzI8mGoIOTOdL8irXrbSPQ
