本文經自動駕駛之心公眾號授權轉載，轉載請聯系出處。

論文思路：

masked autoencoding已經成為文本、圖像和最近的點云的Transformer模型的一個成功的預訓練范例。原始的汽車數據集適合進行自監督的預訓練，因為與3D目標檢測(OD)等任務的標注相比，它們的收集成本通常較低。然而，針對點云的masked autoencoders的開發僅僅集中在合成和室內數據上。因此，現有的方法已經將它們的表示和模型定制為小而稠密的點云，具有均勻的點密度。在這項工作中，本文研究了在汽車設置中對點云進行的masked autoencoding，這些點云是稀疏的，并且在同一場景中，點云的密度在不同的物體之間可以有很大的變化。為此，本文提出了Voxel-MAE，這是一種為體素表示而設計的簡單的masked autoencoding預訓練方案。本文對基于Transformer三維目標檢測器的主干進行了預訓練，以重建masked體素并區分空體素和非空體素。本文的方法提高了具有挑戰性的nuScenes數據集上1.75 mAP和1.05 NDS的3D OD性能。此外，本文表明，通過使用Voxel-MAE進行預訓練，本文只需要40%的帶注釋數據就可以超過隨機初始化的等效數據。

主要貢獻：

本文提出了Voxel-MAE(一種在體素化的點云上部署MAE-style的自監督預訓練的方法)，并在大型汽車點云數據集nuScenes上對其進行了評估。本文的方法是第一個使用汽車點云Transformer主干的自監督預訓練方案。

本文針對體素表示定制本文的方法，并使用一組獨特的重建任務來捕捉體素化點云的特征。

本文證明了本文的方法數據高效，并且減少了對帶注釋數據的需求。通過預訓練，當只使用40%的帶注釋的數據時，本文的性能優于全監督的數據。

此外，本文發現Voxel-MAE在mAP中將基于Transformer檢測器的性能提高了1.75個百分點，在NDS中將其性能提高了1.05個百分點，與現有的自監督方法相比，其性能提高了2倍。

網絡設計：

這項工作的目的是將MAE-style的預訓練擴展到體素化的點云。核心思想仍然是使用編碼器從對輸入的部分觀察中創建豐富的潛在表示，然后使用解碼器重構原始輸入，如圖2所示。經過預訓練后，編碼器被用作3D目標檢測器的主干。但是，由于圖像和點云之間的基本差異，需要對Voxel-MAE的有效訓練進行一些修改。

圖2:本文的Voxel-MAE方法。首先，用固定的體素大小對點云進行體素化。圖中的體素大小已被夸大，以實現可視化的目的。在訓練前，很大一部分(70%)的非空體素被隨機mask掉了。然后，編碼器只應用于可見體素，使用嵌入[46]的動態體素特征嵌入這些體素。masked非空體素和隨機選擇的空體素使用相同的可學習mask tokens嵌入。然后，解碼器對mask tokens序列和編碼的可見體素序列進行處理，以重構masked點云并區分空體素和非空體素。在預訓練之后，丟棄解碼器，并將編碼器應用于unmasked點云。

圖1:MAE(左)將圖像劃分為固定大小的不重疊的patches。現有的masked點建模方法(中)通過使用最遠點采樣和k近鄰創建固定數量的點云patches。本文的方法(右)使用非重疊體素和動態數量的點。

實驗結果：

引用：

Hess G, Jaxing J, Svensson E, et al. Masked autoencoder for self-supervised pre-training on lidar point clouds[C]//Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision. 2023: 350-359.