寫在前面 && 筆者的個人理解

目前在自動駕駛領域中，一輛自駕汽車會配備多種傳感器，如：激光雷達傳感器采集點云數據、相機傳感器采集圖像數據等。由于激光雷達傳感器可以更加準確的獲取待檢測物體的幾何和位置信息，所以基于點云的感知算法模型在快速的迭代和發展當中。目前主流的基于點云的感知算法主要分成以下兩大類。

• 一類是基于Voxel-based的感知算法，如經典的SECOND、VoxelNet等算法。Voxel-based的算法模型首先會將輸入的點云數據轉換成3D的體素結構表示，然后利用3D的卷積算法模型實現后續的特征提取，將提取后的3D特征送入到后續的模塊當中。
• 另外一類是基于Pillar-based的感知算法，如經典的PointPillar、PillaNext、PillarNet等算法。Pillar-based的算法模型并不依賴3D的卷積網絡來獲取點云特征，而是直接將點云數據構建成柱狀的數據從而實現更快的檢測速度，方便后續的上車部署等任務。

雖然目前基于Pillar-based的算法模型由于其部署方便、精度高而廣泛采用，但目前Pillar-based的算法模型還主要使用隨機初始化的方式來對2D的卷積神經網絡進行初始化，這就導致很多在ImageNet上預訓練的2D主干網絡并未有效的被Pillar-based的算法模型利用起來，從而造成資源的浪費。除此之外，就目前來看，基于點云的感知算法模型還沒有出現因模型尺寸的放大而出現精度上升的現象。而在2D檢測任務當中，在大規模數據集上預訓練的主干網絡和更大尺寸的主干網絡均展現出了更好的優勢。

所以，今天解析的這篇論文就是要探索2D主干網絡的規模大小和預訓練對于Pillar-based的3D目標檢測器的性能影響。

論文的arxiv鏈接如下：https://arxiv.org/pdf/2311.17770.pdf

PillarNeSt的算法解析

首先，先放出來PillarNeSt算法模型的整體框架結構，如下圖所示。

PillarNeSt算法模型的網絡框圖

通過上圖可以看出，PillarNeSt也是沿用了點云感知算法中經典的架構模型（CenterPoint-Pillars）作為基線模型，但是論文中的作者為了為了構建一個更強的基線模型，對原有的PointPillars算法模型進行了更改。為了讀者們更加清晰的了解每個部分的更改位置，先簡單列舉出來CenterPoint-Pillars算法模型的幾個基礎模塊。

• 點云的偽圖像表示：利用Pillar Encoder模塊完成原始輸入到模型中的點云數據向偽圖像格式的表示
• 2D的主干網絡完成偽圖像的特征提取
• 利用Neck模塊融合2D主干網絡提取出來的多尺度特征圖
• 利用3D檢測頭（CenerHead）輸出最終的3D檢測結果
• 根據損失函數計算損失loss，利用反向傳播代碼更新網絡的參數值

接下來就根據上述提到的每個基礎模塊來一步步的更改和增強，最終構建出PillarNeSt算法模型～

Pillar Encoder

在原始的CenterPoint-Pillars算法模型中，Pillar Encoder模塊部分先使用一個多層感知機結構來提取點云數據的特征，然后采用Max Pooling層來提取Pillar特征。但是在本文中，作者認為僅采用一個Max Pooling層會導致信息的丟失，基于此，論文作者在原有Max Pooling層的基礎上又添加了一個Mean Pooling層來獲取更多的有用信息。除此之外，論文作者也引入了每個點相對于幾何中心高度的偏移量作為模塊的輸入來補償Z軸上的信息丟失。

“

In this paper, we simultaneously employ max pooling and average pooling to preserve more information. Moreover, we also introduce the height offset of points, relative to the geometric center, as the input to compensate for the information loss on the z axis.

”

2D Backbone的重新設計

• 采用更大尺寸的卷積核
  論文的作者提出，在2D圖像領域中，通過增加網絡模型的層數或者是深度，模型的有效感受野大小并沒有得到有效的增加。而針對Pillar-based的算法模型也需要對偽圖像點云數據進行特征提取。受到最近幾篇Large-Kernel工作的啟發，作者認為通過使用更大的卷積核可以使模型的有效感受野（ERF）增加，從而增加基于點云的感知算法的檢測性能。同時，論文的作者為了平衡好模型速度和精度二者之間的關系，在本文中，采用了卷積核大小為7x7的深度可分離卷積層。

Some recent works argue that large ERF can be effectively achieved by employing convolution with larger kernels. Moreover, a larger receptive field contributes to enhancing the capability of point cloud detectors.

• 在第一層移除下采樣操作
  論文的作者考慮到圖像當中有很多像素的信息都是存在冗余的，而常見的2D主干網絡通常都會包括步長為2的卷積層對提取的圖像特征進行下采樣操作，從而降低后續卷積操作的運算成本。
  但是對于點云信息而言卻有所不同，由于原始的點云數據是稀疏而且是不規則的，而且包含了物體非常豐富的幾何和結構信息。但是如果過早的應用下采樣層就會導致點云中關鍵信息的損失。論文的作者基于這些考慮，在新設計的算法模型當中，刪除了在第一個層存在的下采樣層，從而保證了輸入到后續層的分辨率，保存了輸入數據的有效信息。

Our backbone design removes the stem and refrains from implementing down-sampling in the first stage block. This strategic choice ensures the preservation of the original resolution of the input features.

• 模型早期添加更多的block
  作者指出，針對2D圖像領域而言，通常都會在網絡模型的后面幾層堆疊更多的block來提取更抽象的語義特征，從而獲取更加豐富的語義表達。但是考慮到點云數據是不規則同時也是稀疏的特點，這就意味著應該在模型的早期堆疊更多的block來完全提取出點云中包含的數據信息。作者也在論文中提到，通過實驗結果也可以得出類似的結論，與在主干網絡的后期堆疊block相比，在主干網絡的前幾層堆疊block可以獲得更高的檢測結果收益。

Our extensive experiments suggest that increasing the number of blocks in early stages yields superior gains compared to adding more blocks in later stages.

• 
  
• 更深層次的層
  論文的作者通過對點云的場景進行分析認為，不同物體的尺寸大小變化是非常巨大的。在針對Pillar-based的算法中而言，當Pillar的的尺寸設置為0.2m時，8倍的下采樣后最大可感知范圍為1.6m。然而，現實場景中的許多對象超過了有限的可感知范圍。這意味著8倍下采樣后的特征點不能完全感知大物體的整個物體。
  基于此，作者采用了一種簡單易行的方法來緩解這個問題，在主干網絡第四層的輸出基礎上，額外再添加一層并標記為第五層。第五層模塊包含的模塊數量可以根據模型的規模進行擴展。

we adopt a simple way and add one more stage (named stage-5) on top of stage-4, which contains only one or two ConNeXt blocks. The block number of stage-5 can be scaled up based on the model size. The output of added stage-5 is served as one of the multi-scale inputs of the neck network.

主干網絡縮放

論文的一大目標就是希望設計出一組可以縮放的網絡結構模型，從而實現模型的參數量和精度的權衡。本文中論文作者設計了一系列的2D主干網絡從PillarNeSt-Tiny到PillarNeSt-Large用于滿足不同的參數量和精度的要求。不同尺度的網絡模型配置如下圖所示

不同PillarNeSt模型的參數配置情況

通過上圖可以看出，不同版本的模型共用相似的模型結構。每個模型包括五層結構，上文已經提到過的第一層去掉了降采樣層，對于剩余的其它層都會進行降采樣的操作。

論文中還對不同規模的主干網絡模型提供了更加便捷的表示方法，如下圖所示

不同PillarNeSt模型的通道數及block數統計

主干網絡預訓練

由于作者的另外一個目標是希望可以利用在ImageNet上預訓練2D主干網絡的優勢，而且論文中的主干網絡是基于ConvNeXt進行更改的，這就導致原有的在ImageNet上預訓練的ConvNeXt無法直接遷移到新設計好的網絡結構上。基于此，論文采用了兩種形式的參數初始化方法，分別是基于stage view和micro view的初始化方法。

• stage view
  直接簡單地從預訓練的ConvNeXt模型中復制權重，用于用于Stage1-4，而添加的最后層（Stage-5）進行隨機的初始化。對于Stage1-4，如果塊數小于ConvNeXt的塊數，我們只根據塊標識復制相應塊的參數
• micro view
  從預訓練的ConvNeXt模型的前Cin個通道復制訓練好的參數，而對于剩余的通道則采用隨機初始化的方式賦值參數

實驗部分

作者分別在nuScenes和Argoverse2數據集上來測試設計好的PillarNeSt算法模型的有效性。首先放出來在nuScenes上的結果。

通過實驗結果可以看出，最大參數量的PillarNeSt-Large算法模型實現了64.3的mAP，較大幅度的超過了其他的基于點云的感知算法模型。

除了nuScenes數據集上的對比結果之外，論文設計的PillarNeSt在Argoverse2數據集上依舊有很好的表現。

通過表格結果可以看出，無論是mAP還是CDS指標，采用PillarNeSt-Base算法模型已經實現了最優的檢測性能，大幅度的超過其他的基于點云的感知算法模型。

通過上面的實驗表格，已經可以比較好的說明了該方法成功實現了一組可縮放的網絡結構，可以根據具體的情況選擇不同參數量的算法模型來達到不同的精度效果。針對論文中提出的預訓練問題，論文同樣給出了實驗結果圖，如下所示

實驗結果已經很好的說明了，論文中設計的網絡結構非常出色的繼承了來自ImageNet上預訓練得到的知識信息，無論是mAP還是訓練損失，加載了預訓練模型的效果均要優于不采用預訓練模型的效果。

總結

目前雖然基于點云的感知算法已經取得了很大的進步，但是針對Pillar-base算法模型中的2D主干網絡依舊采用隨機初始化的方式，沒有使用到來自ImageNet預訓練的網絡模型，同時基于點云的算法模型也沒得到不同尺度規模帶來的優勢。

本文介紹的PillarNeSt很好的解決了上述提到的這兩個問題，希望本篇解析可以給大家帶來幫助。

原文鏈接：https://mp.weixin.qq.com/s/NJoAOyTuk9INQRJtJKz__g