本文經自動駕駛之心公眾號授權轉載，轉載請聯系出處。

寫在前面&筆者的個人理解

在自動駕駛系統當中，感知作為自動駕駛車輛檢測周圍靜態和動態障礙物的重要途徑，其準確性和穩定性的重要程度不言而喻。然而，當自動駕駛汽車在開放場景中行駛時，準確和穩定的感知模塊變得尤其具有挑戰性，因為它們必須檢測看不見的或不規則的物體。

最近，由于占用預測具有更加細粒度的通用感知能力，它在自動駕駛系統的感知和規劃流程中引起了越來越廣泛的關注。雖然占用預測網絡相比于原有的3D障礙物感知算法具有更加細粒度和通用的感知能力，但是占用預測網絡需要確定當前感知的3D場景中每個體素的狀態，這會導致感知模型開發過程中對計算和內存的需求很高。

基于柵格預測的相關優勢以及現有存在的諸多不足，我們的核心思路是提高基于BEV空間的占用預測的性能，同時減少參數數量和計算成本。考慮到先前的研究工作中強調了Transformers算法模型在長距離建模方面的優勢，但它們的計算負擔也非常的大。最近，狀態空間模型 (SSM)（例如 Mamba）已成為長距離建模的更有效解決方案。這一發展促使我們探索狀態空間模型在改進占用預測任務方面的潛力。

因此，本文提出了一種基于Mamba框架的新型占用率預測方法，旨在實現輕量級，同時提供高效的遠距離信息建模，我們稱之為MambaOcc算法模型。

論文鏈接：https://arxiv.org/pdf/2408.11464

網絡模型的整體架構&細節梳理

在詳細介紹本文提出的MambaOcc算法模型的技術細節之前，下圖展示了我們提出的MambaOcc算法的整體網絡結構。通過下圖可以看出，MambaOcc算法模型主要包括四個模塊，分別是基于Mamba的圖像主干網絡用于圖像特征的提取，用于獲取BEV形式特征和聚合多幀特征的視角轉換模塊以及時間融合模塊，帶有自適應局部重排模塊LAR-SS2S混合BEV編碼器模塊以及占用預測頭模塊。

MambaOcc算法模型的整體網絡結構

整體而言，我們采用四種方向的視覺Mamba來提取圖像特征。同時為了減輕與3D體素相關的高計算負擔，我們使用BEV特征作為占用預測的中間特征表示，并設計了結合卷積層和Mamba層的混合BEV編碼器。考慮到Mamba架構在特征提取過程中對標記排序的敏感性，我們引入了一個利用可變形卷積層的局部自適應重新排序模塊。該模塊旨在動態更新每個位置的上下文信息，使模型能夠更好地捕獲和利用數據中的局部依賴關系。這種方法不僅可以緩解標記序列相關的問題，還可以通過確保在提取過程中優先考慮相關的上下文信息來提高占用預測的整體準確性。

VM-Backbone（視覺Mamba主干網絡）

View Transformation and Temporal Fusion（視角轉換以及時序融合）

在MambaOcc算法模型中，我們采用LSS算法模型實現從圖像平面到BEV平面的空間視圖變換。首先，將圖像主干網絡的輸出特征組織成2D格式的地圖。然后通過深度預測網絡生成每個像素的一系列離散深度。最后，使用體素池化在預定義的BEV平面上聚合每個網格內的深度預測。

在使用了時間域融合的情況下，視角轉換模塊提供了一種方便的方式融合來自不同視角以及不同時間戳的圖像特征。利用來自前幾幀的 BEV空間特征，首先基于自車運動信息進行特征轉換操作。然后，應用采樣和插值操作來生成與當前幀BEV空間特征圖對齊的特征。最后，將對齊的特征合并到一起來實現融合時序的上下文特征信息。

LAR-SS2D Hybrid BEV Encoder（LAR-SS2D混合BEV編碼器）

在BEV空間特征的提取方面，我們首先設計了基于Mamba網絡模型的架構，該架構由三個塊組成，其中每個塊包含兩個SS2D組。考慮到 SSM層對序列中token的順序很敏感，我們進一步探索局部自適應偽重排序機制來優化上下文信息的嵌入。然后使用LAR組替換每個塊中的一個SS2D組。

通過上述的修改，我們建立了一個靈活的局部偽重排序機制。此外，所提出的重排序過程可以通過可變形卷積算子高效實現，從而確保較高的計算效率并保持較快的處理速度。

Occupancy預測頭（Occupancy Prediction Head）

我們采用了FlashOcc算法當中的實現思路，我們同樣使用了channel-to-height操作從生成的BEV特征圖的通道維度當中恢復出高度信息。這個過程允許我們在整個網絡的最后來獲得3D占用的特征表達。隨后，我們使用線性層來預測3D空間中每個位置的類別，從而提供整個3D空間中詳細完整的占用預測信息。

實驗結果&評價指標

與其它SOTA算法的對比試驗

為了驗證我們提出的MambaOcc算法模型的有效性，我們在Occ3D-nuScenes數據集上進行了相關實驗，相關的實驗結果如下表所示。

不同算法模型在Occ3D-nuScenes數據集上的結果匯總

通過實驗結果可以看出，與最先進的方法相比，我們提出的MambaOcc算法模型在計算效率和參數數量方面具有更加顯著的優勢。與以Swin-Transformer為主干網絡的FlashOcc算法模型相比，MambaOcc取得了更好的性能，同時減少了42%的參數和39%的計算成本。此外，MambaOcc-Large比FlashOcc高出了0.77的mIoU，減少了14%的參數和32%的計算成本。與以ResNet-101為主干網絡的PanoOcc算法相比，MambaOcc的性能高出1.23 mIoU，同時減少了19%的參數。這些結果均表明，與基于CNN和Transformer的方法相比，所提出的Mamba框架在參數量、計算效率和感知能力方面具有顯著優勢。

此外，為了更加直觀的展示我們提出的MambaOcc算法模型的有效性，下圖可視化了MambaOcc算法模型占用預測的結果。如圖所示，MambaOcc可以為人類和車輛等典型物體提供精確的感知結果，同時還能有效檢測電線桿、交通燈和路錐等結構不規則的物體。

MambaOcc算法模型的占用預測結果可視化

此外，為了直觀的展示我們提出的MambaOcc和FlashOcc預測占用的效果對比，我們也對兩個模型的結果進行了可視化，如下圖所示。

MambaOcc與FlashOcc結果可視化對比

通過可視化兩個模型的預測結果對比可以看出，MambaOcc算法模型在長距離平面感知方面的卓越性能，能夠提供更全面的地面預測，而FlashOcc算法模型通常會將這些區域預測為空。

消融對比實驗

為了清楚地展示提出的MambaOcc算法模型中每個組件的貢獻，我們在下表中展示了我們進行的消融研究結果，以強調每個模塊的有效性。

通過匯總的消融實驗結果可以看出，用Mamba網絡結構替換CNN網絡架構，可使mIoU顯著增加3.96，凸顯了Mamba網絡架構的有效性。此外，我們提出的LAR-SS2D BEV編碼器模塊比基于CNN的編碼器額外增加了1.12的mIoU。此外，通過結合位置編碼，可以進一步提高模型的預測性能。

此外，我們也進行了相關實驗來驗證不同的圖像主干網絡初始化方法對于網絡模型占用預測的影響效果，相關的實驗結果如下表所示。

通過實驗結果可以明顯的看出，良好的參數初始化方法會顯著影響性能。使用ImageNet分類預訓練初始化占用預測網絡與隨機初始化相比，對于Mamba和卷積網絡，效果明顯更好。例如與使用隨機值初始化的相比，使用ImageNet預訓練的VM-Backbone的MambaOcc在mIoU方面的性能高出10.01。

我們也對不同的BEV編碼器對于占用預測任務的影響進行了相關的實驗，實驗結果匯總在下表所示。

如上表所示，BEV編碼器的結構顯著影響了占用預測性能。純SS2D優于純CNN，mIoU指標提高了0.56。混合CNN-SS2D網絡架構的性能優于純CNN和純SS2D的網絡架構，mIoU分別提高了0.77和0.21。所提出的LAR-SS2D混合架構取得了最佳效果，比CNN-SS2D混合架構高出0.48 mIoU。

除此之外，我們比較了LAR層中不同映射方法的效果。對于多對一映射，我們使用不同的條目數3×3和5×5進行了實驗，其中原始序列中多個位置的信息在映射到新序列中的相同位置之前進行加權和融合。相關的實驗結果匯總在下表中。

通過表格結果可以看出，多對一映射方法優于一對一方法。具體而言，與一對一方法相比，5×5和3×3配置分別將性能提高了0.07和0.32 mIoU，表明多對一映射可以成為提高性能的有效策略。

為了更全面地了解映射模式，我們對每個LAR層應用了四種不同的映射模式，并在分組特征通道中執行這些模式。相關的結果分別可視化在下圖。

Group0 & 1的可視化結果

Group 2 & 3的可視化結果

我們觀察到，不同群體之間的映射模式存在顯著差異，這表明這種多樣性可能有助于模型在元素之間建立更全面的聯系。

結論

在本文中，我們提出了首個基于Mamba的占用預測網絡模型，我們命名為MambaOcc。與基于Transformer網絡模型的方法相比，MambaOcc超越了基于CNN的方法，并且實現了更好的檢測效率。