本文經自動駕駛之心公眾號授權轉載，轉載請聯系出處。

論文思路：

理解道路幾何結構是自動駕駛車輛（AV）技術堆棧中的關鍵組成部分。盡管高精（HD）地圖可以輕松提供此類信息，但它們存在高標注和維護成本。因此，許多最新的研究提出了從傳感器數據中在線估計高精地圖的方法。絕大多數的最新方法將多相機觀測結果編碼成中間表示，例如 BEV 網格，并通過解碼器生成矢量地圖元素。盡管這種架構性能優越，但它會消耗掉中間表示中編碼的大量信息，阻礙下游任務（例如行為預測）利用這些信息。在這項工作中，本文提出了顯露在線地圖估計方法的豐富內部特征，并展示了它們如何更緊密地將在線地圖構建與軌跡預測相結合。通過這樣做，本文發現直接訪問內部BEV特征可以使推理速度提高多達73%，并使在真實世界nuScenes數據集上的預測準確性提高多達29%。

論文設計：

感知自動駕駛車輛（AV）周圍的靜態環境是自動駕駛中的關鍵任務，它為下游的行為預測和運動規劃模塊提供幾何信息（例如，道路布局）。傳統上，高精（HD）地圖一直是理解這些信息的基礎，提供厘米級的道路邊界、車道分隔線、車道中心線、人行橫道、交通標志、道路標記等幾何數據。它們在增強AV情境感知和下游預測任務中的導航判斷方面起到了不可或缺的作用。然而，盡管HD地圖的實用性不容否認，收集和維護這些地圖卻是勞動密集型且成本高昂的，這限制了它們的可擴展性。

近年來，在線高精（HD）地圖估計方法作為一種替代方案出現，旨在直接從傳感器觀測中預測HD地圖信息。以（多）相機圖像和可選的LiDAR點云為起點，最先進的HD地圖估計方法通常采用編碼器-解碼器神經網絡架構（如圖1所示）。編碼器首先將傳感器觀測轉換為 BEV 特征網格。然后，解碼器從BEV特征中預測地圖元素的位置和語義類型。生成的道路幾何結構通常按地圖元素類型（例如，道路邊界、車道分隔線、人行橫道）以多段線和多邊形的組合形式構建。這些在線估計的地圖作為離線HD地圖的實用替代品，為下游任務（如行為預測和運動規劃）提供必要的場景上下文。例如，最近的研究[13]展示了將各種地圖估計方法與現有預測框架相結合的成功，突顯了它們在加速端到端自動駕駛技術堆棧開發中的潛力。

雖然這種編碼器-解碼器方法能夠生成準確的高精（HD）地圖，但正如本文將在第4節中展示的那樣，解碼過程中使用的注意力機制計算成本高（占據了模型運行時間的大部分），并且不會生成帶有相關不確定性的輸出，這限制了下游模塊處理不確定性的能力。此外，這種架構阻止了下游任務利用編碼器在透視視角到鳥瞰視角（PV2BEV）轉換過程中生成的豐富中間特征，導致無法描述為點集的信息被消耗掉。

為此，本文引入了三種新穎的場景編碼策略，這些策略利用內部 BEV 特征來提升性能并加速在線地圖構建和行為預測系統的運行時間。通過直接利用BEV特征，本文提出的方法在地圖估計和行為預測框架之間實現了更緊密的集成，在真實世界的nuScenes數據集上，系統推理速度提高了多達73%，下游預測準確性提高了多達29%。

如第2節所述，絕大多數最先進的在線矢量化地圖估計模型在內部采用 BEV 網格，以幾何保持的方式對周圍環境進行特征化。本文的方法側重于通過直接訪問這些內部BEV表示來進行軌跡預測。通過這樣做，本文改善了從地圖構建到預測的信息流動，甚至可以通過完全跳過地圖解碼來加速整個系統的運行時間（取決于預測器對車道信息的需求）。

圖1：在線地圖估計方法主要將多相機觀測結果編碼為標準的 BEV 特征網格，然后再解碼為矢量化的地圖元素。在這項工作中，本文提出通過直接訪問在線地圖估計方法的豐富BEV特征，將在線地圖構建與下游任務深度集成。

圖2：將BEV特征融入行為預測的三種不同策略。左：局部區域注意力編碼代理與地圖的交互；中：用BEV特征增強車道頂點；右：用時間序列BEV特征替換代理軌跡。

實驗結果：

圖3：本文的集成BEV預測方法在所有場景規模（代理數量和地圖元素數量）和地圖模型上運行速度都比解耦基線方法更快。

圖4：使用第3.1節中的策略結合StreamMapNet [37]和HiVT [40]。通過用時間序列BEV特征替換車道信息，HiVT能夠使其預測軌跡保持在當前車道上，與GT軌跡緊密對齊。

圖5：使用第3.2節中的策略結合MapTR [22]和DenseTNT [12]。本文通過用BEV特征增強地圖頂點，使DenseTNT能夠生成非常準確的軌跡，避免了在基線和增強不確定性[13]設置中出現的道路邊界入侵問題。

圖6：使用第3.3節中的策略結合StreamMapNet [37]和DenseTNT [12]。通過用BEV特征替換代理軌跡信息，DenseTNT能夠預測出在斑馬線前停下的軌跡，相比于基線和增強不確定性[13]方法中的預測不足和過度問題。

表1：在nuScenes [1]數據集上，幾乎每種地圖構建和預測的組合都能從直接利用上游BEV特征中受益，某些組合的性能提升甚至達到25%或更多。百分比值表示本文的方法在預測性能上所實現的相對提升。

表2：對BEV patch 大小的探索表明， patch 過小（信息捕獲不足）或過大（細粒度信息丟失）都會帶來不利影響，最佳性能是在 patch 大小為20×20（對應于現實世界中的6米×6米）時實現的。

總結：

在這項工作中，本文提出了三種不同的策略，以在下游任務（如行為預測）中利用在線地圖估計模型中的中間BEV特征。本文系統地評估了不同BEV編碼策略的優勢，并展示了在下游行為預測中融入BEV特征如何顯著提升性能和運行時間。具體而言，結合各種在線地圖構建和預測方法，在直接使用中間BEV特征時，實現了推理時間快達73%，并且在多種評估指標上預測準確性提高了多達29%。