寫在前面 & 筆者的個人理解

自VectorMapNet以來，無圖/輕圖的智能駕駛方案開始出現在自動駕駛量產的牌桌上，到如今也有兩年多的時間。而『無圖NOA』真正開始爆火的節點當屬MapTR算法的提出，原來矢量化地圖還能這么學習，以前分割的方案開始退出自動駕駛舞臺，各家開始真正投入主力量產無圖/輕圖方案。

首先需要明確一點，無圖方案不是完全摒棄高精地圖，下游軌跡預測/規控仍然依賴高精地圖的輸入。『無圖』實際指的是不再依賴廠商提供的高精地圖，轉而使用車載算法實時感知的『局部在線高精地圖』。

因此無圖方案的核心在于實時在線地圖構建的準確性，從技術層面來講，正常情況下無圖的上限就是有圖；而在傳統高精地圖更新不及時的區域（比如施工路段、道路重構路段等），無圖方案是更有優勢的。在線高精地圖的發展也有兩年多了，無圖一直致力于從『能用』走向『好用』。今天自動駕駛之心就帶大家盤點一下2024年在線高精地圖的主流前沿算法，一探研究趨勢，并在文末進行總結。

相關工作

Driving with Prior Maps: Unified Vector Prior Encoding for Autonomous Vehicle Mapping

• 論文鏈接：https://arxiv.org/abs/2409.05352v1

阿里巴巴和西交團隊的工作：高精地圖（HD地圖）對于自動駕駛汽車的精確導航和決策至關重要，但其創建和維護帶來了巨大的成本和及時性挑戰。使用車載傳感器在線構建高精地圖已成為一種有前景的解決方案；然而，由于遮擋和惡劣天氣，這些方法可能會受到不完整數據的阻礙。本文提出了PriorDrive框架，通過利用先驗地圖的力量來解決這些局限性，顯著提高了在線高精地圖構建的魯棒性和準確性。我們的方法整合了各種先前的地圖，如OpenStreetMap的標準定義地圖（SD地圖）、供應商過時的高精地圖以及來自歷史車輛數據的本地構建地圖。為了將這些先驗信息有效地編碼到在線見圖模型中，PriorDrive提出了一種混合先驗表示（HPQuery），該表示對不同地圖元素的表示進行了標準化。PriorDrive的核心是統一矢量編碼器（UVE），它采用雙編碼機制來處理矢量數據。矢量內編碼器捕獲細粒度的局部特征，而矢量間編碼器集成全局上下文。此外提出了一種segment-level和point-level的預訓練策略，使UVE能夠學習矢量數據的先驗分布，從而提高編碼器的泛化能力和性能。通過對nuScenes數據集的廣泛測試，PriorDrive與各種在線地圖模型高度兼容，并大大提高了地圖預測能力。通過PriorDrive框架整合先前的地圖，為單一感知數據的挑戰提供了一個強大的解決方案，為更可靠的自動駕駛汽車導航鋪平了道路。

Neural HD Map Generation from Multiple Vectorized Tiles Locally Produced by Autonomous Vehicles

• 論文鏈接：https://arxiv.org/abs/2409.03445v1

高精地圖廠商四維圖新的工作：高精地圖是自動駕駛系統的基本組成部分，因為它可以提供有關駕駛場景的精確環境信息。最近關于矢量化地圖生成的工作，車輛運行一次只能在自車周圍生成65%的局部地圖元素，這就留下了一個難題，即如何在高質量標準下構建投影在世界坐標系中的全局高精地圖。為了解決這個問題，我們將GNMap作為一個端到端的生成神經網絡來自動構建具有多個矢量化圖塊的高精地圖，這些圖塊是由自動駕駛汽車通過多次旅行在本地生成的。它利用多層和基于注意力的自動編碼器作為共享網絡，其中的參數是從兩個不同的任務（即分別進行預訓練和微調）中學習的，以確保生成的映射的完整性和元素類別的正確性。對真實世界的數據集進行了大量的定性評估，實驗結果表明，GNMap可以超過SOTA方法5%以上的F1分數，只需少量手動修改即可達到工業使用水平。我們已經在有限公司Navinfo公司部署了它，作為自動構建自動駕駛系統高精地圖的不可或缺的軟件。

Enhancing Vectorized Map Perception with Historical Rasterized Maps（ECCV2024）

• 論文鏈接：https://arxiv.org/abs/2409.00620v1
• 開源鏈接：https://github.com/HXMap/HRMapNet

無圖NOA以來，研究人員focus在端到端的在線矢量地圖構建上，該技術在鳥瞰圖（BEV）空間中實現，希望能夠替代傳統成本較高的離線高精（HD）地圖。但是當前方法在惡劣環境下的準確性和魯棒性很容易受限。為此本文提出了HRMapNet，其利用低成本的歷史光柵化地圖來增強在線矢量化地圖的感知能力。歷史光柵化地圖來源于先前預測的結果，因此可以提供當前幀一定的先驗信息。為了充分利用歷史地圖，作者設計了兩個模塊來增強BEV特征和地圖元素的查詢。對于BEV特征，本文設計了特征聚合模塊，以編碼圖像和歷史地圖的特征。對于地圖元素的查詢，則設計了一個查詢初始化模塊，以賦予查詢從歷史地圖中得到的先驗信息。這兩個模塊對于在在線感知中利用地圖信息至關重要。HRMapNet能夠與大多數現有的在線矢量化地圖感知方法集成。問鼎nuScenes和Argoverse 2 SOTA。

Online Temporal Fusion for Vectorized Map Construction in Mapless Autonomous Driving

• 論文鏈接：https://arxiv.org/abs/2409.00593v1

為了減少對高精（HD）地圖的依賴，自動駕駛的一個日益增長的趨勢是利用車載傳感器在線生成矢量化地圖。然而目前的方法大多受到僅處理單幀輸入的限制，這阻礙了它們在復雜場景中的魯棒性和有效性。為了克服這個問題，我們提出了一種在線地圖構建系統，該系統利用長期的時間信息來構建一致的矢量化地圖。首先，該系統有效地將來自現成網絡的所有歷史道路標記檢測融合到語義體素圖中，該圖使用基于哈希的策略來實現，以利用道路元素的稀疏性。然后通過檢查融合信息找到可靠的體素，并逐步聚類到道路標記的實例級表示中。最后，該系統結合領域知識來估計道路的幾何和拓撲結構，這些結構可以直接由規劃和控制（PnC）模塊使用。通過在復雜的城市環境中進行的實驗，我們證明了我們系統的輸出比網絡輸出更一致、更準確，并且可以有效地用于閉環自動駕駛系統。

PriorMapNet: Enhancing Online Vectorized HD Map Construction with Priors

• 論文鏈接：https://arxiv.org/abs/2408.08802v2

北理工和元戎啟行團隊的工作：在線矢量化高精地圖構建對于自動駕駛中的后續預測和規劃任務至關重要。遵循MapTR范式，最近的工作取得了值得注意的成就。然而在主流方法中，參考點是隨機初始化的，導致預測和GT之間的匹配不穩定。為了解決這個問題，我們引入了PriorMapNet來增強在線矢量化高精地圖的構建。我們提出了PPS解碼器，它為參考點提供了位置和結構先驗。根據數據集中的地圖元素進行擬合，先驗參考點降低了學習難度，實現了穩定的匹配。此外，我們提出了PF編碼器，利用BEV特征先驗來增強圖像到BEV的轉換。此外，我們提出了DMD交叉注意，它分別沿多尺度和多樣本解耦交叉注意，以實現效率。我們提出的PriorMapNet在nuScenes和Argoverse2數據集上的在線矢量化高精地圖構建任務中實現了最先進的性能。

Enhancing Online Road Network Perception and Reasoning with Standard Definition Maps

• 論文鏈接：https://arxiv.org/abs/2408.01471v1
• 項目主頁：https://henryzhangzhy.github.io/sdhdmap/

用于城市和高速公路駕駛應用的自動駕駛通常需要高精（HD）地圖來生成導航。然而在按比例生成和維護高精地圖時，會出現各種挑戰。雖然最近的在線建圖方法已經開始出現，但其在于大范圍感知時的性能受到動態環境中嚴重遮擋的限制。考慮到這些因素，本文旨在在開發在線矢量化高精地圖表示時利用輕量級和可擴展的先驗標準清晰度（SD）地圖。我們首先研究了將原型光柵化SD地圖表示集成到各種在線地圖架構中。此外，為了確定輕量級策略，我們使用OpenStreetMaps擴展了OpenLane-V2數據集，并評估了圖形SD地圖表示的好處。設計SD地圖集成組件的一個關鍵發現是，SD地圖編碼器與模型無關，可以快速適應利用鳥瞰圖（BEV）編碼器的新架構。我們的結果表明，使用SD圖作為在線映射任務的先驗可以顯著加快收斂速度，并將在線中心線感知任務的性能提高30%（mAP）。此外，我們表明，引入SD圖可以通過利用SD圖來減少感知和推理任務中的參數數量，同時提高整體性能。

PrevPredMap: Exploring Temporal Modeling with Previous Predictions for Online Vectorized HD Map Construction

• 論文鏈接：https://arxiv.org/abs/2407.17378v1

時間信息對于檢測被遮擋的實例至關重要。現有的時間表示已經從BEV或PV特征發展到更緊湊的查詢特征。與上述特征相比，預測提供了最高級別的抽象，提供了明確的信息。在在線矢量化高精地圖構建的背景下，這種獨特的預測特性可能有利于長時間建模和地圖先驗的整合。本文介紹了PrevPredMap，這是一個開創性的時間建模框架，利用之前的預測構建在線矢量化高精地圖。我們為PrevPredMap精心設計了兩個基本模塊：之前的基于預測的查詢生成器和動態位置查詢解碼器。具體而言，基于先前預測的查詢生成器被設計為對來自先前預測的不同類型的信息進行單獨編碼，然后由動態位置查詢解碼器有效地利用這些信息來生成當前預測。此外，我們還開發了一種雙模策略，以確保PrevPredMap在單幀和時間模式下的穩健性能。大量實驗表明，PrevPredMap在nuScenes和Argoverse2數據集上實現了最先進的性能。

Mask2Map: Vectorized HD Map Construction Using Bird's Eye View Segmentation Masks

• 論文鏈接：https://arxiv.org/abs/2407.13517v2
• 代碼鏈接：https://github.com/SehwanChoi0307/Mask2Map

漢陽大學的工作：本文介紹了Mask2Map，這是一種專為自動駕駛應用設計的端到端在線高精地圖構建方法。我們的方法側重于預測場景中以鳥瞰圖（BEV）表示的地圖實例的類和有序點集。Mask2Map由兩個主要組件組成：實例級掩碼預測網絡（IMPNet）和掩碼驅動映射預測網絡（MMPNet）。IMPNet生成掩碼感知查詢和BEV分割掩碼，以在全局范圍內捕獲全面的語義信息。隨后，MMPNet通過兩個子模塊使用本地上下文信息增強了這些查詢功能：位置查詢生成器（PQG）和幾何特征提取器（GFE）。PQG通過將邊界元位置信息嵌入到掩碼感知查詢中來提取實例級位置查詢，而GFE則利用邊界元分割掩碼來生成點級幾何特征。然而，我們觀察到Mask2Map的性能有限，這是由于IMPNet和MMPNet之間對GT匹配的不同預測導致的網絡間不一致。為了應對這一挑戰，我們提出了網絡間去噪訓練方法，該方法指導模型對受噪聲GT查詢和擾動GT分割掩碼影響的輸出進行去噪。我們對nuScenes和Argoverse2基準進行的評估表明，Mask2Map比以前最先進的方法實現了顯著的性能改進，分別提高了10.1%mAP和4.1 mAP。

MapDistill: Boosting Efficient Camera-based HD Map Construction via Camera-LiDAR Fusion Model Distillation（ECCV 2024）

• 論文鏈接：https://arxiv.org/abs/2407.11682v1

三星研究院的工作：在線高精地圖構建是自動駕駛領域一項重要而具有挑戰性的任務。最近研究人員對基于成本效益高的環視相機的方法越來越感興趣，而不依賴于激光雷達等其他傳感器。然而，這些方法缺乏明確的深度信息，需要使用大型模型來實現令人滿意的性能。為了解決這個問題，我們首次采用知識蒸餾（KD）思想進行高效的高精地圖構建，并引入了一種名為MapDistill的基于知識蒸餾的新方法，將知識從高性能相機LiDAR融合模型轉移到僅使用相機的輕量模型。具體而言，我們采用師生架構，即以攝像頭LiDAR融合模型為教師，以輕量級攝像頭模型為學生，并設計了一個雙BEV轉換模塊，以促進跨模式知識提取，同時保持僅使用攝像頭的成本效益部署。此外，我們提出了一種全面的蒸餾方案，包括跨模態關系蒸餾、雙層特征蒸餾和映射頭蒸餾。這種方法緩解了模式之間的知識轉移挑戰，使學生模型能夠學習改進的特征表示，用于HD地圖構建。在具有挑戰性的nuScenes數據集上的實驗結果證明了MapDistill的有效性，性能提升7.7 mAP或速度提升4.5倍。

Accelerating Online Mapping and Behavior Prediction via Direct BEV Feature Attention（ECCV 2024）

• 論文鏈接：https://arxiv.org/abs/2407.06683v1

多倫多大學&英偉達等團隊的工作：了解道路幾何形狀是自動駕駛汽車（AV）堆棧的關鍵組成部分。雖然高精（HD）地圖可以很容易地提供此類信息，但它們的標簽和維護成本很高。因此，許多最近的工作提出了從傳感器數據在線估計HD地圖的方法。最近的絕大多數方法將多相機觀測值編碼為中間表示，例如鳥瞰圖（BEV）網格，并通過解碼器生成矢量地圖元素。雖然這種架構是高性能的，但它會大量抽取中間表示中編碼的信息，從而阻止下游任務（例如行為預測）利用它們。在這項工作中，我們建議揭示在線地圖估計方法的豐富內部特征，并展示它們如何將在線地圖與軌跡預測更緊密地結合起來。通過這樣做，我們發現直接訪問內部BEV特征可以使推理速度提高73%，對真實世界nuScenes數據集的預測準確率提高29%。

Is Your HD Map Constructor Reliable under Sensor Corruptions?

• 論文鏈接：https://arxiv.org/abs/2406.12214v2
• 項目鏈接：https://mapbench.github.io/

三星研究院&悉尼大學等團隊的工作：駕駛系統通常依賴高精（HD）地圖獲取精確的環境信息，這對規劃和導航至關重要。雖然目前的高精地圖構建器在理想條件下表現良好，但它們對現實世界挑戰的彈性，例如惡劣天氣和傳感器故障，還沒有得到很好的理解，這引發了安全問題。這項工作介紹了MapBench，這是第一個旨在評估HD地圖構建方法對各種傳感器損壞的魯棒性的綜合基準。我們的基準測試共包括29種由攝像頭和激光雷達傳感器引起的損壞。對31個HD地圖構建器的廣泛評估顯示，在惡劣天氣條件和傳感器故障下，現有方法的性能顯著下降，突顯了關鍵的安全問題。我們確定了增強魯棒性的有效策略，包括利用多模態融合、先進數據增強和架構技術的創新方法。這些見解為開發更可靠的高精地圖構建方法提供了途徑，這對自動駕駛技術的進步至關重要。

MapVision: CVPR 2024 Autonomous Grand Challenge Mapless Driving Tech Report

• 論文鏈接：https://arxiv.org/abs/2406.10125v1

滴滴&北郵團隊在CVPR 2024挑戰賽上的工作：沒有高精（HD）地圖的自動駕駛需要更高水平的主動場景理解。在本次比賽中，組織者提供了多視角相機圖像和標清（SD）地圖，以探索場景推理能力的邊界。我們發現，大多數現有的算法都是從這些多視角圖像中構建鳥瞰圖（BEV）特征，并使用多任務頭來描繪道路中心線、邊界線、人行橫道和其他區域。然而，這些算法在道路的遠端表現不佳，當圖像中的主要對象被遮擋時，它們會遇到困難。因此，在這場比賽中，我們不僅使用多視角圖像作為輸入，還結合了SD地圖來解決這個問題。我們采用地圖編碼器預訓練來增強網絡的幾何編碼能力，并利用YOLOX來提高交通要素檢測精度。此外，對于區域檢測，我們創新性地引入了LDTR和輔助任務，以實現更高的精度。因此，我們的OLUS最終得分為0.58。

DTCLMapper: Dual Temporal Consistent Learning for Vectorized HD Map Construction

• 論文鏈接：https://arxiv.org/abs/2405.05518v2
• 代碼鏈接：https://github.com/lynn-yu/DTCLMapper

時間信息在鳥瞰圖（BEV）感知場景理解中起著關鍵作用，可以緩解視覺信息的稀疏性。然而，在構建矢量化高精晰度（HD）地圖時，不加選擇的時間融合方法會導致特征冗余的障礙。本文重新審視了矢量化HD地圖的時間融合，重點研究了時間實例一致性和時間地圖一致性學習。為了改進單幀映射中實例的表示，我們引入了一種新方法DTCLMapper。該方法使用雙流時間一致性學習模塊，該模塊將實例嵌入與幾何圖相結合。在實例嵌入組件中，我們的方法集成了時態實例一致性學習（ICL），確保向量點和從點聚合的實例特征的一致性。采用矢量化點預選模塊來提高每個實例中矢量點的回歸效率。然后，從矢量化點預選模塊獲得的聚合實例特征基于對比學習來實現時間一致性，其中基于位置和語義信息選擇正樣本和負樣本。幾何映射組件引入了使用自監督學習設計的映射一致性學習（MCL）。MCL通過關注實例的全局位置和分布約束來增強我們一致學習方法的泛化能力。在公認的基準上進行的廣泛實驗表明，所提出的DTCLMapper在矢量化映射任務中達到了最先進的性能，在nuScenes和Argoverse數據集上分別達到了61.9%和65.1%的mAP得分。

HybriMap: Hybrid Clues Utilization for Effective Vectorized HD Map Construction

• 論文鏈接：https://arxiv.org/abs/2404.11155v1

港中文團隊的工作：近年來，利用全景相機構建矢量化高精地圖引起了人們的廣泛關注。然而，主流方法中常用的多階段順序工作流往往會導致早期信息的丟失，特別是在透視圖特征中。通常，在最終的鳥瞰預測中，這種損失被視為實例缺失或形狀不匹配。為了解決這個問題，我們提出了一種新的方法，即HybriMap，它有效地利用混合特征的線索來確保有價值的信息的傳遞。具體來說，我們設計了雙增強模塊，以便在混合特征的指導下實現顯式集成和隱式修改。此外，透視關鍵點被用作監督，進一步指導特征增強過程。在現有基準上進行的廣泛實驗證明了我們提出的方法的最先進性能。

MGMap: Mask-Guided Learning for Online Vectorized HD Map Construction（CVPR 2024）

• 論文鏈接：https://arxiv.org/abs/2404.00876v1
• 代碼鏈接：https://github.com/xiaolul2/MGMap

浙大和有鹿的工作：目前高精晰度（HD）地圖構建傾向于輕量級的在線生成趨勢，旨在保存及時可靠的道路場景信息。然而地圖元素包含強大的形狀先驗。一些奇形怪狀的標注使當前基于檢測的框架在定位相關特征范圍方面模糊不清，并導致預測中詳細結構的丟失。為了緩解這些問題，我們提出了MGMap，這是一種掩模引導的方法，可以有效地突出信息區域，并通過引入學習到的掩模來實現精確的地圖元素定位。具體來說，MGMap從兩個角度采用了基于增強的多尺度邊界元法特征的學習掩模。在實例級別，我們提出了掩碼激活實例（MAI）解碼器，該解碼器通過激活實例掩碼將全局實例和結構信息合并到實例查詢中。在點級別，設計了一種新的位置引導掩模補丁細化（PG-MPR）模塊，從更細粒度的角度細化點位置，從而能夠提取特定于點的補丁信息。與基線相比，我們提出的MGMap在不同輸入模式下實現了約10mAP的顯著改善。大量實驗還表明，我們的方法具有很強的魯棒性和泛化能力。

MapTracker: Tracking with Strided Memory Fusion for Consistent Vector HD Mapping

• 論文鏈接：https://arxiv.org/abs/2403.15951v1
• 項目主頁：https://map-tracker.github.io/

Wayve等團隊的工作：本文提出了一種矢量HD建圖算法，該算法將地圖表示為跟蹤任務，并使用內存延遲歷史來確保隨時間推移的一致重建。我們的方法MapTracker將傳感器流累積到兩個潛在表示的存儲緩沖區中：1）鳥瞰（BEV）空間中的光柵延遲，2）道路元素（即人行橫道、車道分隔線和道路邊界）上的矢量延遲。該方法借鑒了跟蹤文獻中的查詢傳播范式，該范式明確地將前一幀中的跟蹤道路元素與當前幀相關聯，同時融合了用距離步長選擇的記憶延遲子集，以進一步增強時間一致性。對向量潛勢進行解碼以重建道路元素的幾何形狀。該論文還通過以下方式做出了基準貢獻：1）改進現有數據集的處理代碼，以通過時間對齊產生一致的地面實況，2）通過一致性檢查增強現有的mAP度量。MapTracker在nuScenes和Agroverse2數據集上的表現明顯優于現有方法，在傳統和新的一致性感知指標上分別超過8%和19%。

HIMap: HybrId Representation Learning for End-to-end Vectorized HD Map Construction

• 論文鏈接：https://arxiv.org/abs/2403.08639v2

三星團隊的工作：矢量化高精（HD）地圖構建需要預測地圖元素（如道路邊界、車道分隔線、人行橫道等）的類別和點坐標。最先進的方法主要基于點級表示學習，用于回歸精確的點坐標。然而該范式在獲取元素級信息和處理元素級故障方面存在局限性，例如錯誤的元素形狀或元素之間的糾纏。為了解決上述問題，我們提出了一個簡單而有效的名為HIMap的HybrId框架，以充分學習和交互點級和元素級信息。具體來說，我們引入了一種名為HIQuery的混合表示來表示所有地圖元素，并提出了一個點元素交互器來交互式地提取元素的混合信息，例如點位置和元素形狀，并將其編碼到HIQuery中。此外，我們提出了一個點元素一致性約束，以增強點級和元素級信息之間的一致性。最后，集成HIQuery的輸出點元素可以直接轉換為地圖元素的類、點坐標和掩碼。我們進行了廣泛的實驗，并在nuScenes和Argoverse2數據集上始終優于以前的方法。值得注意的是，我們的方法在nuScenes數據集上實現了77.8 mAP，至少比之前的SOTA高出8.3 mAP。

EAN-MapNet: Efficient Vectorized HD Map Construction with Anchor Neighborhoods

• 論文鏈接：https://arxiv.org/abs/2402.18278v2

中山大學等團隊的工作：高精（HD）地圖對于自動駕駛系統至關重要。現有的大多數工作設計了基于DETR解碼器的地圖元素檢測頭。然而，初始查詢缺乏對物理位置信息的明確結合，而普通的自注意力需要很高的計算復雜性。因此我們提出了EAN MapNet，用于使用錨點鄰域高效構建高精地圖。首先，我們基于錨點鄰域設計查詢單元，允許非鄰域中心錨點有效地幫助將鄰域中心錨點擬合到表示地圖元素的目標點。然后利用查詢之間的相對實例關系，提出了分組局部self-att（GL-SA）。這有助于同一實例的查詢之間的直接特征交互，同時創新性地將本地查詢用作不同實例查詢之間交互的中介。因此，GL-SA顯著降低了自注意力的計算復雜度，同時確保了查詢之間有足夠的特征交互。在nuScenes數據集上，EAN MapNet經過24個epoch的訓練，達到了63.0 mAP的最新性能，比MapTR高出12.7 mAP。此外，與MapTRv2相比，它大大減少了8198M的內存消耗。

ADMap: Anti-disturbance framework for reconstructing online vectorized HD map（ECCV2024）

• 論文鏈接：https://arxiv.org/abs/2401.13172v2
• 開源鏈接：https://github.com/hht1996ok/ADMap

零跑&浙大等團隊的工作：在自動駕駛領域，在線高精（HD）地圖重建對于規劃任務至關重要。最近的研究開發了幾種高性能的高精地圖重建模型來滿足這一需求。然而，由于預測偏差，實例向量內的點序列可能會抖動或鋸齒狀，這可能會影響后續任務。因此，本文提出了抗干擾圖重建框架（ADMap）。為了減輕點序抖動，該框架由三個模塊組成：多尺度感知neck、實例交互注意力（IIA）和矢量方向差損失（VDDL）。通過以級聯方式探索實例之間和實例內部的點序關系，該模型可以更有效地監控點序預測過程。ADMap在nuScenes和Argoverse2數據集上實現了最先進的性能。廣泛的結果表明，它能夠在復雜和不斷變化的駕駛場景中生成穩定可靠的地圖元素。

Stream Query Denoising for Vectorized HD Map Construction

• 論文鏈接：https://arxiv.org/abs/2401.09112v2

中科大&曠視團隊的工作：為了提高自動駕駛領域復雜和廣泛場景中的感知性能，人們對時間建模給予了特別關注，特別強調了流式方法。流模型的主流趨勢涉及利用流查詢來傳播時間信息。盡管這種方法很流行，但將流式范式直接應用于構建矢量化高精地圖（HD地圖）并不能充分利用時間信息的內在潛力。本文介紹了流查詢去噪（SQD）策略，這是一種在高精地圖（HD map）構建中進行時間建模的新方法。SQD旨在促進流模型中映射元素之間時間一致性的學習。該方法涉及對因在前一幀的GT中添加噪聲而受到干擾的查詢進行去噪。該去噪過程旨在重建當前幀的地面真實信息，從而模擬流查詢中固有的預測過程。SQD策略可以應用于這些流式方法（例如StreamMapNet），以增強時間建模。擬議的SQD MapNet是配備SQD的StreamMapNet。在nuScenes和Argoverse2上的大量實驗表明，我們的方法在近距離和遠距離的所有設置中都明顯優于其他現有方法。

MapNeXt: Revisiting Training and Scaling Practices for Online Vectorized HD Map Construction

• 論文鏈接：https://arxiv.org/abs/2401.07323v1

獨立研究作者：高精（HD）地圖是自動駕駛導航的關鍵。將運行時輕量級高精地圖構建的能力集成到自動駕駛系統中最近成為一個有前景的方向。在這種激增中，視覺感知脫穎而出，因為相機設備仍然可以感知立體信息，更不用說其便攜性和經濟性的吸引人的特征了。最新的MapTR架構以端到端的方式解決了在線高精地圖構建任務，但其潛力仍有待探索。在這項工作中，我們提出了MapTR的全面升級，并提出了下一代高精地圖學習架構MapNeXt，從模型訓練和縮放的角度做出了重大貢獻。在深入了解MapTR的訓練動態并充分利用地圖元素的監督后，MapNeXt Tiny在不進行任何架構修改的情況下，將MapTR Tiny的map從49.0%提高到54.8%。MapNeXt Base享受著地圖分割預訓練的成果，將map進一步提高到63.9%，已經比現有技術多模態MapTR提高了1.4%，同時速度提高了1.8倍。為了將性能邊界推向下一個水平，我們在實際模型縮放方面得出了兩個結論：增加的查詢有利于更大的解碼器網絡進行充分的消化；一個大的主干穩定地提高了最終的準確性，沒有花哨的東西。基于這兩條經驗法則，MapNeXt Huge在具有挑戰性的nuScenes基準測試中取得了最先進的性能。具體來說，我們首次將無地圖視覺單模型性能提高到78%以上，比現有方法中的最佳模型高出16%。

總結與展望

從今年文章的情況來看，可以總結以下幾點趨勢：

• 前期工作主要是模型層面的改動：比如模型訓練的優化方法、損失、新型注意力機制、Query、Encoder-Decoder的改進等等方式；
• 下半年的文章則聚焦在如何使用額外的信息提升模型性能：比如SD Map、歷史地圖等等，額外信息的引入能大幅提升模型性能，這塊也是業內實際量產的前沿方向，值得更進一步挖局；
• 此外也有一些工作嘗試進行蒸餾、研究模型的魯棒性等，這塊對量產的指導意義更強，期待后續有業務數據的反饋。

總結來說，目前在線高精地圖是工業界和學術界主流的研究方向，從CVPR/ECCV等頂會也可以反應出這一趨勢。模塊化方法離不開在線高精地圖，端到端更離不開在線地圖。但反過來說，在線地圖依賴傳統高精地圖的標注訓練。可謂從群眾中來，到群眾中去。傳統高精地圖不會湮滅，仍然會在技術發展的洪流中發光發熱。