本文經自動駕駛之心公眾號授權轉載，轉載請聯系出處。

寫在前面&筆者的個人理解

看完這篇文章，會有一種無圖感知到頭了的錯覺？？？剛剛出爐的MapEX，迫不及待的吸取了一波文章精華，順便分享給大家。MapEX的核心是利用歷史存儲的地圖信息，優化當前局部高精地圖的構建，歷史地圖可以是只有一些簡單的地圖元素（例如道路邊界）、也可是是帶噪聲的地圖（比如每個地圖元素偏移5m）、也可以是舊的地圖（例如只有一小部分地圖元素能與當前場景對齊）。顯而易見，這些歷史的地圖信息對當下的局部高精地圖構建都是有用的，因此也引出了本文的核心，即如何使用？？？具體來說，MapEX基于MapTRv2構建，這些歷史地圖信息可以編碼為一系列的query和原始的query拼接起來，進一步由解碼器輸出預測結果。文章還是非常有意思的~

論文整體概覽

傳感器的在線高精地圖（HDMap）估計為傳統手動獲取HDMap提供了一種低成本的替代方案。因此，它有望降低已經依賴HDMap的自動駕駛系統的成本，甚至有可能將其應用于新系統。

本文建議通過考慮現有地圖來改進在線HDMap估計。主要確定了三種合理類型的現有地圖（簡單地圖、帶噪和老的地圖）。此外本文還介紹了MapEX，這是一個新的在線HDMap構建框架，用于感知現有的地圖。MapEX通過將地圖元素編碼為query，并通過改進用于訓練經典的基于查詢的地圖估計模型的匹配算法來實現這一點。

文章最后展示了MapEX對nuScenes數據集的顯著改進。例如，MapEX（給定有噪聲的地圖）比MapTRv2檢測提高了38%，比當前的SOTA提高了16%。

總結來說，MapEX的主要貢獻如下：

• 根據傳感器數據估計在線HDMaps時考慮現有地圖信息；
• 討論了現有地圖不完整的合理情況。我們還為nuScenes數據集提供了這些場景的實際實現和代碼；
• 介紹了MapEX，這是一種新的基于query的HDMap獲取方案，在從傳感器估計在線HDMap時，可以結合地圖信息。特別是在MapEX中引入了一種將現有地圖信息與現有（EX）查詢結合起來的新方法，以及一種通過在訓練過程中將預測預先歸因于GT來幫助模型學習利用這些信息的方法。

在線局部高精地圖構建工作回顧

我們在這里提供了一些關于自動駕駛中HDMaps的簡要概述。首先討論HDMap在軌跡預測中的應用，然后再討論它們的獲取。最后討論在線HDMap構建本身。

用于軌跡預測的HDMaps：自動駕駛通常需要大量關于車輛導航世界的信息。這些信息通常嵌入到豐富的HDMaps中，作為修改神經網絡的輸入。HDMaps已被證明對軌跡預測的性能至關重要。特別是在軌跡預測中，一些方法明確地基于HDMap的表示，因此絕對需要訪問HDMap。

HDMap獲取和維護：傳統HDMap的獲取和維護成本高昂。雖然預測中使用的HDMaps只是一個簡化版本，包含地圖元素（車道分隔符、道路邊界等），并在完整的HDMaps中提供了許多復雜信息，但它們仍然需要非常精確的測量。因此，許多公司一直在朝著不那么嚴格的中清晰度地圖（MDMaps）標準發展，甚至朝著導航地圖（谷歌地圖、SDMaps）發展。至關重要的是，具有幾米精度的MDMap將是現有地圖的一個很好的例子，為在線HDMap生成過程提供有價值的信息。我們的地圖場景2a探討了這種情況的近似情況。

傳感器的在線HDMap構建：因此在線HDMap構建已成為輕圖/無圖感知的核心。雖然一些工作側重于預測虛擬地圖元素，即車道中心線，但也有一些工作側重于更具視覺識別性的地圖元素：車道分隔符、道路邊界和人行橫道。可能是因為視覺元素更容易被傳感器檢測到，后一種方案在過去一年中取得了快速進展。有趣的是，最新的這種方法—Map-TRv2確實為檢測實際車道中心線提供了一個輔助設置。這表明向更復雜的方案收斂，包括大量額外的地圖元素（紅綠燈等）。

本文的工作與通常研究的變化檢測問題相似，這些問題旨在檢測地圖中的變化（例如交叉點）。MapEX的目標是在現有的（可能非常不同的）地圖的幫助下生成準確的在線HDMap，這是為當下在線HDMap構建問題而實現的。因此，我們不僅糾正了地圖中的小錯誤，而且提出了一個更具表現力的框架，以適應任何變化（例如扭曲的線條、非常嘈雜的元素）。

我們可以使用什么樣的現有地圖？

我們的核心主張是，利用現有地圖將有利于在線HDMaps構建。我們認為，在許多合理的情況下，不完美的地圖可能會出現。

在線HDMap表示

我們采用了傳感器在線生成HDMaps的標準格式：我們認為HDMaps由3種類型的多段線、道路邊界、車道分隔帶和人行橫道組成，顏色分別與之前的綠色、石灰色和藍色相同，如圖2a所示。

雖然真正的HDMaps要復雜得多，并且已經提出了更復雜的表示，但這項工作的目的是研究如何解釋現有的地圖信息。因此，我們使用研究最多的范式。本文的工作將直接適用于更多地圖元素、更細的polylines或柵格化目標的預測。

MapModEX：模擬不完美的地圖

由于為標準地圖采集既昂貴又耗時，我們從現有的HDMaps中綜合生成了不精確的地圖。

為此我們開發了MapModEX，一個獨立的地圖修改庫。它獲取nuScenes地圖文件和樣本記錄，并為每個樣本輸出ego車輛周圍給定補丁中的人行道、邊界和人行橫道的多段線坐標。重要的是，MapModEX提供了修改這些多段線以反映各種修改的能力：刪除地圖元素、添加、移動人行橫道、向點坐標添加噪波、地圖移動、地圖旋轉和地圖扭曲。MapModEX將在發布后提供，以便于進一步重新搜索，將現有地圖納入傳感器的在線HDMap采集中。

我們使用MapModEX包實現了三個具有挑戰性的場景，如下所述，為每個樣本生成場景2和3的10個變體（場景1只允許一個變體）。我們選擇使用一組固定的修改地圖，以降低訓練期間的成本，并反映可能只有有限數量的地圖變體可用的真實情況。

場景1：只有邊界可用

第一種情況是只有一個粗糙的HDMap（沒有分隔帶和人行橫道）可用，如圖2b所示。道路邊界通常與3D物理地標（如人行道邊緣）相關，而人行道和人行橫道通常由更容易錯過的平面標記表示。此外，人行橫道和車道分隔帶通常因建筑工程或道路偏差而被丟棄，甚至部分被輪胎軌道隱藏。

因此，使用只有邊界的HDMaps是合理的。這樣做的好處是，只需要求標注道路約束，就可以降低標注的成本。此外，只定位道路邊界可能需要較少的精確設備和更新。實施從實際的角度來看，場景1的實施很簡單：我們從可用的HDMaps中刪除了分隔帶和人行橫道。

場景2：帶噪地圖

第二種可能的情況是，我們只有非常嘈雜的地圖，如圖2c所示。現有HDMaps的一個弱點是需要高精度（大約幾厘米），這給它們的獲取和維護帶來了巨大的壓力[11]。事實上，HDMaps和新興的MDMaps標準之間的一個關鍵區別在于較低的精度（幾厘米和幾米）。

因此，我們建議使用嘈雜的HDMaps來模擬不太精確的地圖可能是由于更便宜的獲取過程或改用MDMaps標準而導致的情況。更有趣的是，這些不太精確的地圖可以從傳感器數據中自動獲得。盡管像MapTRv2這樣的方法已經達到了非常令人印象深刻的性能，但它們還不是完全精確的：即使有非常靈活的檢索閾值，預測的精度也遠低于80%。

實現：我們提出了這些有噪聲的HDMaps的兩種可能的實現方式，以反映我們可能缺乏精度的各種條件。在第一個場景2a中，我們提出了一個偏移噪聲設置，其中對于每個地圖元素定位，我們添加來自高斯分布的噪聲，其標準偏差為1米。這具有對每個地圖元素（分隔符、邊界、人行橫道）應用統一平移的效果。這樣的設置應該很好地近似于人工標注從嘈雜數據中快速提供不精確標注的情況。我們選擇了1米的標準偏差來反映精確到幾米的MDMaps標準。

然后，我們用一個極具挑戰性的逐點噪聲場景2b來測試我們的方法：對于每個地面實況點——記住，一個地圖元素由20個這樣的點組成——我們從標準偏差為5米的高斯分布中采樣噪聲，并將其添加到點坐標中。這提供了地圖自動獲取或提供非常不精確定位的情況的最壞情況近似。

場景3：地圖發生了實質性變化

我們考慮的最后一種情況是，我們可以訪問過去準確的舊地圖（見圖2d）。人行橫道等油漆標記不時發生位移是相當常見的。此外，城市對一些有問題的十字路口進行實質性改造或翻新區域，以適應新景點帶來的交通量增加。

因此，使用HDMaps是很有趣的，它們本身是有效的，但在很大程度上與實際的HDMaps不同。當HDMaps只由維護人員每隔幾年更新一次以降低成本時，這些地圖應該經常出現。在這種情況下，現有地圖仍將提供一些關于世界的信息，但可能不會反映暫時或最近的變化。

實現：我們通過在場景3a中對現有HDMaps進行強有力的更改來近似這一點。我們刪除了地圖中50%的人行橫道和車道分隔線，添加了一些人行橫道（剩余人行橫道的一半），最后對地圖應用了一個小的扭曲變形。

然而，重要的是要注意，隨著時間的推移，全球地圖的很大一部分將保持不變。在我們的場景3b中，我們對此進行了計數，其中我們研究了隨機選擇（概率p=0.5）來考慮真實HDMap而不是擾動版本的影響。

MapEX：利用現有地圖

為此我們提出了MapEX（見圖3），這是一種在線HDMap構建的新框架。它遵循標準的基于查詢的在線HDMap構建范式，并通過兩個關鍵模塊處理現有地圖信息：地圖查詢編碼模塊和預測及GT的預歸因方案。本文基于MapTRv2搭建baseline。

概覽

基于查詢的核心通過圖3中的灰色元素顯示。它首先獲取傳感器輸入（相機或激光雷達），并將其編碼為鳥瞰圖（BEV）表示，作為傳感器特征。使用類似DETR的檢測方案來檢測地圖元素（最多N個）來獲得地圖本身。這是通過將N×L個學習的查詢令牌（N是檢測到的元素的最大數量，L是為元素預測的點數）傳遞到Transformer解碼器中來實現的，該Transformer解碼器使用與BEV特征的交叉注意力將傳感器信息饋送到查詢令牌。然后，通過線性層將解編碼的查詢與類預測（包括額外的背景類）一起轉換為地圖元素坐標，使得L個查詢組表示地圖元素的L個點（本文中L=20）。訓練是通過使用匈牙利算法的一些變體匹配預測地圖元素和GT地圖元素來完成的。一旦匹配，使用回歸（對于坐標）和分類（對于元素類別）損失，對模型進行優化，以使預測的地圖元素與其響應的GT相匹配。

但是這個框架無法解釋現有的地圖，這需要在兩個關鍵級別引入新的模塊。在查詢級別，我們將地圖元素編碼為不可學習的EX查詢。在匹配級別，我們預先將查詢屬性為它們所代表的GT地圖元素。

完整的MapEX框架（如圖3所示）將現有的地圖元素轉換為不可學習的地圖查詢，并添加可學習的查詢，以達到一定數量的查詢N×L。然后，將這組完整的查詢傳遞給Transformer解碼器，并像往常一樣通過線性層轉換為預測。在訓練時，我們的歸因模型將一些預測與GT進行預匹配，其余預測使用匈牙利匹配進行正常匹配。在測試時，解碼的非背景查詢產生HDMap表示。

將地圖轉換為EX查詢

目前的在線HDMap構建框架中沒有機制來解釋現有的地圖信息。因此，我們需要設計一個新的方案，可以將現有的地圖翻譯成標準的基于查詢的在線HDMap構建框架可以理解的形式。我們使用MapEX提出了一種簡單的方法，將現有的地圖元素編碼為解碼器的EX查詢，如圖4所示。

對于給定的地圖元素，我們提取L個等距點，其中L是我們為任何地圖元素尋求預測的點的數量。對于每個點，我們制作一個EX查詢，該查詢在前2個維度中編碼其地圖坐標（x，y），在接下來的3個維度中對地圖元素類（分隔符、交叉點或邊界）進行一次性編碼。EX查詢的其余部分用0填充，以達到解碼器架構使用的標準查詢大小。

雖然這種查詢設計非常簡單，但它提供了直接編碼感興趣的信息（點坐標和元素類）和最大限度地減少與已學習查詢的沖突的關鍵好處（得益于豐富的0填充）。

一旦我們有了L個查詢的集合（對于現有地圖中的地圖元素），可以從標準可學習查詢池中檢索（）個L個分類可學習查詢集合。然后，按照本文的方法，將生成的N×L個查詢提供給解碼器：在MapTR中，N×L查詢被視為獨立查詢，而MapTRv2使用更有效的解耦注意力方案，將同一地圖元素的查詢分組在一起。在從查詢中預測地圖元素后，可以直接在測試時使用，也可以將它們與訓練的GT相匹配。

地圖元素歸屬

雖然EX查詢引入了一種解釋現有地圖信息的方法，但沒有什么能確保模型正確使用這些查詢來估計相應的元素。事實上，如果單獨使用，網絡甚至無法識別完全準確的EX查詢。因此，我們在訓練中使用傳統的匈牙利匹配之前引入了預測和GT元素的預歸因，如圖3所示。

簡單地說，我們跟蹤修改后的地圖中的每個地圖元素，它們對應于哪個GT地圖元素：如果地圖元素未修改、偏移或扭曲，我們可以將其與真實地圖中的原始地圖元素聯系起來。為了確保模型學會只使用有用的信息，我們只在修改后的地圖元素和真實地圖元素之間的平均逐點位移得分時保持匹配：

給定GT和預先預測的地圖元素之間的對應關系，我們可以從要匹配的元素池中移除預先歸因的地圖元素。然后，按照慣例，使用匈牙利算法的一些變體來匹配剩余的地圖元素（預測和GT）。因此，匈牙利匹配步驟只需要識別哪些EX查詢對應于不存在的添加地圖元素，并找到適合真實地圖中不存在的一些真實地圖元素的標準學習查詢（由于刪除或強烈擾動）。

減少匈牙利算法必須處理的元素數量很重要，因為即使是最有效的變體也具有立方復雜度（）[8]。這并不是目前大多數在線HDMap獲取方法的主要弱點，因為預測的地圖很小（30m×60m），并且只預測了三種類型的地圖元素。然而，隨著在線地圖生成的進一步發展，隨著預測地圖變得更大和更完整，有必要容納越來越多的地圖元素。

實驗結果

設置：我們在nuScenes數據集上評估了MapEX框架，因為它是在線HDMap估計的標準評估數據集。我們基于MapTRv2框架和官方代碼庫。按照通常的做法，我們報告了三種地圖元素類型（divider, boundary, crossing）在不同檢索閾值（0.5米、1.0米和1.5米的倒角距離）下的平均精度，以及三個類別的mAP。

對于每個實驗，使用三個固定的隨機種子進行3次實驗。重要的是，對于給定的種子和地圖場景組合，在驗證期間提供的現有地圖數據是固定的，以便于比較。為了保持一致性，我們將結果報告為平均值±標準差，即使標準偏差超過該精度，也可以精確到小數點。

MapEX的性能

我們在表2中提供了相關方法的比較，以及MapEX的性能：沒有lane divider或人行橫道的地圖（S1）、有噪聲的地圖（S2a用于偏移的地圖元素，S2b用于強逐點噪聲）和大幅度變化的地圖（S3a僅包含這些地圖，S3b包含混合的真實地圖）。我們將MapEX的性能與現有在線HDMap在可比設置（相機輸入、CNN主干）上的評估進行了詳盡的比較，并與當前最先進的技術（使用了更多的資源）進行了比較。

首先，從表2中可以清楚地看出，任何類型的現有地圖信息都會使MapEX在可比設置方面顯著優于現有文獻，而不考慮所考慮的場景。在除一種情況外的所有情況下，現有的地圖信息甚至允許MapEX比當前最先進的MapTRv2模型執行得更好，該模型使用在廣泛的深度估計數據集上預訓練的大型ViT主干在四倍多的時期內訓練。即使是具有不精確地圖元素定位的相當保守的S2a場景也會得到11.4mAP分數的提高（即16%）。

在所有場景中，我們都觀察到在所有4個指標上對基本MapTRv2模型的一致改進。可以理解，場景3b（一半時間使用準確的現有地圖）在很大程度上產生了最佳的整體性能，從而展示了識別和利用完全準確的現有圖的強大能力。場景2a（具有偏移的地圖元素）和場景3a（具有“過時”的地圖元素”）都提供了非常強大的整體性能，所有三種類型的地圖元素都具有良好的性能。場景1中只有道路邊界可用，由于其（預期的）非常強大的邊界檢索，顯示出巨大的mAP收益。即使在極具挑戰性的場景2b中，將標準偏差為5米的高斯噪聲應用于每個地圖元素點，也會在基本模型上獲得顯著的增益，并且對分隔符和邊界具有特別好的檢索性能。

MapEX帶來的改進

我們現在更具體地關注現有地圖信息給MapEX帶來的改進。作為參考，我們將MapEX增益與其他附加信息來源帶來的增益進行了比較：具有全局學習特征圖的Neural Map Prior、地圖，以及使用地理本地化SDMaps的P-MapNet。重要的是，MapModEX依賴于比這些方法更強的基礎模型。雖然這使得在基礎模型的基礎上更難改進，但也更容易獲得高分。為了避免擁有不公平的優勢，表3中提供了絕對得分。

我們從表3中看到，使用MapEX的任何類型的現有地圖都會導致比任何其他額外信息來源（包括更復雜的P-MapNet設置）更大的整體mAP增益。我們觀察到該模型在車道分隔器和道路邊界上的檢測性能都有很大的改進。一個輕微的例子是場景1（只能訪問道路邊界），其中模型成功地保留了邊界上的地圖信息，但只在沒有先前信息的兩個地圖元素上提供了與以前方法相當的改進。人行橫道似乎需要從現有地圖中獲得更精確的信息，因為場景1和場景2b（對每個地圖點施加極具破壞性的噪聲）只能提供與現有技術相當的改進。場景2a（元素發生了變化）和場景3a（地圖“過時”）導致人行橫道的檢測得分很高，這可能是因為這兩個場景包含了更精確的人行橫街信息。

消融實驗

MapEX輸入的貢獻

表4顯示了不同類型的輸入（現有地圖、地圖元素對應關系和傳感器輸入）如何影響MapEX。現有地圖大大提高了性能。

關于EX查詢編碼

表5顯示，學習后的EX查詢比我們簡單的不可學習的EX查詢執行得差得多。有趣的是，用不可學習的值初始化可學習的EX查詢可能會帶來非常小的改進，無法證明增加的復雜性是合理的。

On ground truth attribution

由于預先確定地圖元素的屬性對于充分使用現有地圖信息很重要，因此可能很容易對所有相應的地圖元素進行預先確定屬性，而不是像在MapEX中那樣對其進行過濾。表6顯示，當現有地圖元素差異太大時，丟棄對應關系確實會比不加區分的歸因帶來更強的性能。本質上，這表明當現有地圖元素與基本事實相差太大時，MapEX最好使用可學習的查詢，而不是EX查詢。

討論

本文建議利用現有地圖來改進在線HDMap構建。為了研究這一點，作者概述了現有（簡單地圖、帶噪或過時）地圖可用的三種現實場景，并引入了一個新的MapEX框架來利用這些地圖。由于當前框架中沒有考慮現有地圖的機制，我們開發了兩個新模塊：一個將地圖元素編碼到EX查詢中，另一個確保模型利用這些查詢。

實驗結果表明，現有地圖代表了在線HDMap構建的關鍵信息，無論在何種情況下，MapEX都顯著改進了可比較的方法。事實上，就mAP而言——具有隨機移動地圖元素的場景2a——在基本MapTRv2模型的基礎上改進了38%，在當前最先進的基礎上提高了16%。

我們希望這項工作將引導新的在線HDMap構建方法來解釋現有信息。現有的地圖，無論好壞，都可以廣泛使用。忽略它們就是放棄了在搜索可靠的在線HDMap構建時的一個關鍵工具。

原文鏈接：https://mp.weixin.qq.com/s/FMosLZ2VJVRyeCOzKl-GLw