本文經(jīng)自動(dòng)駕駛之心公眾號(hào)授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

在自動(dòng)駕駛領(lǐng)域，高精地圖在定位、規(guī)劃和避碰等方面發(fā)揮著至關(guān)重要的作用，實(shí)現(xiàn)行車安全和高質(zhì)量路線預(yù)測(cè)。然而高精地圖的構(gòu)建都是昂貴、復(fù)雜的，而且專業(yè)性很強(qiáng)，無(wú)論是在硬件組成還是軟件及其所使用的算法方面。

一些研究人員針對(duì)上述幾個(gè)方面提供了幾篇高質(zhì)量的綜述：

(1)機(jī)器學(xué)習(xí)——綜述了機(jī)器學(xué)習(xí)尤其是深度學(xué)習(xí)在自動(dòng)駕駛和高精地圖構(gòu)建方面的進(jìn)展和應(yīng)用，如對(duì)象感知、檢測(cè)、分割和建模;

(2)范圍縮小到特定的輸入源——即LiDAR或圖像; (3)模態(tài)融合。

現(xiàn)有的綜述論文傾向于強(qiáng)調(diào)一般的道路furniture提取方法，而一些現(xiàn)有技術(shù)更側(cè)重于調(diào)查更特殊類型的furniture檢測(cè)和提取方法，例如軌跡標(biāo)志和車道線。

本文的主要?jiǎng)訖C(jī)是提供一個(gè)更集中的關(guān)于高精地圖furniture特定視角的最新進(jìn)展概述。雖然典型的高精地圖專注于道路段的繪制，但地圖furniture提供了關(guān)于道路段上重要對(duì)象的語(yǔ)義和視覺(jué)信息的額外上下文，例如車道線、標(biāo)志、柱子、樹(shù)木、橋梁、高坡等。深入了解高精地圖furniture提供的功能提供了兩方面的好處:

(1)它改進(jìn)了從光譜兩端的地圖furniture檢測(cè)和識(shí)別算法的設(shè)計(jì)——地圖構(gòu)建以及實(shí)時(shí)感知的質(zhì)量。

(2)能夠構(gòu)建更具可解釋性和健壯性的自動(dòng)駕駛系統(tǒng)。

本文的組織結(jié)構(gòu)：

(1)第二節(jié)從高精地圖背景領(lǐng)域的知識(shí)出發(fā)，簡(jiǎn)要介紹了高精地圖制作的歷史、應(yīng)用和要求，以及高精地圖制作的高水平工作。

(2)遵循一般高精地圖構(gòu)建工作的想法，接下來(lái)的部分將專注于數(shù)據(jù)獲取(第3節(jié))，furniture的表示和分類(第4節(jié))，以及furniture構(gòu)建(第5節(jié))。

(3)為了更好地理解高精地圖的實(shí)用性，作者還總結(jié)了可用的數(shù)據(jù)集(第6節(jié))以及評(píng)估指標(biāo)(第7節(jié))。

本文的主要貢獻(xiàn)：

1. 對(duì)高精地圖和高精地圖furniture的背景知識(shí)進(jìn)行了全面的概述，總結(jié)出一個(gè)地圖成為真正的高精地圖所需的三個(gè)關(guān)鍵要求。
2. 總結(jié)了高精地圖道路furniture的端到端生命周期，包括獲取技術(shù)、基礎(chǔ)知識(shí)和提取方法。
3. 提供了對(duì)現(xiàn)有高精地圖數(shù)據(jù)集、潛在數(shù)據(jù)集和合成數(shù)據(jù)集/模擬器的全面研究。
4. 總結(jié)了高精地圖furniture的評(píng)價(jià)指標(biāo)并將其標(biāo)準(zhǔn)化。

2.背景

本節(jié)概述了數(shù)字地圖和高精地圖在導(dǎo)航和AV中的使用歷史，并討論基于傳感器的AV的安全要求和挑戰(zhàn)，以及典型的高精地圖應(yīng)用程序的規(guī)格。

2.1高精地圖(HD map)三大特點(diǎn)

1.精度高，細(xì)節(jié)水平高，準(zhǔn)確度高。“HD”的含義來(lái)源于具有更高分辨率(詳細(xì)級(jí)別)的數(shù)據(jù)類型。在現(xiàn)有技術(shù)中，這個(gè)術(shù)語(yǔ)由于將不同類型的錯(cuò)誤捆綁在一起而受到誤導(dǎo)。然而，“HD”代表了更多的質(zhì)量度量。它應(yīng)該包括以下三個(gè)方面(圖2是詳細(xì)說(shuō)明):

• (1)準(zhǔn)確性，即高精地圖中的道路furniture與現(xiàn)實(shí)世界中的地理位置誤差;
• (2)細(xì)節(jié)水平，即高精地圖和現(xiàn)實(shí)世界中的道路furniture之間的體積誤差;
• (3)精度，在高精地圖和真實(shí)世界的道路furniture之間的形狀誤差。

2.語(yǔ)義以外的豐富信息。與傳統(tǒng)地圖相比，分配給每個(gè)道路furniture的屬性不應(yīng)該被限制在一個(gè)直接的語(yǔ)義標(biāo)簽范圍內(nèi)。為了服務(wù)于自動(dòng)駕駛及其未來(lái)的潛在目的，需要提出創(chuàng)新的屬性。例如，傳統(tǒng)地圖中的限速標(biāo)志通常由語(yǔ)義信息組成，如“限速:60”和“標(biāo)志顏色:白色”。然而，在高速公路場(chǎng)景中，還有一個(gè)額外的上下文。通常，在“限速:60”下有帶有卡車符號(hào)“適用于卡車”的標(biāo)志。這些應(yīng)該有一個(gè)親子關(guān)系的速度限制來(lái)作為一個(gè)補(bǔ)充信息。為了準(zhǔn)確、穩(wěn)健地定位車輛，可以添加過(guò)期和定位置信度來(lái)描述道路furniture組件。

3.最新的(up-to-date)。一般來(lái)說(shuō)，up-to-date指的是軌跡信息(不包括天氣等與道路無(wú)關(guān)的因素)需要是最新的。在這種情況下，可以在道路施工時(shí)更新地圖(主要是幾何和拓?fù)浣Y(jié)構(gòu))。然而，依靠道路furniture進(jìn)行自主定位的自動(dòng)駕駛汽車需要真正的最新高精地圖來(lái)確保駕駛安全。這需要高精地圖提供商檢測(cè)真實(shí)世界道路網(wǎng)絡(luò)的宏觀和微觀變化，并立即更新地圖。

2.2高精地圖構(gòu)建工作流程

作為參考，圖3展示了一個(gè)通用的端到端高精地圖構(gòu)建工作。該工作流程分為3個(gè)主要階段:數(shù)據(jù)采集(藍(lán)色步驟)、數(shù)據(jù)處理(黃色步驟)和地圖更新(綠色步驟)。

3.數(shù)據(jù)采集

3.1傳感器選擇

由LiDAR傳感器和相機(jī)捕獲的LiDAR點(diǎn)云和圖像是高精地圖構(gòu)建工作的兩個(gè)主要來(lái)源。

LiDAR和相機(jī)在高精地圖構(gòu)建中的不同方面的比較見(jiàn)表1。

3.2高精地圖中LiDAR和相機(jī)的爭(zhēng)論

LiDAR在處理隨機(jī)形狀的furniture方面問(wèn)題較嚴(yán)重；反過(guò)來(lái)，相機(jī)在混亂的背景下處理物體相對(duì)困難。

如圖4所示，相機(jī)和LiDAR對(duì)路段的可視化比較。

3.3傳感器數(shù)據(jù)采集與傳感器融合面臨的挑戰(zhàn)

上述不同類型的傳感器在處理道路furniture、外部環(huán)境和系統(tǒng)設(shè)置的各種組合時(shí)具有獨(dú)特的和普遍的優(yōu)點(diǎn)和缺點(diǎn)。將信息從采集到?jīng)Q策(即輸入數(shù)據(jù)、中間數(shù)據(jù)和最終輸出)進(jìn)行融合，在一定意義上可以緩解各類傳感器(和算法)的弱點(diǎn)，提高整體性能。

多傳感器數(shù)據(jù)融合(MSDF) 的結(jié)構(gòu)分為三個(gè)層次(圖5):

• (1)高級(jí)融合(HLF)，融合發(fā)生在每個(gè)獨(dú)立的識(shí)別/感知/決策管道的末端;
• (2)低水平融合(Low-level fusion, LLF)，在原始數(shù)據(jù)等獲取的早期階段，融合傾向于被融合;
• (3)中級(jí)融合(MLF)，是LLF和HLF之間的抽象層。

隨著深度神經(jīng)網(wǎng)絡(luò)的快速發(fā)展，抽象層不再局限于樸素直觀的特征，也可以由隱藏層組成。LLF與本節(jié)討論的問(wèn)題直接相關(guān)，而MLT和HLF將在第5節(jié)中討論。

4.高精地圖中的道路furniture

通常情況下，高精地圖包含至少關(guān)于車道線、道路邊界/路肩、護(hù)欄、標(biāo)志、桿狀物體和表面(如高程模型和建筑立面)的信息。如第1節(jié)所述，每個(gè)對(duì)象的規(guī)范由高精度的地理位置、幾何信息和其他附加的語(yǔ)義信息構(gòu)成。本節(jié)將它們分為三類(1D車道線、2D表面和3D對(duì)象)，并重點(diǎn)詳細(xì)討論其功能、幾何信息、表示和每個(gè)類的特征。一些現(xiàn)有技術(shù)將車道線和地形與道路furniture分開(kāi)，因?yàn)樵谀承┒x中，道路furniture被定義為沿著道路固定的對(duì)象。在本文中作者使用道路furniture來(lái)表示構(gòu)成給定道路網(wǎng)絡(luò)的全部功能的對(duì)象，相當(dāng)于道路組件和道路對(duì)象。相比之下，非道路furniture是指那些參與捕獲任何與導(dǎo)航相關(guān)的公共實(shí)體，但不攜帶任何關(guān)于道路網(wǎng)絡(luò)作為空間實(shí)體/表面功能的數(shù)據(jù)的對(duì)象。圖6提供了一個(gè)包括車道線和其他3D非道路對(duì)象的可視化示例。

4.1 1D車道線

繪制的線和虛擬的車道/道路邊界(與物理邊界如護(hù)欄和路肩分開(kāi))在車道模型中提供，可以提供基本指導(dǎo)，指定車輛在駕駛時(shí)應(yīng)該在哪里行駛。車道線幾何是由點(diǎn)(通常用樣條表示)組成的，附加著其他描述性標(biāo)簽，如車道類型(如實(shí)線、虛線等)、ID、顏色和寬度。與3D對(duì)象相比，這種furniture的數(shù)據(jù)尺寸非常小。例如，在高精地圖數(shù)據(jù)集的報(bào)告中，每米每條車道的(幾何控制)點(diǎn)數(shù)量通常少于10個(gè)，根據(jù)道路曲率和實(shí)際的多項(xiàng)式插值方法有一些可變性。通常情況下，一個(gè)人只需要三個(gè)控制點(diǎn)來(lái)描述短距離的直線/曲線。

車道線是世界上最廣泛和最常用的道路furniture，理論上，每個(gè)車道必須由車道線組成。與此相補(bǔ)充的是，基于圖像和基于LiDAR的車道線(實(shí)時(shí))檢測(cè)方法已經(jīng)得到了很好的研究，它們的許多特性已經(jīng)被利用例如，與路面相比，顏色對(duì)比度高，形狀和幾何形狀不變。所有這些使得車道線成為第一個(gè)HD-ready furniture，廣泛應(yīng)用于低級(jí)別自動(dòng)駕駛系統(tǒng)，如ADAS。

然而，當(dāng)涉及到車道線在現(xiàn)實(shí)場(chǎng)景中的應(yīng)用時(shí)，車道線仍然存在一定的局限性。首先，油漆總是隨著時(shí)間的推移而磨損，這是由于嚴(yán)重的腐蝕和侵蝕。根據(jù)的交通研究，車道標(biāo)線（和其他油漆標(biāo)志）由于道路和惡劣天氣的影響而磨損，由于使用的材料不同，導(dǎo)致有效使用壽命在1至5年之間。此外，道路維修服務(wù)不能立即重新粉刷車道線。此外，車道標(biāo)志對(duì)天氣較為敏感。由于低相關(guān)性，它們可能在下雨時(shí)從LiDAR傳感器上隱形。雪也可以覆蓋車道線和水平面上的其他特征。這些限制將導(dǎo)致高精地圖和實(shí)時(shí)感知的嚴(yán)重模糊。從互補(bǔ)的角度來(lái)看，在車輛自定位中，另一個(gè)關(guān)鍵的局限性是它們主要用于橫向定位車輛，因?yàn)槟Ｊ绞茄刂缆贩较?縱向)重復(fù)的。

4.2 3D對(duì)象

在高精地圖中，3D對(duì)象通常以3D占用網(wǎng)格的局部笛卡爾坐標(biāo)表示，即使它們最初是作為離散點(diǎn)(由LiDAR)捕獲的。與其他3D對(duì)象表示(如向量和離散點(diǎn))相比，這種表示在數(shù)據(jù)大小、相對(duì)簡(jiǎn)單的管理、基于層次的分辨率和潛在的兼容性方面具有緊湊性的優(yōu)勢(shì)，并與機(jī)器人、可視化和深度學(xué)習(xí)中使用的許多現(xiàn)有算法兼容和自定位。但也存在一定的缺點(diǎn)，包括混疊問(wèn)題、較低的可重用性和較低的可擴(kuò)展性，這主要是因?yàn)樵趯?duì)原始點(diǎn)進(jìn)行光柵化時(shí)，體素的方向和分辨率是混合的。

與此同時(shí)，與車道線相似，高精地圖中的對(duì)象不僅僅是占用網(wǎng)格的集群(盡管目前許多實(shí)現(xiàn)依賴占用網(wǎng)格來(lái)定位車輛位置)。也就是說(shuō)，它還需要一組(附加的)屬性，如對(duì)象類型、顏色、文本信息和功能。

在應(yīng)用層，與車道線相比，大多數(shù)3D對(duì)象都是耐久的，它們?cè)谧约旱奈恢猛Ａ舻臅r(shí)間相對(duì)較長(zhǎng)，攜帶原始信息(一旦地圖構(gòu)建)。例如，桿子的壽命從30年到60年不等，在高速公路和城市環(huán)境以及桿子的類型之間存在差異。除非道路建設(shè)或事故發(fā)生，否則有形的路肩和護(hù)欄幾乎是不朽的。此外，垂直放置的furniture，如桿子，是堅(jiān)固的遮擋和惡劣的天氣。所有這些特性使得3D物體成為高精地圖中相關(guān)應(yīng)用的完美組件，特別是自定位、ADAS和避碰。

4.3 2D曲面

高精地圖中的2D表面主要是指路面(可以認(rèn)為是數(shù)字地形模型(DTM)的一部分)和建筑立面。這些furniture對(duì)象在應(yīng)用和表示上有很大的差異，盡管直觀上它們被認(rèn)為是平面對(duì)象。

4.3.1地形

數(shù)字地形模型(Digital Terrain Model, DTM)最初是在地理/地球科學(xué)中提出的，并被廣泛應(yīng)用于水文地質(zhì)分析/建模，如流域模型)、災(zāi)害監(jiān)測(cè)(如血液模型)和農(nóng)業(yè)管理。通常用三維網(wǎng)格和二維笛卡爾網(wǎng)格表示，每個(gè)網(wǎng)格表示高程信息。

在自動(dòng)駕駛和高精地圖領(lǐng)域，首先將高精度和分辨率的地形模型應(yīng)用于車輛的自定位。由于在對(duì)車輛進(jìn)行橫向和縱向定位時(shí)缺乏區(qū)分定位對(duì)象的能力，與人行道道路上的其他道路furniture對(duì)象(如桿狀物體)相比，該方法沒(méi)有受到任何歡迎。現(xiàn)在，一些與地形相關(guān)的特征被保存在數(shù)據(jù)庫(kù)中，并用于提高駕駛質(zhì)量和乘坐舒適性。例如，道路傾斜角度用于警告前方的車輛轉(zhuǎn)彎或轉(zhuǎn)彎，以便車輛調(diào)整懸掛以抵消車身側(cè)傾，提高車輛穩(wěn)定性。同樣，其照明系統(tǒng)的角度可以照亮盲區(qū)/暗區(qū)，提高安全性。對(duì)于農(nóng)村環(huán)境下的無(wú)人機(jī)，高分辨率DTM在定位和環(huán)境感知方面仍有一定的應(yīng)用價(jià)值。

4.3.2立面/表面

立面仍然被認(rèn)為是高精地圖furniture的一個(gè)小類別。將這些furniture(以及3D建筑模型)納入高精地圖數(shù)據(jù)庫(kù)的動(dòng)機(jī)是由可視化聚焦應(yīng)用程序驅(qū)動(dòng)的。車輛自定位的主要前提是首先需要在可容忍的誤差范圍內(nèi)對(duì)車輛進(jìn)行GNSS定位，然后通過(guò)local search自定位對(duì)車輛進(jìn)行精確定位。不幸的是，由于摩天大樓和其他結(jié)構(gòu)的多徑干擾和阻礙，城市環(huán)境中的全球?qū)Ш较到y(tǒng)存在不精確性，這使得車輛位置的初始估計(jì)漂移到了無(wú)法容忍的誤差。因此，建筑物，特別是其2D表面/立面，被引入特定城市環(huán)境中的車輛自我定位。

這些技術(shù)通常是基于圖像的。數(shù)據(jù)庫(kù)中存儲(chǔ)了高分辨率的建筑立面圖像。一個(gè)典型的工作流程是一個(gè)實(shí)時(shí)圖像捕獲，然后是門(mén)面分割和匹配，以及位姿估計(jì)。局限性是定位性能高度依賴于更新的建筑立面圖像、高質(zhì)量的(實(shí)時(shí)捕獲和數(shù)據(jù)庫(kù))圖像，以及每幀的姿態(tài)估計(jì)算法極其昂貴。

4.3.2立面/表面

不同的研究人員根據(jù)道路furniture的目標(biāo)和功能定義了各種各樣的分類(其中一些包括可移動(dòng)物體)，沒(méi)有統(tǒng)一的標(biāo)準(zhǔn)。由于道路furniture的出發(fā)點(diǎn)是地圖，其目標(biāo)主要是為定位算法服務(wù)，因此根據(jù)其三維、二維和一維的維度表示對(duì)其進(jìn)行了分類。考慮到在駕駛場(chǎng)景中可以觀察到的furniture有超過(guò)150個(gè)不可分割的型，單層分類法顯然是不夠的。現(xiàn)有技術(shù)在提供數(shù)據(jù)方面比特定任務(wù)的要求具有更高的優(yōu)先級(jí)[34,39,48,74,235,235]，堅(jiān)持使用這種簡(jiǎn)單的分類法。來(lái)源于對(duì)象識(shí)別的研究?jī)A向于使用兩層分類法，該分類法基于對(duì)象的語(yǔ)義意義形成類別，如天空、人、車輛、建筑等。互補(bǔ)的、混合的分類法也被使用，但是它們最初的目的不能固定地放在面向數(shù)據(jù)或面向任務(wù)的分類法中。

圖7中說(shuō)明了三個(gè)分類法。

5.HD furniture的制作

本節(jié)概述了在高精地圖構(gòu)建中使用的分割技術(shù)，包括標(biāo)簽制作過(guò)程以及學(xué)習(xí)過(guò)程。

5.1道路furniture標(biāo)簽

在2D中，以像素級(jí)別標(biāo)記對(duì)象的形狀/輪廓（也將確定位置/底部點(diǎn)）是昂貴且耗時(shí)的，而在3D中更加昂貴。例如，在2012年的物目標(biāo)檢測(cè)數(shù)據(jù)集中，著名的Kitti數(shù)據(jù)集大約有15k個(gè)帶有邊界框的標(biāo)記圖像，而在2015年的立體和流動(dòng)基準(zhǔn)測(cè)試中，僅包含了400個(gè)語(yǔ)義像素級(jí)別注釋的圖像。至于3D標(biāo)記，該團(tuán)隊(duì)在2017年發(fā)布了與原始2D邊界框標(biāo)簽匹配的3D邊界框標(biāo)簽，目前還沒(méi)有提供3D像素/體素級(jí)別的標(biāo)簽。

在傳統(tǒng)的標(biāo)記工具和流程中，由于可能涉及手動(dòng)微調(diào)，像素級(jí)別的標(biāo)記在2D空間中比邊界框標(biāo)記更昂貴。在3D像素級(jí)別的標(biāo)記中，難度進(jìn)一步增加：不僅需要在更高的維度進(jìn)行工作，而且還受到主要交互furniture（顯示器）僅能處理2D交互的限制。

為了加快像素級(jí)別的標(biāo)記過(guò)程，使用了由標(biāo)記/微調(diào)和學(xué)習(xí)環(huán)路組成的流程，通常稱為迭代式終端用戶交互概念學(xué)習(xí)。近年來(lái)，更常用的術(shù)語(yǔ)是human -in- loop。這個(gè)過(guò)程本質(zhì)上將構(gòu)建完美標(biāo)簽的成本轉(zhuǎn)變?yōu)闃?gòu)建普通質(zhì)量標(biāo)簽并細(xì)化標(biāo)簽的序列，并在規(guī)模化方面顯示出最大的優(yōu)勢(shì)。

整個(gè)工作流程如圖8所示，human -in- loop流程被標(biāo)記成橙色。

5.2道路furniture提取

作者概述了如何通過(guò)使用不同的學(xué)習(xí)方法，從圖像和/或LiDAR點(diǎn)云(或兩者)提取每一個(gè)代表性的道路furniture。由于在學(xué)習(xí)分類和命名上沒(méi)有普遍的共識(shí)，在本節(jié)中，我們使用經(jīng)典機(jī)器學(xué)習(xí)(CML)來(lái)引用學(xué)習(xí)框架，該框架涉及人類特征工程來(lái)構(gòu)建descriptors，在該框架中，不使用深度學(xué)習(xí)來(lái)完成訓(xùn)練。相比之下，神經(jīng)網(wǎng)絡(luò)基于學(xué)習(xí)(Neural Network Based Learning, NNL)指的是基于深度學(xué)習(xí)的方法。注意下面提到的一些方法可以結(jié)合高精地圖構(gòu)建和實(shí)時(shí)感知使用。

5.2.1車道線標(biāo)記

如第4節(jié)和第3節(jié)所述，車道標(biāo)線不僅是駕駛場(chǎng)景中最常見(jiàn)的元素，而且在相機(jī)和LiDAR傳感器中都易于檢測(cè)。受到這些特征的啟發(fā)，基于CML的方法側(cè)重于從背景中提取顏色、幾何和LiDAR強(qiáng)度特征。

雖然大多數(shù)先前的研究使用地面圖像和LiDAR作為輸入數(shù)據(jù)源，但一些研究人員嘗試通過(guò)使用對(duì)齊良好、高分辨率的圖像（例如航空、無(wú)人機(jī)等）來(lái)解決定位和導(dǎo)航相關(guān)性的問(wèn)題，因?yàn)檫@些圖像具有綜合覆蓋性、低成本和易于更新。現(xiàn)在，圖像的分辨率可以達(dá)到每像素0.5米或更低，這使我們能夠利用更詳細(xì)的圖像來(lái)建模車道級(jí)特征的經(jīng)典方法。

由于與車道標(biāo)線檢測(cè)相關(guān)的出版物數(shù)量龐大，表2中提供了車道標(biāo)線調(diào)研論文的類似總覽。Learning Focus列對(duì)調(diào)研論文關(guān)注的學(xué)習(xí)框架進(jìn)行了標(biāo)記（即CML或NNL）。如果調(diào)研論文沒(méi)有提供對(duì)所涵蓋論文的詳細(xì)評(píng)估或比較，Evaluation Metric(s)欄中的值將標(biāo)記為“Not provided”（參見(jiàn)第7節(jié)）。最后一列Input Focus顯示了調(diào)查論文的（大部分）輸入數(shù)據(jù)源。

5.2.2桿狀物體

與車道標(biāo)線不同，桿狀物體很難在透視圖像（從遠(yuǎn)處）中觀察到，幾乎不可能在航拍圖像中觀察到（由于它們微小的垂直投影），但在地面點(diǎn)云中非常可見(jiàn)。此外，桿狀物體的檢測(cè)/分割通常被視為點(diǎn)云中物體檢測(cè)調(diào)研的一小部分。這反過(guò)來(lái)意味著盡管為更廣泛的對(duì)象構(gòu)建了神經(jīng)網(wǎng)絡(luò)，但沒(méi)有為這種特定furniture構(gòu)建神經(jīng)網(wǎng)絡(luò)。表3中列出了每個(gè)機(jī)器學(xué)習(xí)領(lǐng)域的幾篇代表性論文。

5.2.3標(biāo)志牌

標(biāo)志牌這是ADAS和自我定位中使用的另一種值得關(guān)注的furniture類型。與車道標(biāo)線類似，標(biāo)志牌檢測(cè)技術(shù)在過(guò)去幾十年中得到了廣泛研究。已經(jīng)提出了許多基于CML的解決方案，并且這些工作已經(jīng)在幾份調(diào)研報(bào)告中進(jìn)行了總結(jié)。

5.3挑戰(zhàn)和可能的解決方案

在構(gòu)建和管理高精度地圖furniture時(shí)，存在一些待解決的挑戰(zhàn)，以提高其使用的效率和效果。一個(gè)特定的問(wèn)題涉及存儲(chǔ)技術(shù)管理，這與在生成過(guò)程中的LiDAR點(diǎn)云的轉(zhuǎn)換問(wèn)題相輔相成。具體來(lái)說(shuō)，從將數(shù)據(jù)下載到多個(gè)用戶的角度，應(yīng)如何分配不同的上下文，特別是要考慮到移動(dòng)性方面的因素（例如，隨時(shí)間變化的密度、高效路由、安全性）和車輛數(shù)據(jù)消耗的成本。另一個(gè)相關(guān)的問(wèn)題是如何在高精度地圖furniture中平衡不同的上下文。在城市環(huán)境中，車道標(biāo)線和標(biāo)志牌由于頻繁的定位和控制/導(dǎo)航耦合，可能具有相同的重要性，但在高速公路環(huán)境中，假設(shè)已知目的地，某些出口的標(biāo)志數(shù)據(jù)以及其他furniture（例如附近的建筑物）可能對(duì)特定的自動(dòng)駕駛車輛而言并不重要。

6.數(shù)據(jù)集

本節(jié)重點(diǎn)介紹高精地圖的數(shù)據(jù)集，這些數(shù)據(jù)集由附加在道路分段上的furniture組成。高精地圖furniture相關(guān)數(shù)據(jù)集可以在其他文獻(xiàn)綜述中找到，更傾向于檢測(cè)/識(shí)別類型的問(wèn)題。眾所周知，高精地圖制作非常昂貴。正如前面所提到的，流程中的每個(gè)步驟(數(shù)據(jù)獲取、數(shù)據(jù)對(duì)齊、furniture提取和質(zhì)量保證)都涉及大量的勞動(dòng)力和硬件成本。這導(dǎo)致了可用的高精地圖數(shù)據(jù)集的數(shù)量有限，特別是覆蓋大面積道路網(wǎng)絡(luò)、跨區(qū)域和道路furniture豐富的數(shù)據(jù)集。

6.1高精地圖數(shù)據(jù)集

6.2其它潛在數(shù)據(jù)集

有幾個(gè)數(shù)據(jù)集接近高精度地圖數(shù)據(jù)集，但它們?nèi)匀惶峁┳銐虻膬?nèi)容來(lái)研究與自動(dòng)駕駛場(chǎng)景相關(guān)的屬性。這些數(shù)據(jù)集是為不同的目標(biāo)目的（如對(duì)象識(shí)別和感知）創(chuàng)建的，注重將數(shù)據(jù)和標(biāo)簽呈現(xiàn)在獨(dú)立的幀或局部容器中，沒(méi)有適當(dāng)?shù)目臻g連續(xù)性/連接性。一些代表性的作品是KITTI數(shù)據(jù)集，nuScenes數(shù)據(jù)集，The Oxford RobotCar數(shù)據(jù)集和KAIST數(shù)據(jù)集.

6.3合成數(shù)據(jù)集

合成數(shù)據(jù)集在整個(gè)高精地圖創(chuàng)建管道的成本方面具有顯著的優(yōu)勢(shì)，并且可以很容易地通過(guò)生成更多的道路furniture來(lái)擴(kuò)大規(guī)模。研究人員通常使用高保真模擬器來(lái)生成合成數(shù)據(jù)集，例如Synthia (Unity 3D powered), CARLA (Unreal Engine 4 powered), NVIDIA DRIVE Sim (powered by Omiverse), 以及DeepGTAV10 (Rockstar Advanced Game Engine powered)。

在這些高逼真的模擬器中，道路furniture和其他角色(如車輛和行人)都有自己的3D模型。虛擬城市是由一個(gè)預(yù)定的拓?fù)?道路網(wǎng)絡(luò)構(gòu)建而成，對(duì)象/物品的放置是基于現(xiàn)實(shí)世界的學(xué)習(xí)方法，或主觀認(rèn)知。一旦創(chuàng)建了所有的對(duì)象，就可以分配合成自動(dòng)駕駛汽車進(jìn)行動(dòng)態(tài)駕駛，并收集各種類別的數(shù)據(jù)(添加人工噪音)，以模擬真實(shí)世界的采集。盡管具有低成本和可伸縮性，顧名思義，合成數(shù)據(jù)集中呈現(xiàn)的世界通常不夠逼真，與真實(shí)場(chǎng)景有明顯的差距。因此，它們不能作為真實(shí)世界數(shù)據(jù)的替代品。

6.4挑戰(zhàn)和可能的解決方案

有許多貢獻(xiàn)者已經(jīng)進(jìn)行了大量工作來(lái)創(chuàng)建高精度地圖數(shù)據(jù)集，然而，仍然存在兩種基本類型的挑戰(zhàn)影響著最新技術(shù)的發(fā)展。

第一個(gè)重大挑戰(zhàn)是缺乏數(shù)據(jù)格式的標(biāo)準(zhǔn)化。不同的數(shù)據(jù)集使用不同的容器來(lái)呈現(xiàn)其原始數(shù)據(jù)，并使用不同的模式來(lái)組織furniture的標(biāo)簽（尤其是3D數(shù)據(jù)和標(biāo)簽）。這使得理解和加載數(shù)據(jù)都很昂貴，即使有提供解析器。幸運(yùn)的是，它們都使用層次化標(biāo)記語(yǔ)言來(lái)存儲(chǔ)數(shù)據(jù)（如XML、JSON和protobuf），這至少使得數(shù)據(jù)在語(yǔ)義上可讀。

第二個(gè)挑戰(zhàn)是缺乏質(zhì)量控制。如前所述，構(gòu)建高精度地圖數(shù)據(jù)集在所有步驟上都非常昂貴，不僅包括數(shù)據(jù)獲取和標(biāo)注步驟，還包括質(zhì)量控制階段。一些數(shù)據(jù)集存在幀與幀、數(shù)據(jù)與標(biāo)簽以及點(diǎn)與圖像不對(duì)齊等問(wèn)題。此外，全局不對(duì)齊，即數(shù)據(jù)集本身與其他與之對(duì)齊的GIS相關(guān)數(shù)據(jù)集（如OSM道路網(wǎng)絡(luò)、USGS圖像/LiDAR和Bing圖像）之間的不對(duì)齊，限制了多個(gè)現(xiàn)有數(shù)據(jù)集的可擴(kuò)展性。

解決第一個(gè)挑戰(zhàn)的一種可能性是使用一種（通用和公共的）對(duì)象關(guān)系映射協(xié)議來(lái)組織地圖furniture。這個(gè)協(xié)議應(yīng)該用戶友好（例如，JSON或類似GeoJSON的格式），并能夠處理復(fù)雜的高精度地圖furniture幾何和相關(guān)信息。一個(gè)潛在的解決方案是HERE提出的Map Object Model（MOM，一種格式化的GeoJSON）。此外，還可以從整合異構(gòu)空間和環(huán)境數(shù)據(jù)的現(xiàn)有方法中獲益。當(dāng)涉及到第二個(gè)挑戰(zhàn)時(shí)，清楚地，一種方法是促進(jìn)行業(yè)和學(xué)術(shù)界之間的合作，以便在感興趣的相同地區(qū)創(chuàng)建高質(zhì)量的高精度地圖，并建立高效的地圖（內(nèi)容）錯(cuò)誤修正/更新機(jī)制。

7.質(zhì)量評(píng)估

如圖9所示，一個(gè)道路furniture可以被分配許多屬性。對(duì)于每個(gè)furniture甚至每個(gè)屬性，總是有幾個(gè)評(píng)估指標(biāo)來(lái)表示數(shù)據(jù)質(zhì)量。如路標(biāo)的分類和文字精度、車道標(biāo)記的顏色和線形精度、桿的桿形精度等。不同furniture最重要和通用的屬性是每個(gè)物體的幾何形狀accuracy和位置accuracy。本節(jié)首先介紹了幾何和位置的評(píng)價(jià)指標(biāo)，然后以高精地圖整體質(zhì)量的討論結(jié)束。

7.1 Furniture位置

7.1.1 全局極坐標(biāo)與平面坐標(biāo)

全局極坐標(biāo)與平面坐標(biāo)。furniture對(duì)象的正確位置保證了良好的自定位和路線規(guī)劃性能。在深入研究評(píng)估指標(biāo)之前，一個(gè)經(jīng)常被實(shí)踐人員忽略的重要前提是，地球上的距離和笛卡爾距離之間的差異是極小的，與HD需求相比可以忽略不計(jì)。

文章這里主要討論了在GPS中使用的世界大地坐標(biāo)系統(tǒng)12（WGS84）中的地理點(diǎn)表示方法以及計(jì)算距離時(shí)可能出現(xiàn)的誤差和解決方法。在WGS84中，一個(gè)地理點(diǎn)由緯度、經(jīng)度和海拔高度組成，在計(jì)算距離時(shí)不能像在笛卡爾坐標(biāo)系中那樣簡(jiǎn)單地使用歐幾里得距離，因?yàn)楹０胃叨鹊挠绊憶](méi)有考慮進(jìn)去。然而，在對(duì)小范圍進(jìn)行測(cè)量時(shí)，角差別非常小，因此可以使用笛卡爾近似方法簡(jiǎn)化計(jì)算。具體做法是先將地理點(diǎn)轉(zhuǎn)換為本地笛卡爾坐標(biāo)系統(tǒng)，然后應(yīng)用傳統(tǒng)的歐幾里得距離計(jì)算方法。這種轉(zhuǎn)換過(guò)程被稱為投影，已經(jīng)有很多方法被開(kāi)發(fā)出來(lái)，如國(guó)家大小的通用橫軸墨卡托投影（UTM）和可劃分的必應(yīng)地圖瓦片系統(tǒng)等。然而，當(dāng)應(yīng)用于較大的表面區(qū)域時(shí)，這些投影都會(huì)產(chǎn)生一定的誤差和形狀畸變。在文中還提到了一種基于Vincenty公式的經(jīng)典GS計(jì)算算法，該算法通過(guò)迭代計(jì)算高階函數(shù)的中間結(jié)果來(lái)計(jì)算GS距離。最后，文中還以圖表形式展示了將基于GS的模型轉(zhuǎn)換為笛卡爾模型可能導(dǎo)致的畸變情況。

關(guān)于圖10中的示例，我們可以注意到傳統(tǒng)應(yīng)用程序（如路由/規(guī)劃）對(duì)高精度定位并不要求。也就是說(shuō)，這些應(yīng)用程序?qū)烙?jì)/計(jì)算錯(cuò)誤具有更高的容忍度。如前所述，使用參考網(wǎng)格的平面坐標(biāo)系統(tǒng)在緯度、經(jīng)度和海拔方向上都存在固有的畸變。假設(shè)一個(gè)由四個(gè)極坐標(biāo)點(diǎn)（A、B、C、D）確定的平面方塊參考網(wǎng)格，其中A坐標(biāo)為(緯度A, 經(jīng)度A)，B坐標(biāo)為(緯度B, 經(jīng)度B)，C坐標(biāo)為(緯度C, 經(jīng)度C)，D坐標(biāo)為(緯度D, 經(jīng)度D)，海拔高度分別為h~A~、h~B~、h~C~、h~D~。設(shè)點(diǎn)P(緯度p, 經(jīng)度p)和點(diǎn)Q(緯度q, 經(jīng)度q)分別表示GS距離和平面（歐幾里得）距離，則參考網(wǎng)格的畸變可以用以下公式表示：
畸變（緯度方向）= （GS距離（P, Q） - 平面距離（P, Q））/ 平面距離（緯度p，經(jīng)度q），
畸變（經(jīng)度方向）= （GS距離（P, Q） - 平面距離（P, Q））/ 平面距離（緯度q，經(jīng)度p），
畸變（海拔方向）= 平面距離（緯度p，經(jīng)度p） / 平面距離（緯度q，經(jīng)度q），
其中緯度p和經(jīng)度p為給定的緯度和經(jīng)度。
這些畸變可見(jiàn)于圖10(a)中。圖10(b)、(c)和(d)分別展示了在特定緯度和經(jīng)度以及給定網(wǎng)格大小下的畸變情況。

根據(jù)計(jì)算結(jié)果，在較小的區(qū)域使用平面參考坐標(biāo)時(shí)，即使與最嚴(yán)格的高精地圖要求進(jìn)行比較，失真也是可以接受的。高層次的Bing Maps Tile System，以及其他類似的網(wǎng)格坐標(biāo)(例如，Local Tangent Plane(LTP)坐標(biāo)((North-East-Down (NED)等)被認(rèn)為是合格的投影。

因此，檢測(cè)到的點(diǎn)與真實(shí)地面點(diǎn)之間的誤差可以定義為e=d (A,A ′) ≈d~p~ (A,A ′)，其中有兩個(gè)分量e = (e.east , e. north)。圖11（a）展示了在LTP坐標(biāo)系下點(diǎn)A~1~、點(diǎn)A~2~和點(diǎn)A~4~的 e~1~, e~2~和 e~4~分量。

7.1.2 道路坐標(biāo)

RC坐標(biāo)系（Road Coordinates）是將點(diǎn)轉(zhuǎn)換的另一種方法，它在高精地圖領(lǐng)域中很少被使用，因?yàn)槲矬w沒(méi)有全局視圖，這使得全局優(yōu)化和對(duì)齊變得更加困難。多個(gè)相鄰的道路連接需要分別存儲(chǔ)物體，這會(huì)導(dǎo)致數(shù)據(jù)冗余。在車輛動(dòng)力學(xué)控制中，RC最初是用來(lái)從車輛的視角評(píng)估車輛運(yùn)動(dòng)的方法。更近期的研究開(kāi)始使用縱向和橫向誤差來(lái)描述定位性能，以及車輛行駛方向的垂直方向。如今，RC在自動(dòng)駕駛中更常用，特別是用于車道保持和性能評(píng)估，并為制造商提供實(shí)時(shí)的觀察/感知數(shù)據(jù)記錄。

例如，在圖11（b）中，給定道路（以折線表示和LTP表示）L= l~1~,l~2~,... ，點(diǎn)A~2~被分配到最近的線段（l~k~ ，l~k+1~）上的點(diǎn) 。然后，將點(diǎn)A~2~的道路方向或縱向方向定義為向量（ l~k~，l~k+1~），橫向方向定義為（l~k+1~，?l~k~）。需要注意的是，LTP和RC都是笛卡爾坐標(biāo)系，|e|保持不變，但分量變?yōu)閑=e.r~lat~+e.r~long~。

這種方法最大的缺點(diǎn)是一個(gè)物體可能有多個(gè)與參考鏈接最近的點(diǎn)（例如，鏈接具有陡峭的曲線），這可能會(huì)顯著影響誤差。

7.2 Furniture幾何形狀

大多數(shù)檢測(cè)算法和ground truth標(biāo)簽的輸出以光柵數(shù)據(jù)的形式給出，范圍從較大的邊界框到較小的體素。在這種情況下，交叉聯(lián)盟(IoU)以及它的變體，如多類別IoU (mIoU)是最流行的和這些任務(wù)中直接使用的評(píng)估指標(biāo)。IoU表示檢測(cè)結(jié)果與ground truth的重疊率，引入閾值Thr，如圖13中藍(lán)色矩形所示)，可轉(zhuǎn)換為二進(jìn)制分類問(wèn)題。其他指標(biāo)包括真陽(yáng)性(TP)、真陰性(TN)、假陽(yáng)性(FP)、假陰性(FN)、F1、Accuracy和ROC。注意，在這種情況下，TN總是0。顯然，除RoC外，其他高級(jí)指標(biāo)對(duì)閾值很敏感，而閾值可能因不同目標(biāo)而異。例如Kitti將簡(jiǎn)單、中等和硬限分別定義為15%、30%和50% (3D汽車為70%)。

然而，IoU及其變體有幾個(gè)缺點(diǎn)。在三維網(wǎng)格表示的基礎(chǔ)上，IoU不受不對(duì)齊、比例和旋轉(zhuǎn)/視角的影響，不適合跨不同數(shù)據(jù)源、幀和坐標(biāo)評(píng)估結(jié)果。圖12展示了不對(duì)齊((b)到(a))和比例((c)到(a))如何影響IoU分?jǐn)?shù)。因此，研究人員將結(jié)果提取到一個(gè)模型，例如，一個(gè)線段，而不是一個(gè)像素/體素集合或一個(gè)掩碼，然后在地面真實(shí)模型上進(jìn)一步評(píng)估。

7.3 綜合評(píng)價(jià)

一幅高精地圖由一系列道路furniture組成，整體質(zhì)量不能簡(jiǎn)單地概括為一個(gè)簡(jiǎn)單的聲明——地圖有多準(zhǔn)確。本文提出了三個(gè)相似的標(biāo)準(zhǔn)，即絕對(duì)位置誤差、相對(duì)位置誤差和存在性(precision and recall)，并增加了另一個(gè)維度來(lái)描述furniture分類精度的準(zhǔn)確性。

在最簡(jiǎn)單的場(chǎng)景中（所有對(duì)象都屬于一個(gè)類別），換句話說(shuō)，只有一個(gè)觀測(cè)結(jié)果可以與一個(gè)基本事實(shí)相匹配。不同公司對(duì)HD的需求不同，例如Atlatec[54]使用4cm度量。在現(xiàn)實(shí)中，檢測(cè)結(jié)果的不確定性是不可避免的，這使得匹配的過(guò)程相當(dāng)復(fù)雜。一旦確定了TN、TP和FN集，就可以計(jì)算精度和召回率等其他標(biāo)準(zhǔn)。

以及絕對(duì)誤差和偏移。

關(guān)于方程5，如果地圖完全與地面真相偏移/不對(duì)齊，e~shift~= 0。此外，errors e和e~shift~可以被分解成north-component和east-component，即e=(e.north，e.east),e~shift~=(e~shift~.north, e~shift~.east)用于詳細(xì)的質(zhì)量分析，例如:

盡管準(zhǔn)確性和召回率很受歡迎，但也可以使用其他衡量標(biāo)準(zhǔn)。除了在F1中結(jié)合精度和召回率，可能還需要探索不同類型的度量。

8.結(jié)束語(yǔ)

本文介紹和系統(tǒng)地總結(jié)了與高精地圖相關(guān)的數(shù)據(jù)方面的問(wèn)題，特別是在高精地圖furniture方面:(1)高精地圖和高精地圖furniture背景知識(shí);(2)獲取技術(shù)、基本方法和提取方法。進(jìn)行了一個(gè)全面的概述:(1)現(xiàn)有的高精地圖數(shù)據(jù)集;(2)潛在數(shù)據(jù)集;(3)合成數(shù)據(jù)集和模擬器。此外，總結(jié)并提供了一個(gè)分類的高精地圖furniture評(píng)價(jià)指標(biāo)。討論了當(dāng)前的挑戰(zhàn)和解決這些挑戰(zhàn)的潛在途徑。