本文經(jīng)自動(dòng)駕駛之心公眾號(hào)授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

大家好，感謝自動(dòng)駕駛之心的邀請(qǐng)，很榮幸能夠在這里分享我們的工作。

在線3D多目標(biāo)跟蹤（MOT）技術(shù)在先進(jìn)駕駛輔助系統(tǒng)（ADAS）和自動(dòng)駕駛（AD）中具有重要的應(yīng)用價(jià)值。近年來，隨著業(yè)界對(duì)于高性能三維感知的需求持續(xù)增長，在線3D MOT算法得到了日益廣泛的研究和關(guān)注。對(duì)于4D毫米波雷達(dá)（又稱4D成像雷達(dá)）或激光雷達(dá)點(diǎn)云數(shù)據(jù)，目前應(yīng)用在ADAS和AD領(lǐng)域的在線3D MOT算法大多采用基于檢測后跟蹤策略的點(diǎn)目標(biāo)跟蹤（TBD-POT）框架。然而，基于聯(lián)合檢測跟蹤策略的擴(kuò)展目標(biāo)跟蹤（JDT-EOT）作為另一種重要的MOT框架，在ADAS和AD領(lǐng)域尚未得到充分研究。本文首次在真實(shí)的在線3D MOT應(yīng)用場景中，對(duì)包括TBD-POT，JDT-EOT，以及我們提出的TBD-EOT框架的性能進(jìn)行了系統(tǒng)性的討論和分析。特別地，本文在View-of-Delft（VoD）和TJ4DRadSet兩個(gè)數(shù)據(jù)集的4D成像雷達(dá)點(diǎn)云數(shù)據(jù)上對(duì)三種框架的SOTA實(shí)現(xiàn)進(jìn)行了性能評(píng)估和對(duì)比。實(shí)驗(yàn)結(jié)果表明，傳統(tǒng)的TBD-POT框架具有計(jì)算復(fù)雜度低、跟蹤性能高的優(yōu)點(diǎn)，在3D MOT任務(wù)中仍然可以作為首要選擇；同時(shí)，本文提出的TBD-EOT框架在特定場景下具備超越TBD-POT框架的潛力。值得注意的是，近期得到學(xué)術(shù)界關(guān)注的JDT-EOT框架在ADAS和AD場景下性能表現(xiàn)欠佳。本文基于多種性能評(píng)估指標(biāo)對(duì)上述實(shí)驗(yàn)結(jié)果進(jìn)行了分析，給出了在真實(shí)應(yīng)用場景中提高算法跟蹤性能的可能方案。針對(duì)基于4D成像雷達(dá)的在線3D MOT算法，上述研究在ADAS和AD領(lǐng)域內(nèi)提供了首個(gè)性能基準(zhǔn)測試，并為此類算法的設(shè)計(jì)和應(yīng)用提供了重要的觀點(diǎn)和建議。

1. 簡介

在線3D多目標(biāo)跟蹤（MOT）是先進(jìn)駕駛輔助系統(tǒng)（ADAS）和自動(dòng)駕駛（AD）中的重要組成部分。近年來，隨著傳感器和信號(hào)處理技術(shù)的發(fā)展，基于相機(jī)、激光雷達(dá)和雷達(dá)等多種類型傳感器的在線3D MOT技術(shù)得到了廣泛的關(guān)注。在各種傳感器中，雷達(dá)作為唯一的價(jià)格低廉且能在極端光照和惡劣氣象條件下工作的傳感器，已經(jīng)在實(shí)例分割、目標(biāo)檢測以及MOT等感知任務(wù)中得到了大量應(yīng)用。然而，盡管傳統(tǒng)的汽車?yán)走_(dá)能夠在距離和多普勒速度上有效地區(qū)分目標(biāo)，雷達(dá)量測的低角度分辨率仍然制約了目標(biāo)檢測和多目標(biāo)跟蹤算法的性能。與傳統(tǒng)汽車?yán)走_(dá)不同，近期出現(xiàn)的基于MIMO技術(shù)的4D成像雷達(dá)能夠測量目標(biāo)的距離、速度、方位角、俯仰角信息，從而為基于雷達(dá)的3D MOT提供了新的發(fā)展可能。

3D MOT算法的設(shè)計(jì)范式可以分為兩類：基于模型的（Model-based）和基于深度學(xué)習(xí)的（Deep learning-based）?；谀Ｐ偷脑O(shè)計(jì)范式采用了精心設(shè)計(jì)的多目標(biāo)動(dòng)態(tài)模型和量測模型，適合用于開發(fā)高效且可靠的3D MOT方法。在基于模型的典型MOT框架中，采用檢測后跟蹤（TBD）策略的點(diǎn)目標(biāo)跟蹤（POT）框架得到了學(xué)術(shù)界和工業(yè)界的廣泛接受。POT框架假設(shè)每個(gè)目標(biāo)在一次傳感器掃描中僅產(chǎn)生一個(gè)量測點(diǎn)，然而對(duì)于激光雷達(dá)和4D成像雷達(dá)，一個(gè)目標(biāo)經(jīng)常在一次掃描中產(chǎn)生多個(gè)量測點(diǎn)。因此，在進(jìn)行目標(biāo)跟蹤前，首先需要通過目標(biāo)檢測器將來自同一個(gè)目標(biāo)的多個(gè)量測處理成一個(gè)檢測結(jié)果（例如一個(gè)目標(biāo)檢測框）。TBD-POT框架的有效性已經(jīng)在諸多基于真實(shí)激光雷達(dá)點(diǎn)云數(shù)據(jù)的3D MOT任務(wù)中得到了驗(yàn)證。

采用聯(lián)合檢測跟蹤（JDT）策略的擴(kuò)展目標(biāo)跟蹤（EOT）作為另一種基于模型的MOT框架，近期在學(xué)術(shù)界得到了廣泛關(guān)注。與POT不同，EOT假設(shè)一個(gè)目標(biāo)能夠在一次傳感器掃描中產(chǎn)生多個(gè)量測，因此在實(shí)現(xiàn)JDT時(shí)無需額外的目標(biāo)檢測模塊。相關(guān)研究指出，JDT-EOT在真實(shí)的激光雷達(dá)點(diǎn)云以及汽車?yán)走_(dá)檢測點(diǎn)數(shù)據(jù)上跟蹤單個(gè)目標(biāo)時(shí)能夠得到良好的性能表現(xiàn)。然而，對(duì)于復(fù)雜ADAS和AD場景下的在線3D MOT任務(wù)，鮮有使用真實(shí)數(shù)據(jù)對(duì)EOT進(jìn)行評(píng)估的研究，而且這些研究并未在ADAS/AD數(shù)據(jù)集上詳細(xì)評(píng)估EOT框架對(duì)不同類型目標(biāo)的MOT性能，也沒有使用被廣泛接受的性能指標(biāo)對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行系統(tǒng)性的分析。本文的研究首次通過綜合性的評(píng)估和分析嘗試回答了這一開放性問題：EOT框架是否能夠應(yīng)用在復(fù)雜ADAS和AD場景下，并獲得優(yōu)于傳統(tǒng)TBD-POT框架的跟蹤性能和計(jì)算效率。本文的主要貢獻(xiàn)主要包括：

• 通過比較POT和EOT框架，本文在ADAS和AD領(lǐng)域?yàn)榇撕笱芯炕?D成像雷達(dá)的在線3D MOT方法提供了首個(gè)性能基準(zhǔn)。文中的性能評(píng)估和分析展示了POT和EOT框架各自的優(yōu)勢和不足，同時(shí)為設(shè)計(jì)在線3D MOT算法提供了指導(dǎo)建議。
• 為了填補(bǔ)基于EOT的在線3D MOT方法在理論與實(shí)際之間的差距，本文首次在真實(shí)的ADAS和AD場景下對(duì)EOT框架進(jìn)行了系統(tǒng)性的研究。盡管在學(xué)術(shù)界得到廣泛研究的JDT-EOT框架性能表現(xiàn)不佳，本文提出的TBD-EOT框架發(fā)揮了深度學(xué)習(xí)目標(biāo)檢測器所具有的優(yōu)勢，從而實(shí)現(xiàn)了優(yōu)于JDT-EOT框架的跟蹤性能和計(jì)算效率。
• 實(shí)驗(yàn)結(jié)果表明，傳統(tǒng)的TBD-POT框架因?yàn)榫邆涓吒櫺阅芎陀?jì)算效率，所以在基于4D成像雷達(dá)的在線3D MOT任務(wù)中仍然是優(yōu)先選擇。然而TBD-EOT框架在特定場合下的性能優(yōu)于TBD-POT框架，展現(xiàn)了在真實(shí)ADAS和AD應(yīng)用中使用EOT框架的潛力。

2.方法

本節(jié)介紹在4D成像雷達(dá)點(diǎn)云數(shù)據(jù)上進(jìn)行在線3D MOT的三種算法框架，包括TBD-POT、JDT-EOT和TBD-EOT，如下圖所示：

A.框架1：采用檢測后跟蹤策略的點(diǎn)目標(biāo)跟蹤（TBD-POT）

TBD-POT框架已經(jīng)在基于多種傳感器的MOT研究中得到了廣泛的接受。在這一跟蹤框架下，4D成像雷達(dá)點(diǎn)云首先經(jīng)過目標(biāo)檢測器的處理生成3D檢測框，提供例如目標(biāo)位置、檢測框尺寸、朝向、目標(biāo)類別、檢測得分等信息。為了簡化計(jì)算，POT算法通常選取直角坐標(biāo)系下的二維目標(biāo)位置作為量測，并在鳥瞰視角（BEV）下進(jìn)行MOT。再將估計(jì)得到的目標(biāo)位置與3D檢測框的其他信息結(jié)合，得到最終的3D跟蹤結(jié)果。TBD-POT框架具有兩個(gè)主要優(yōu)勢：1）POT算法能夠利用目標(biāo)類型和檢測得分等附加信息來提升跟蹤性能；2）POT算法通常比EOT算法計(jì)算復(fù)雜度更低。

我們選擇全局最近鄰泊松多伯努利濾波器（GNN-PMB）作為POT算法，該算法在基于激光雷達(dá)的在線3D MOT任務(wù)中取得了SOTA性能。GNN-PMB通過傳播PMB密度估計(jì)多目標(biāo)狀態(tài)，其中未檢測到的目標(biāo)由泊松點(diǎn)過程（PPP）建模，檢測到的目標(biāo)由多伯努利（MB）密度建模。數(shù)據(jù)關(guān)聯(lián)通過管理局部假設(shè)和全局假設(shè)實(shí)現(xiàn)。在每個(gè)時(shí)刻，一個(gè)量測可能與一個(gè)已經(jīng)被跟蹤的目標(biāo)、一個(gè)新檢測目標(biāo)、或是一個(gè)虛警相關(guān)聯(lián)，形成不同的局部假設(shè)。相兼容的局部假設(shè)被統(tǒng)合在一個(gè)全局假設(shè)中，描述當(dāng)前所有目標(biāo)與量測的關(guān)聯(lián)關(guān)系。與計(jì)算并傳播多個(gè)全局假設(shè)的泊松多伯努利混合（PMBM）濾波器不同，GNN-PMB僅傳播最優(yōu)的全局假設(shè)，從而降低了計(jì)算復(fù)雜度。綜上所述，本文所研究的第一個(gè)在線3D MOT框架將一個(gè)基于深度學(xué)習(xí)的目標(biāo)檢測器與GNN-PMB算法相結(jié)合。

B.框架2：采用聯(lián)合檢測跟蹤策略的擴(kuò)展目標(biāo)跟蹤（JDT-EOT）

與第一種框架TBD-POT不同，JDT-EOT框架通過同時(shí)檢測和跟蹤多個(gè)目標(biāo)，能夠直接處理4D成像雷達(dá)點(diǎn)云。首先，點(diǎn)云通過聚類形成可能的量測劃分（點(diǎn)簇），然后EOT算法使用這些點(diǎn)簇進(jìn)行3D MOT。理論上，因?yàn)辄c(diǎn)云相比經(jīng)過預(yù)處理的3D檢測框具有更豐富的信息，這種框架能夠更準(zhǔn)確地估計(jì)目標(biāo)位置、形狀并減少目標(biāo)漏檢。然而對(duì)于包含大量雜波的4D成像雷達(dá)點(diǎn)云，生成準(zhǔn)確的量測劃分是比較困難的。由于不同目標(biāo)的點(diǎn)云空間分布也可能不同，JDT-EOT框架通常采用DBSCAN和k-means等多種聚類算法結(jié)合不同的參數(shù)設(shè)置，生成盡可能多的可能量測劃分。這進(jìn)一步增加了EOT的計(jì)算復(fù)雜度，影響這一框架的實(shí)時(shí)性。

本文選擇了基于伽馬高斯逆威沙特（GGIW）分布的PMBM濾波器實(shí)現(xiàn)JDT-EOT框架。GGIW-PMBM濾波器是具有SOTA估計(jì)精度和計(jì)算復(fù)雜度的EOT算法之一。選擇PMBM濾波器是因?yàn)樵撍惴ㄊ褂枚嗖旌希∕BM）密度建模目標(biāo)并且傳播多個(gè)全局假設(shè)，能夠較好地應(yīng)對(duì)雷達(dá)量測的高度不確定性。GGIW模型假設(shè)一個(gè)目標(biāo)生成的量測點(diǎn)數(shù)量服從泊松分布，單個(gè)量測服從高斯分布。在這一假設(shè)下，每個(gè)目標(biāo)的外形呈橢圓形，以逆威沙特（IW）密度描述，橢圓的長軸和短軸可以用于形成目標(biāo)的矩形外框。這種外形建模較為簡單，適用于多種類型的目標(biāo)，并且在現(xiàn)有EOT算法實(shí)現(xiàn)中計(jì)算復(fù)雜度最低。

C.框架3：采用檢測后跟蹤策略的擴(kuò)展目標(biāo)跟蹤（TBD-EOT）

為了在EOT框架下發(fā)揮深度學(xué)習(xí)目標(biāo)檢測器的優(yōu)勢，我們提出了第三種MOT框架：TBD-EOT。與在完整點(diǎn)云上進(jìn)行聚類的JDT-EOT框架不同，TBD-EOT框架在進(jìn)行聚類前首先選出在目標(biāo)3D檢測框內(nèi)部的有效雷達(dá)量測點(diǎn)，這些量測點(diǎn)更可能來源于真實(shí)目標(biāo)。與JDT-EOT相比，TBD-EOT框架具有兩方面的優(yōu)勢。首先，移除可能來源于雜波的量測點(diǎn)后，EOT算法中數(shù)據(jù)關(guān)聯(lián)步驟的計(jì)算復(fù)雜度將顯著降低，同時(shí)虛假檢測的數(shù)量也可能減少。其次，EOT算法可以利用源自檢測器的信息，進(jìn)一步提高跟蹤性能。例如為不同類別的目標(biāo)設(shè)定不同的跟蹤參數(shù)，丟棄檢測得分低的目標(biāo)檢測框等。TBD-EOT框架在部署時(shí)使用了與TBD-POT相同的目標(biāo)檢測器，同時(shí)采用GGIW-PMBM作為EOT濾波器。

3.實(shí)驗(yàn)與分析

A.數(shù)據(jù)集和評(píng)估指標(biāo)

本文在VoD數(shù)據(jù)集的0、8、12、18號(hào)序列和TJ4DRadSet的0、10、23、31、41號(hào)序列中的Car、Pedestrian、Cyclist類別上對(duì)三種MOT框架進(jìn)行了評(píng)估。輸入TBD-POT和TBD-EOT框架的目標(biāo)檢測結(jié)果由SMURF提供，該方法是4D成像雷達(dá)點(diǎn)云上的SOTA目標(biāo)檢測器之一。由于JDT-EOT不能獲取目標(biāo)的類型信息，我們?cè)贕GIW-PMBM算法的狀態(tài)提取過程增加了根據(jù)目標(biāo)外形尺寸判斷類別的啟發(fā)式目標(biāo)分類步驟。

本文后續(xù)的評(píng)估選用了包括MOTA、MOTP、TP、FN、FP和IDS在內(nèi)的一組常用MOT性能指標(biāo)。此外我們還應(yīng)用了一種較新的MOT性能指標(biāo)：高階跟蹤精度（HOTA）。HOTA可以分解成檢測精度（DetA）、關(guān)聯(lián)精度（AssA）和定位精度（LocA）子指標(biāo)，有助于更明確地分析MOT性能。

B.跟蹤框架性能對(duì)比

三種MOT框架的算法實(shí)現(xiàn)SMURF + GNN-PMB、GGIW-PMBM和SMURF + GGIW-PMBM均在VoD和TJ4DRadSet數(shù)據(jù)集的訓(xùn)練集上進(jìn)行了參數(shù)調(diào)優(yōu)。各算法在VoD數(shù)據(jù)集上的性能如下表所示：

各算法在TJ4DRadSet數(shù)據(jù)集上的性能如下表所示：

1）GGIW-PMBM的性能

實(shí)驗(yàn)結(jié)果表明，GGIW-PMBM的性能表現(xiàn)低于預(yù)期。由于跟蹤結(jié)果包含大量的FP和FN，GGIW-PMBM在三個(gè)類別上的檢測精度很低。為了分析這一現(xiàn)象的成因，我們使用未經(jīng)分類的跟蹤結(jié)果計(jì)算了TP與FN，如下表所示?？捎^察到三個(gè)類別上的TP數(shù)量均有明顯提升，說明GGIW-PMBM能夠產(chǎn)生接近真實(shí)目標(biāo)位置的跟蹤結(jié)果。然而如下圖所示，GGIW-PMBM估計(jì)的目標(biāo)大部分具有相似的長度和寬度，這導(dǎo)致啟發(fā)式目標(biāo)分類步驟無法基于目標(biāo)尺寸有效區(qū)分目標(biāo)類型，對(duì)跟蹤性能造成了不利影響。

進(jìn)一步的，我們對(duì)GGIW-PMBM在兩個(gè)數(shù)據(jù)集上的性能差異進(jìn)行分析。Pedestrian和Cyclist類別的MOTA指標(biāo)在TJ4DRadSet上遠(yuǎn)低于VoD數(shù)據(jù)集，說明GGIW-PMBM在TJ4DRadSet上產(chǎn)生了更多的虛假軌跡。造成這一現(xiàn)象的原因可能是TJ4DRadSet數(shù)據(jù)集包含更多的來自道路兩側(cè)障礙物的雜波量測，如下圖所示。由于大部分路邊障礙物是靜止不動(dòng)的，可以通過在聚類前去除低徑向速度的雷達(dá)量測點(diǎn)來改善這一問題。由于TJ4DRadSet尚未公開自車運(yùn)動(dòng)數(shù)據(jù)，本文沒有提供補(bǔ)充實(shí)驗(yàn)。盡管如此，我們可以推測類似的處理步驟同樣會(huì)影響到靜止目標(biāo)的雷達(dá)點(diǎn)云，增加這些目標(biāo)未能被正確跟蹤的可能性。

總體而言，GGIW-PMBM未能在真實(shí)的4D成像雷達(dá)點(diǎn)云上獲得良好的性能，主要因?yàn)樵跊]有目標(biāo)檢測器提供額外信息的情況下，算法難以通過啟發(fā)式方法判斷跟蹤結(jié)果的類別，或是區(qū)分來自目標(biāo)的點(diǎn)云與背景雜波。

2）SMURF + GNN-PMB和SMURF + GGIW-PMBM的性能

SMURF + GNN-PMB和SMURF + GGIW-PMBM均利用了來自目標(biāo)檢測器的信息。實(shí)驗(yàn)結(jié)果表明，前者在Car類別上獲得了明顯優(yōu)于后者的性能，主要因?yàn)楹笳邔?duì)于Car目標(biāo)的定位精度更低。點(diǎn)云分布建模的誤差是造成這一現(xiàn)象的主要原因。如下圖所示，對(duì)于車輛目標(biāo)，雷達(dá)點(diǎn)云傾向于聚集在靠近雷達(dá)傳感器的一側(cè)。這與GGIW模型中量測點(diǎn)在目標(biāo)表面均勻分布的假設(shè)不相符，導(dǎo)致SMURF + GGIW-PMBM估計(jì)得到的目標(biāo)位置和外形與真實(shí)值產(chǎn)生偏差。因此使用更準(zhǔn)確的目標(biāo)量測模型，例如高斯過程，可能幫助TBD-EOT框架在跟蹤車輛等大型目標(biāo)時(shí)獲得更好的性能，不過這也可能增加算法的計(jì)算復(fù)雜度。

我們同樣觀察到SMURF + GGIW-PMBM和SMURF + GNN-PMB在Cyclist類別上的性能差距縮小了，前者的HOTA指標(biāo)在Pedestrian類別上甚至優(yōu)于后者。此外，SMURF + GGIW-PMBM在Pedestrian和Cyclist類別上的IDS數(shù)量也更少。這些現(xiàn)象的成因可能包括：首先，GGIW-PMBM根據(jù)估計(jì)的GGIW密度自適應(yīng)計(jì)算目標(biāo)的檢測概率；其次，GGIW-PMBM在計(jì)算關(guān)聯(lián)假設(shè)似然時(shí)不僅考慮了目標(biāo)位置，同時(shí)也考慮了目標(biāo)量測點(diǎn)的數(shù)量和空間分布。對(duì)于Pedestrian和Cyclist等小型目標(biāo)，雷達(dá)點(diǎn)在目標(biāo)表面分布更加均勻，更符合GGIW模型假設(shè)；因此SMURF + GGIW-PMBM能夠利用來自點(diǎn)云的信息更準(zhǔn)確地估計(jì)檢測概率和關(guān)聯(lián)假設(shè)似然，從而通過減少軌跡中斷和錯(cuò)誤關(guān)聯(lián)來提高定位、關(guān)聯(lián)和ID維持方面的性能。

4.結(jié)論

本文系統(tǒng)性的對(duì)比了POT和EOT框架在基于4D成像雷達(dá)點(diǎn)云的在線3D MOT任務(wù)中的性能。我們?cè)赩oD和TJ4DRadSet兩個(gè)數(shù)據(jù)集的Car、Pedestrian和Cyclist類別上評(píng)估了TBD-POT、JDT-EOT和TBD-EOT三種框架的跟蹤性能指標(biāo)。結(jié)果表明，傳統(tǒng)的TBD-POT框架仍然有效，其算法實(shí)現(xiàn)SMURF + GNN-PMB在Car和Cyclist類別上獲得了最優(yōu)的性能。然而，JDT-EOT框架無法有效去除雜波量測并且產(chǎn)生了過多的量測劃分假設(shè)，導(dǎo)致GGIW-PMBM未能獲得令人滿意的性能表現(xiàn)。在本文提出的TBD-EOT框架下，SMURF + GGIW-PMBM在Pedestrian類別上獲得了最優(yōu)的關(guān)聯(lián)和定位精度，同時(shí)在Pedestrian和Cyclist類別上實(shí)現(xiàn)了可靠的ID估計(jì)，展現(xiàn)出超越TBD-POT框架的潛力。然而，SMURF + GGIW-PMBM無法有效建模非均勻分布的雷達(dá)點(diǎn)云，導(dǎo)致其對(duì)于車輛目標(biāo)的跟蹤性能較差。因此，更符合實(shí)際的、低計(jì)算復(fù)雜度的擴(kuò)展目標(biāo)模型需要在未來得到進(jìn)一步的研究。

原文鏈接：https://mp.weixin.qq.com/s/ZizQlEkMQnlKWclZ8Q3iog