Andrej Karpathy博士說，模型需要數據來驅動，模型決定上限，而數據幫助模型到達這個上限！

有的小伙伴可能會問，不就是標個數據么，有什么好講的？？？找幾個小學生100塊一天，點點鼠標也能干！（小學生OS：我不干，我要忙著上王者！）

Attention！都已經2021年了，L4的自動駕駛都已經開始討論量產了，中國的空間站都已經上天了，數據標注當然也不再是點點鼠標就OK的了！！

數據標注里面有什么明堂，容我慢慢講來。做深度學習和計算機視覺的同學可能比較熟悉ImageNet，MS COCO，Cityscapes等著名的公共數據集，這些數據集主要面向于2D圖像上的感知任務，也是直接在2D圖像上直接標注的，確實是點點鼠標的事。

但是到了自動駕駛時代，所有的感知任務最終都要在現實的3D世界中應用，數據集的規模也不再是幾萬張，幾十萬張，或者幾百萬張圖片，與之前的情況已不可同日而語，自然面臨了更多更復雜的問題。

這不，前面的感知系統，Andrej Karpathy大佬一個人就可以Handle全場，但是到了數據標注這一塊，Tesla上了兩個大佬來分別介紹。

兩個大佬分別是之前介紹過的Andrej Karpathy博士，給大家介紹人工標注；Autopilot Software主管Ashok Kumar Elluswamy介紹4D自動標注，數據仿真以及數據和模型的迭代。

整個數據標注系統分為三個部分進行介紹，依次為：人工標注，自動標注，數據仿真以及大規模數據生成。

1 人工標注

大概四年前，Tesla的數據標注也跟目前的不少CV公司一樣，由第三方負責。第三方數據標注機構可以提供比較基礎的數據標注和維護，但是當標注需求復雜的時候，往往會出現標注延遲太大的問題，同時標注質量也不夠高。

于是Tesla就建立了自己的標注團隊，標注人員規模為一千余人（啊……還是有錢）。專業的標注人員和工程師緊密合作在一起，保證高質量的標注。

Tesla還為此搭建了專用的數據標注系統，有專業團隊維護這個標注框架以及背后的數據，能對標注工作流程中的各項數據做出精確的分析，精確到每個人和每一批數據。

圖1，2D圖像上的數據標注

最初Tesla的大多數的標注還是在2D圖像上進行，但是不久之后，標注開始轉移到4D空間（3D空間+時間維度），直接在Vector Space進行標注，數據以一個Clip為最小標注單位。

圖2，4D空間上的數據標注

一個Clip由一段路程上的所有相機和傳感器數據構成，根據這些數據可以生成一個對應路段的3D重建結果。修改任意圖片或是3D重建結果上的標注，都能直接將改變映射到其他數據上。

這樣的4D標注相對于2D標注更加接近自動駕駛任務的需要，但是僅僅這樣是不夠的。

Tesla發現，人類標注人員對于語義信息更加擅長，但是計算機對于幾何，重建，三角化，跟蹤更加擅長；同時，隨著數據規模的增長，不可能無限地擴大標注團隊的規模（特斯拉也想省錢）。所以，Vector Space下更加精確的數據標注需要標注人員和計算機協作進行。

自此，標注進入下一個時代：自動標注。

2 自動標注

從自動標注開始，下面的內容由CMU畢業的Ashok Kumar Elluswamy介紹，盡管咖喱味十足，但是東西真是好東西。（歪個題，此處省略一萬字……印度英語聽力能力Get！推薦各位想學英語er都來感受下咖喱英語的魅力）

說到自動標注，很容易讓人不明覺厲，我下面用一個簡單例子讓大家秒懂。

程序猿對AI說：你已經是個成熟的AI了，要學會自己標數據訓練自己...

我們都知道，訓練數據和訓練參數一定的情況下，服務器上能跑的“大模型”，其精度和泛化能力往往強于在車端部署的“小模型”；同時，多個“大模型”做Essemble之后的精度和泛化也往往也強于單個“大模型”。

所以，如果可以獲得大量“小模型”表現不好的數據，我們就可以用精度和泛化更好的集成模型幫助我們把這些新數據“標一把”，再用標好的數據來訓練小模型。

完全擬合新數據之后，這個小模型就算再差，在這批新數據上的性能也能夠逼近之前的集成模型。

所以，Tesla的自動標注系統本質上干的也就是這么個事，只是一貫的，Tesla將它做到了極致。

圖3，Tesla自動標注系統

前面提到過，一個Clip是Tesla標注系統的最小標注單位，回顧一下Clip的概念：Clip由一段路程上的所有相機和傳感器數據構成。一個Clip通常包含時長為45秒到1min的路段數據。

拿到一個Clip，自動標注系統首先使用各種算法模型對數據進行預測，得到分割，目標檢測，深度，光流等結果，然后經過一系列算法處理，產生最終用于訓練模型的標注。可選的，人類標注人員可以對機器標好的數據做最后的檢查和修改。

下面以一個路面標注的例子來說明這一流程。

通常來說我們可以用樣條或者是網格來表示路面，但是因為拓撲約束是不可導的，這些表示方式不太好用。為了方便優化，這里選擇使用一個神經網絡來隱式地對路面建模。

我們query一個路面上的(x, y)點，然后讓網絡預測路面的高度z，以及一些語義信息，比如車道線，道路邊界等。對于每一個(x, y)，網絡預測一個z，就可以得到一個3D點。我們可以將這個3D點重投影回到各個相機的圖像上。

做出百萬計這樣的query，就能夠得到大量的點重投影回各個相機。圖4右上角顯示了這樣重投影回圖像的點。

圖4，路面重建流程

接下來，我們可以將這些重投影回原圖的點與圖像空間直接做語義分割的結果進行對比，再在各個相機上，跨過時間和空間維度(across space and time)做聯合優化,得到非常高質量的重建結果。

圖5，路面重建結果，滿足了各個相機時間和空間上的一致性

最后是得到在整個Clip上連續一致的稠密標注結果，如圖5所示。這個一致性是指同一個物體的標注在視頻序列前后幀，以及不同相機的圖像中均保持一致。

這樣的一致性是純人工標注無法達到的。

使用這樣的技術，當數據采集車經過一段路的時候就可以采集并標注附近相關的Clip。更進一步，使用一輛車甚至多輛車多次以不同的方式經過同一個地點，能夠獲得多個相同地點的Clip進行標注。

圖6，可以使用不同車輛多次經過相同地區，得到多個標注結果

這些Clip和對應的標注可以放到一起進行更大規模的優化，得到更加精確和更加詳細的標注結果。

圖7就是16個Clip對齊到一起，保證車道線等多種特征在Vector Space，及各個相機視角觀測下的一致性得到的結果。

圖7，疊加多個Clip的結果進行聯合優化可以得到更加精確和詳細的標注結果

這樣的標注方式不僅僅是得到了一個高精地圖，還順帶標注了相關的各個Clips，已經有點"眾包地圖"的味道在里面了。

自動標注完成之后，如果有需要可以再讓專業標注人員對標注結果做校驗，順帶去除噪聲，或者添加一些其他的標注。

所以車跑一遍，模型跑一遍，再進行聯合優化，數據就標好了。

Tesla的自動標注系統用類似的方式，可以完成一個Clip里面所有要素的自動標注，對于靜態物體，給出3D重建結果；對于動態障礙物，給出每一時刻具體的位置，姿態，并計算出3D的運動軌跡。

圖8展示了由相機生成的高密度3D點云，點云囊括了路面及車輛周邊的所有障礙物。前面介紹的方法能夠解決靜態障礙物的問題，下面介紹一下動態障礙物的處理。

圖8，由圖像數據生成的3D點云

對于動態障礙物，即運動目標，自動駕駛的感知系統需要給規控提供每個目標的位置，朝向，運動速度，過去時刻的運動軌跡，并估計將來的運動軌跡等信息。標注系統知道這些信息的真值就非常重要。

在這些問題上，自動標注是具有"上帝視角"的。

在這些Clip里面，每一時刻我們不僅知道過去發生了什么，還知道將來會發生什么，以近乎“作弊”的方式得知正確答案。所以我們可以很精確的給出每個目標"將來"運動軌跡的真值。

此外，“上帝視角”還可以解決遮擋問題。因為知道每個運動目標的運動軌跡，所以可以根據目標被遮擋前后的運動軌跡還原出被遮擋狀態下的運動軌跡和姿態，因此標注也不再受到遮擋的影響。

圖9，自動標注可以解決運動目標的遮擋問題

最后得到一個Clip完整的標注結果，如圖10。

圖10，自動標注的完整結果

以這樣的自動標注，Tesla可以輕易地標注百萬計的Clips來訓練模型。

對于一些模型做的不太好的場景，比如低可視度的惡劣天氣，就可以使用大規模的車隊采集很多相應場景的數據，然后通過自動標注，迅速地將這些數據用來訓練模型，快速提升性能。

自動標注一個星期能夠標注1萬個clip，純人工完成相同規模的標注則需要幾個月！

3 數據仿真

完成自動標注之后，嘗到了自動化甜頭的馬老板甚至連數據采集車的電費都不想出了，于是開始琢磨數據仿真。

哈哈，開個玩笑，數據仿真的好處并不僅僅是省錢，還可以解決很多難題，比如很多具有長尾效應的Corner Case就可以用數據仿真采集到數據。

想象一下，如果高速路上突然出現一頭牛或是一群大象，讓自動駕駛汽車怎么處理？

這樣的數據顯然非常難以采集，我們不可能真的讓一群大象沖到高速路上，然后再開著采集車過去采數據。但如果現實生活中真的遇到了這樣的情況，我們依然希望自動駕駛汽車能夠處理，所以相應的數據是必須的。

為了解決類似問題，Tesla的下一個撒手锏就是數據仿真。相對于真實數據，仿真數據有以下幾方面的優點：

（1）仿真數據可以提供完美的標注，很多難以標注的場景可以使用仿真數據。

（2）仿真數據可以在真實數據難以采集的情況下提供優質的數據。

（3）仿真可以給規控算法提供一個安全的實驗環境。

（4）仿真數據省錢，省錢，省錢！

看樣子，仿真數據是真香，不過要搞出能用的仿真數據還是要費一番功夫的。做數據仿真，就是要讓虛擬的數據要盡可能真實，Tesla團隊為此做出了以下幾方面的努力：

1）準確的傳感器模擬：數據仿真的第一要務就是讓模擬器產生的數據盡可能接近真實相機拍攝的數據。

所以Tesla團隊從多個方面做出相應的努力，包括對于相機傳感器噪聲，運動模糊，光學畸變，以至于擋風玻璃上的衍射斑的仿真。

圖11，仿真首先需要準確模擬相機各種特性

2）逼真的渲染：仿真需要實現接近真實的渲染，不能出現類似于游戲中的那種虛假畫面。為此，Tesla團隊用上了神經渲染(Neural Rendering)來保證渲染效果；用光線追蹤(ray tracing)來保證逼真的光照效果。

圖12，渲染效果，你敢相信這個圖是假的？

3）豐富的場景及演員。為了防止感知模型過擬合到幾種車型或是單一的場景，Tesla團隊設計了很多的“演員”以及“道具”放到虛擬的世界中，包括形形色色的汽車和穿著各異的行人。

同時還設計了總里程超過2000Miles的虛擬道路，里程相當于美國東西海岸之間的距離。

馬老板果然大手筆，有沒有感覺像是一個活生生的“西部世界”！

圖13，仿真需要多樣的演員和場景

4）大規模場景生成。前面提到的虛擬數據只是冰山一角，Ashok說到，真實用來訓練模型的數據是由這些素材按照一定章程，使用算法生成的。道路的曲率，樹木的形狀和分布，雪糕筒的擺放，電線桿，以及以各種速度前進的車輛等等各種交通參與物都可以根據需要設置，像天氣和光照條件什么的更不在話下。

隨機地使用這些素材生成訓練數據固然可以，但是大多數生成的場景下模型都可以表現的很好了，所以Tesla團隊會使用一些基礎的機器學習算法，讓模型找到容易出錯的場景，然后根據相應的場景生成跟多數據，再來訓練模型。

這樣，數據和模型的閉環完成了，隨著不斷迭代，性能會一路提升。

圖14，通過調整各項參數，可以生成各種場景

5）場景重建。Tesla還希望能夠重建真實場景的自動駕駛任務中的Failure Case，這樣能夠方便在模擬器中進行復現，找到并解決問題。

如圖15，左圖表示一輛真實的汽車采集的數據，經過自動標注系統得到3D重建后的結果。用這些重建后的結果結合視覺信息，可以重建出完全一樣的虛擬場景。

在這個虛擬場景中，就可以做各種實驗，找到并解決之前的問題。

圖15，可以從真實數據中生成虛擬數據，幫助Debug

當前，Tesla車端部署的模型早已用上了虛擬數據做訓練，虛擬數據的規模為37.1億張圖片，4.8億標注。這樣的數據，用"核燃料庫"來比喻毫不為過。

看到這一數字，苦苦等數據的新生代民工已經哭暈在廁所……

圖16，虛擬數據真香

Tesla的數據標注系統經歷了這樣由人工標注到自動標注，再到仿真的過程，確實給我們提供了很好的借鑒，不僅僅能應用在自動駕駛領域，也能應用到在其他CV相關的方方面面！

通過這套系統可以看到Tesla拿掉毫米波雷達，堅持純視覺的底氣。

Tesla的方案除了可供學習之外也啟迪我們：在CV算法已經比較成熟的今天，單一算法的提升并不能帶來太多改變，但是算法系統級別的研究還有很大潛力可以挖掘，硬件，數據和算法應該融合到一起進行設計和迭代。

再之后，帶來的改變就真的是革命性的。

學習之余，我們也不必“長他人志氣，滅自己威風”。其實Tesla并不是一枝獨秀，國內不少公司也早已在相關領域進行了摸索并有了不錯的積累。

接下來，一起加油呀，讓AI的星星之火燒成燎原之勢！