從自動駕駛的架構出發往往最能夠理解自動駕駛的原理，大眾對自動駕駛最淺顯易懂的理解就是感知，決策，執行。所有機器人都是這樣的架構。

• 感知回答周圍有什么的問題，類似人的眼睛，耳朵。通過攝像頭，雷達，地圖等手段獲得周圍障礙物和道路的信息。 
• 決策回答我要如何做的問題，類似大腦。通過分析感知得來的信息，生成路徑和車速。 
• 執行則類似于手腳，將決策獲得信息轉化成剎車、油門和轉向信號，控制車輛按照預期行駛。

接下來我們深入一層，問題開始有一些復雜。

我們在日常生活中可能會直覺的認為，我每時每刻在根據當下眼睛看到信息決定我下一步的決策，但情況往往并不是如此。從眼睛到腦袋再到手腳總是存在一個時間的延遲，自動駕駛也是如此。但我們不曾感受到影響是因為大腦會自動處理“預測”這件事情。哪怕只有幾毫秒，我們的決策也是根據對所見之物的預測來指導手腳運作的，這是我們維持正常機能的基礎。因此我們會在自動駕駛決策之前增加預測這個模塊。  

感知過程同樣內藏乾坤，仔細推敲也分為兩個階段“傳感”和“感知”?！皞鞲小鲍@得的是傳感器的原始數據比如圖片，而“感知”是從圖片里處理出的有用信息（諸如圖里有幾個人）。古語常說“眼見為實，耳聽為虛”?！案兄钡挠杏眯畔⒂挚梢岳^續分為自車感知與外部感知，人亦或是自動駕駛汽車在處理這兩大類信息時往往有不同的策略。

• 自車感知-由感受器官每時每刻獲得的信息（包括攝像頭，雷達，GPS等） 
• 外部感知-由外部智能體或過往記憶，收集處理后轉告的信息（包括定位，地圖，車聯信息等），前提需要自車定位感知（GPS）的輸入。

另外各類傳感器經由算法處理后的障礙物，車道等信息往往存在矛盾。雷達看到了前方有一個障礙物而攝像頭告訴你沒有，這時候就需要增加“融合”模塊。對不一致的信息作進一步的關聯和判斷。  

這里我們也常常把“融合與預測”歸納為“世界模型”。這個詞非常生動，無論你是唯物主義還是唯心主義?！笆澜纭倍疾豢赡苋咳M你的腦子里，而指導我們工作生活的是“世界”的“模型”，也就是通過對我們出生后的所見所謂加以處理，在腦中逐步構建的對世界的理解，道家稱之為“內景”。世界模型的核心職責就是通過“融合”來理解當下環境要素的屬性和關系，并配合“先驗的規律”作出“預測”為決策執行提供更從容的判斷，這個時間跨度可以從幾毫秒到幾小時。  

由于世界模型的加入，整個架構變得更加豐滿，但這里還一個細節常常被忽略。也就是信息的流向。簡單的理解，人是通過眼睛感知再到大腦處理最后交給手腳執行的單向過程，可實際的情況往往更加復雜。這里有兩個典型的行為構成了一個完全相反的信息流，那就是“目標達成的預案”以及“注意力的轉移”。  

“目標達成的預案”如何理解？實際上思考的伊始并非感知而是“目標”。有目標才可以觸發一個有意義的“感知-決策-執行”過程，比方說你希望開車去一個目的地，可能你知道有幾個路線，而你最后會權衡擁堵情況選擇其中一個線路。擁堵情況屬于世界模型，而“到達目的地”屬于決策。這是一個決策向世界模型傳遞的過程。  

“注意力的轉移”又如何理解？哪怕是一張圖片，無論是人類還是機器都無法獲取內部隱含的所有信息。從一個需求和上下文出發，我們往往會把注意力放在一個有限范圍和有限的品類上。這些信息無法從圖片本身獲得，而是來源于“世界模型”和“目標”，是一個從決策到世界模型再向感知傳遞的過程。  

我們補充一些必要的信息，重新整理下整個架構，它變成了如下的模樣，是不是又復雜了一些。還沒完我們繼續看。

自動駕駛算法和大腦一樣，有一個對處理時間的要求。一般的周期在10ms-100ms之間，可以滿足對環境變化的反應要求。但環境有時簡單有時卻非常復雜。很多算法模塊無法達成這個時間要求。比如思考一遍人生的意義可能不是100ms可以搞定的事情，如果每走一步路都要思考一遍人生，對大腦一定是一種摧殘。計算機也是如此，存在算力和運算速度的物理限制。解決方法就是引入分層框架。  

這種分層機制越往上處理周期一般會縮短3-10倍，當然并不一定需要完整出現在實際框架當中，工程上根據板上資源以及算法使用情況可以靈活調整?；旧希兄巧闲羞^程，根據注意力不斷精細化特定要素，提供有“縱深和指向”的感知信息。決策是下行過程，根據不同層次的世界模型逐層從目標分解動作到每個執行單元。世界模型一般沒有特定流向，用于構建不同粒度尺度的環境信息。  

根據處理任務的復雜度，人員分工以及通訊環境也會進行適當的閹割與合并。比如低階ADAS功能(ACC)，算力較少，可以只設計一層。高階ADAS功能（AutoPilot）一般會有兩層的配置。而自動駕駛功能，復雜算法較多，三層的設計有時是必須的。在軟件架構設計中，也存在同一層的世界模型與感知或是決策模塊合并的情況。

各類自動駕駛公司或者行業標準都會發布自己的軟件架構設計，但往往都是根據現狀閹割后的結果，并不具有普適性，但為了方便大家理解，我還是把當下主流的功能模塊代入進來，大家來看看對照關系，對理解原理更有幫助。

這里需要提前注意下，雖然這已經有點軟件架構的意味，但仍然是一種對原理的描述，實際的軟件架構設計相較于此還要更為復雜，這里并沒有展開所有細節，而是把容易混淆的部分重點做了展開。下面我們重點梳理下。

環境感知-ALL IN深度學習

為了確保無人車對環境的理解和把握，無人駕駛系統的環境感知部分通常需要獲取周圍環境的大量信息，包括障礙物的位置，速度，前方車道的精確形狀，標志牌的位置類型等。通常是通過融合激光雷達（Lidar），周視/環視相機（Camera），毫米波雷達（Millimeter Wave Radar）等多種傳感器的數據來獲取這些信息。  

深度學習的發展，使得通過神經網絡算法完成自動駕駛搭建成為全行業共識。感知模塊的算法是整個深度學習化的“馬前卒”，是最早完成轉型的軟件模塊。

定位地圖與V2X-自車感知與外部感知之間的關聯與差異

傳統意義上理解，外部感知是以GPS定位信號為基礎，將高精地圖和車聯網消息（V2X）等絕對坐標系下的信息轉化到自車坐標系下，供車輛使用的感知源。和人使用的高德導航儀類似。配合原本就在自車坐標系下的“自車感知”信息綜合為自動駕駛提供環境信息。  

但實際的設計往往更為復雜，由于GPS不可靠，IMU需要持續修正，可量產的自動駕駛定位往往使用感知地圖的匹配來精確獲得精確的絕對位置，利用感知結果來修正IMU獲得精確的相對位置，和GPS-IMU組成的INS系統形成冗余。因此“外部感知”所必須的定位信號，往往依賴于“自車感知”信息。  

另外雖然地圖嚴格意義上屬于“世界模型”的組成部分，但受限于GPS的敏感性，在國內進行軟件實施的過程中，會把定位模塊和地圖模塊進行整合，并加偏所有GPS數據，確保沒有敏感定位信息的外泄。

融合預測模塊-核心關注兩者的差異

融合的核心是解決兩個問題，一個是時空同步問題，利用坐標系轉換算法和軟硬協同的時間同步算法，首先將激光雷達，相機和毫米波雷達等感知測量結果對齊到一個時空點上，確保整個環境感知原始數據的統一。另一個是解決關聯（Association）與異常剔除的問題，處理不同傳感器映射到同一個“世界模型”元素（一個人/一根車道等）的關聯，并且剔除可能由于單一傳感器誤檢導致的異常。但融合區別于預測的根本是其只處理過去以及當前時刻的信息，并不會對外來時刻做處理。  

而預測會基于融合的結果做出對未來時刻的判斷，這個未來的時刻從10ms-5分鐘皆有。其中包括對信號燈的預測，對周圍障礙物行駛路徑的預測或者是對遠處的過彎位置做出預測。不同周期的預測會給到對應周期的規劃，做不同粒度的預判，從而為規劃的調整提供更大的空間。

規劃控制-層次化策略分解  

規劃是無人車為了某一目標而作出一些有目的性的決策的過程，對于無人駕駛車輛而言，這個目標通常是指從出發地到達目的地，同時避免障礙物，并且不斷優化駕駛軌跡和行為以保證乘客的安全舒適。規劃的結構總結就是根據不同粒度的環境融合信息，從外部目標出發進行逐層的評估與分解，最終傳遞到執行器，形成完整的一次決策。  

細分來看，規劃模塊一般會分成三層：任務規劃（Mission Planning），行為規劃（Behavioral Planning）和動作規劃（Motion Planning）三層，任務規劃核心是基于路網和離散路徑搜索算法獲得全局路徑被給出大尺度的任務類型，往往周期較長，行為規劃是基于有限狀態機判斷在一個中周期上，車輛應該采取的具體行為（左換道，繞行避讓，E-STOP）并設定一些邊界參數和大致的路徑范圍。運動規劃層往往會基于采樣或是最優化的方法最終獲得滿足舒適性，安全性要求的唯一路徑。最后交由控制模塊通過前饋預測和反饋控制算法完成對唯一路徑的跟隨，并操縱制動，轉向，油門，車身等執行器最終執行命令。  

不知道各位看官姥爺理解到了第幾層，但以上這些也只是自動駕駛原理的入門內容，當下自動駕駛的理論，算法和架構發展都非?？欤m然上述內容是比較本源的知識點，很長時間內不會過時。但新增的需求給自動駕駛的架構和原理都帶來了很多全新的認知。