本文經(jīng)自動駕駛之心公眾號授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

寫在前面&筆者的個人理解

為了在復(fù)雜的真實(shí)世界場景中安全導(dǎo)航，自動駕駛汽車必須能夠適應(yīng)各種道路條件并預(yù)測未來事件。基于世界模型的強(qiáng)化學(xué)習(xí)（RL）已經(jīng)成為一種有前景的方法，通過學(xué)習(xí)和預(yù)測各種環(huán)境的復(fù)雜動態(tài)來實(shí)現(xiàn)這一點(diǎn)。然而目前并不存在一個用于在復(fù)雜駕駛環(huán)境中訓(xùn)練和測試此類算法的易于接近的平臺。為了填補(bǔ)這一空白，這里介紹了CarDreamer，第一個專為開發(fā)和評估基于世界模型的自動駕駛算法設(shè)計(jì)的開源學(xué)習(xí)平臺。它包含三個關(guān)鍵組成部分：

1）世界模型（WM）主干：CarDreamer整合了一些最先進(jìn)的世界模型，簡化了RL算法的再現(xiàn)。主干部分與其他部分解耦，并使用標(biāo)準(zhǔn)的Gym接口進(jìn)行通信，以便用戶可以輕松集成和測試自己的算法。

2）內(nèi)置任務(wù)：CarDreamer提供了一套高度可配置的駕駛?cè)蝿?wù)，這些任務(wù)與Gym接口兼容，并配備了經(jīng)過實(shí)證優(yōu)化的獎勵函數(shù)。

3）任務(wù)開發(fā)套件：CarDreamer集成了靈活的任務(wù)開發(fā)套件，以簡化駕駛?cè)蝿?wù)的創(chuàng)建。該套件使交通流和車輛路線的定義變得容易，并自動收集多模態(tài)觀測數(shù)據(jù)。可視化服務(wù)器允許用戶通過瀏覽器追蹤實(shí)時agent駕駛視頻和性能指標(biāo)。此外還使用內(nèi)置任務(wù)進(jìn)行了廣泛的實(shí)驗(yàn)，以評估WM在自動駕駛中的性能和潛力。由于CarDreamer的豐富性和靈活性，還系統(tǒng)地研究了觀測模式、可觀測性和車輛意圖共享對AV安全性和效率的影響。

領(lǐng)域發(fā)展背景

自動駕駛汽車預(yù)計(jì)將在未來的移動系統(tǒng)中發(fā)揮核心作用，具有許多有前景的益處，如安全性和效率。近年來，自動駕駛汽車的發(fā)展取得了巨大的成就。僅在美國，自動駕駛汽車已經(jīng)在公共道路上行駛了數(shù)百萬英里。然而，實(shí)現(xiàn)能夠在復(fù)雜多樣的現(xiàn)實(shí)場景中導(dǎo)航的魯棒性自動駕駛汽車仍然是一個具有挑戰(zhàn)性的前沿。例如，根據(jù)美國交通部聯(lián)邦公路管理局的計(jì)算，自動駕駛汽車的碰撞率比傳統(tǒng)車輛高出約兩倍。

自動駕駛汽車的可靠性直接取決于自動駕駛系統(tǒng)在未預(yù)見場景中的泛化能力。世界模型（WM）以其卓越的泛化能力，通過學(xué)習(xí)環(huán)境的復(fù)雜動態(tài)并預(yù)測未來場景，提供了一種有前景的解決方案。特別是，WM學(xué)習(xí)了一種緊湊的潛在表示，該表示編碼了環(huán)境的關(guān)鍵元素和動態(tài)。這種學(xué)習(xí)到的表示有助于更好的泛化，使WM能夠在超出其訓(xùn)練樣本的場景中進(jìn)行預(yù)測。在內(nèi)部，WM包含模仿人類感知和決策的組件，如視覺模型和記憶模型。事實(shí)上，人類之所以能夠在遇到罕見或未見過的事件時采取適當(dāng)?shù)男袆樱且驗(yàn)槿祟悆?nèi)在的世界模型。通過模擬類似于人類智能的認(rèn)知過程，基于WM的強(qiáng)化學(xué)習(xí)（RL）在諸如Atari游戲和Minecraft等領(lǐng)域展示了最先進(jìn)的性能。然而，WM在自動駕駛中的應(yīng)用仍然是一個令人興奮的開放領(lǐng)域，部分原因是缺乏易于使用的平臺來訓(xùn)練和測試此類RL算法。開發(fā)基于WM的自動駕駛學(xué)習(xí)平臺對于該領(lǐng)域的研究將極為有益。

因此，受到這些因素的驅(qū)動，我們推出了CarDreamer，這是首個專門為基于WM的自動駕駛設(shè)計(jì)的開源學(xué)習(xí)平臺。CarDreamer旨在促進(jìn)算法的快速開發(fā)和評估，使用戶能夠在提供的任務(wù)上測試他們的算法，或者通過全面的開發(fā)套件快速實(shí)現(xiàn)自定義任務(wù)。CarDreamer的三大關(guān)鍵貢獻(xiàn)包括：

1. 整合WM算法以實(shí)現(xiàn)再現(xiàn)。CarDreamer集成了最先進(jìn)的WM，包括DreamerV2、DreamerV3和Planning2Explore，顯著減少了再現(xiàn)現(xiàn)有算法性能所需的時間。這些算法與CarDreamer的其他部分解耦，并通過統(tǒng)一的Gym接口進(jìn)行通信。這使得只要新算法支持Gym接口，就可以無需額外的適配工作就能直接集成和測試。
2. 高度可配置的優(yōu)化獎勵內(nèi)置任務(wù)。CarDreamer提供了一套全面的駕駛?cè)蝿?wù)，如變道和超車。這些任務(wù)允許在難度、可觀察性、觀察模式和車輛意圖通信方面進(jìn)行廣泛的定制。它們暴露相同的Gym接口以方便使用，并且獎勵函數(shù)精心設(shè)計(jì)以優(yōu)化訓(xùn)練效率。
3. 任務(wù)開發(fā)套件和可視化服務(wù)器。該套件不僅通過API驅(qū)動的交通生成和控制簡化了自定義駕駛?cè)蝿?wù)的創(chuàng)建，還包括一個模塊化觀察者以便于多模態(tài)數(shù)據(jù)的收集和配置。一個可視化服務(wù)器使代理駕駛視頻和統(tǒng)計(jì)數(shù)據(jù)的實(shí)時顯示成為可能，通過網(wǎng)頁瀏覽器加速獎勵工程和算法開發(fā)，提供即時的性能洞察。

其它框架介紹

這里簡要介紹了CarDreamer所涉及的兩大基石：CARLA ，一個高保真且靈活的模擬器，以及gym ，一個用于RL（強(qiáng)化學(xué)習(xí)）訓(xùn)練和評估的標(biāo)準(zhǔn)接口。

首先介紹CARLA，CARLA是一個開源模擬器，旨在模擬現(xiàn)實(shí)世界中的交通場景。CARLA基于Unreal Engine，提供了逼真的物理效果和高質(zhì)量渲染。CARLA提供了包括地圖、建筑、車輛和各種地標(biāo)在內(nèi)的數(shù)字資產(chǎn)。它支持各種傳感器，如RGB攝像頭、激光雷達(dá)（LiDAR）、雷達(dá)（RADAR）。用戶可以創(chuàng)建車輛或行人，并完全控制這些角色。這確實(shí)是一個非常通用的工具，但其在RL算法應(yīng)用中的主要缺點(diǎn)也源自其通用性。獲取BEV（鳥瞰圖）涉及一個繁瑣的過程，阻礙了其在訓(xùn)練RL算法中的快速部署。

接下來介紹gym。gym是由OpenAI定義的一個標(biāo)準(zhǔn)接口，用于規(guī)范智能體與環(huán)境之間的通信。這個接口的核心部分由兩個函數(shù)reset()和step(action)構(gòu)成。前者將環(huán)境初始化為其起始狀態(tài)。后者從智能體接收一個動作輸入，模擬環(huán)境的演變，并返回觀測數(shù)據(jù)、獎勵信號、終止指示符和一些額外信息。通過這種方式，只要兩者都支持gym接口，RL算法就可以在各種環(huán)境中進(jìn)行輕松測試，而無需進(jìn)行大量調(diào)整。已經(jīng)有很多努力在開發(fā)各種gym基準(zhǔn)測試，如Atari游戲、DMC套件。然而，在CARLA中基于WM的RL算法用于自動駕駛領(lǐng)域，CarDreamer是第一個通過gym接口提供多樣化城市駕駛?cè)蝿?wù)以促進(jìn)訓(xùn)練和評估的平臺。

CarDreamer網(wǎng)絡(luò)結(jié)構(gòu)

如圖1所示，CarDreamer包含三個主要組件：內(nèi)置任務(wù)、任務(wù)開發(fā)套件和世界模型主干。任務(wù)開發(fā)套件提供了各種API功能，包括在CARLA中創(chuàng)建車輛、控制交通流和規(guī)劃路線。一個觀察模塊自動化地收集多模態(tài)觀測數(shù)據(jù)，如傳感器數(shù)據(jù)和BEV（鳥瞰圖），這些數(shù)據(jù)由獨(dú)立且可定制的數(shù)據(jù)處理程序管理。這些數(shù)據(jù)具有雙重用途：它們被任務(wù)和訓(xùn)練可視化服務(wù)器所利用。可視化服務(wù)器通過HTTP服務(wù)器顯示實(shí)時駕駛視頻和環(huán)境反饋，并通過gym接口與世界模型算法無縫集成。在接收到智能體的響應(yīng)作為動作后，觀察模塊在下一幀從數(shù)據(jù)處理程序中收集數(shù)據(jù)，從而繼續(xù)這一操作循環(huán)。

這里精心設(shè)計(jì)了各種現(xiàn)實(shí)任務(wù)，從簡單的技能（如車道保持和左轉(zhuǎn)）到更復(fù)雜的挑戰(zhàn)（如在不同路況下隨機(jī)漫游，包括十字路口、環(huán)島和不同的車流）。這些任務(wù)高度可配置，提供了許多選項(xiàng)，這些選項(xiàng)提出了自動駕駛中的基本問題。

可觀察性與意圖共享：在強(qiáng)化學(xué)習(xí)中，部分可觀察性是一個重大挑戰(zhàn)，其中不完整的狀態(tài)信息可以通過包含所有歷史步驟來指數(shù)級地增加輸入空間的復(fù)雜性。為了解決自動駕駛中缺乏針對這些挑戰(zhàn)定制的工具的問題，我們在CarDreamer中提供了三種可觀察性設(shè)置：1) 視野（FOV）僅包含相機(jī)視野內(nèi)的車輛。2) 共享視野（SFOV）使車輛能夠與其自身視野內(nèi)的其他車輛通信并收集FOV數(shù)據(jù)。3) 完全可觀察性（FULL）假設(shè)具有完整的環(huán)境和背景交通信息。此外，用戶可以控制車輛是否共享其意圖，以及車輛與誰共享。這些配置與“傳達(dá)什么信息”和“與誰溝通”的基本問題保持一致。觀測模式：用戶可以配置觀測空間以包含各種模式，從RGB相機(jī)和LiDAR等傳感器數(shù)據(jù)到BEV等合成數(shù)據(jù)。這種靈活性支持了能夠直接從多模態(tài)原始傳感器數(shù)據(jù)做出決策或使用BEV感知進(jìn)行規(guī)劃的端到端模型的開發(fā)。難度：難度設(shè)置主要影響交通密度，提出了重大的碰撞避免挑戰(zhàn)。由于自動駕駛汽車的安全關(guān)鍵事件很少見，因此由于此類事件的罕見性，驗(yàn)證自動駕駛汽車的魯棒性本質(zhì)上很困難。CarDreamer特別設(shè)計(jì)用于在模擬這些罕見但關(guān)鍵事件的場景中全面評估安全性和效率。

獎勵函數(shù)。CarDreamer中的每個任務(wù)都配備了經(jīng)過優(yōu)化的獎勵函數(shù)，實(shí)驗(yàn)表明這可以使DreamerV3在僅10,000個訓(xùn)練步驟內(nèi)成功導(dǎo)航至路標(biāo)點(diǎn)（詳見第5節(jié)）。值得注意的是，我們的實(shí)證發(fā)現(xiàn)表明，基于速度或增量位置變化對智能體進(jìn)行獎勵，相比于基于絕對位置進(jìn)行獎勵，能帶來更好的性能。這是因?yàn)楫?dāng)僅基于位置進(jìn)行獎勵時，智能體可能會通過進(jìn)行小范圍的初始移動然后保持靜止來利用獎勵函數(shù)，因?yàn)槿魏芜M(jìn)一步的移動都可能導(dǎo)致碰撞懲罰。在實(shí)踐中，我們確實(shí)觀察到了這種次優(yōu)行為，其中學(xué)習(xí)的策略收斂到局部最優(yōu)解，通過保持靜止來避免碰撞。相反，基于速度進(jìn)行獎勵會迫使智能體保持持續(xù)運(yùn)動以累積獎勵，從而降低了過早收斂到不希望的靜止策略的風(fēng)險。獎勵設(shè)計(jì)精心考慮了駕駛?cè)蝿?wù)的關(guān)鍵要求，如軌跡平滑性，這在傳統(tǒng)的強(qiáng)化學(xué)習(xí)算法中常常被忽視。通常，這些算法在其損失函數(shù)或價值估計(jì)中包含一個熵項(xiàng)，以鼓勵探索并防止過早收斂。然而，在自動駕駛的背景下，這個熵項(xiàng)可能會激勵車輛遵循鋸齒形軌跡，因?yàn)檫@種不穩(wěn)定的運(yùn)動與更平滑的路徑相比，會產(chǎn)生更高的熵獎勵，即使兩種軌跡在達(dá)到目標(biāo)方面可能取得類似的進(jìn)展。為了抵消這種影響，這里引入了一個專門設(shè)計(jì)的懲罰項(xiàng)，以阻止與目標(biāo)方向垂直的運(yùn)動。因此，我們開發(fā)了一個獎勵函數(shù)，它有效地平衡了目標(biāo)進(jìn)度和軌跡平滑性，結(jié)構(gòu)如下：

界面與用法：CarDreamer中的所有內(nèi)置任務(wù)都采用了統(tǒng)一的gym接口，使得無需額外調(diào)整即可直接對強(qiáng)化學(xué)習(xí)算法進(jìn)行訓(xùn)練和測試。除了直接使用外，CarDreamer還支持多種算法，包括課程學(xué)習(xí)算法，這些算法可以利用從簡單到復(fù)雜任務(wù)的逐步進(jìn)展；以及持續(xù)學(xué)習(xí)算法，其旨在解決在學(xué)習(xí)新任務(wù)時的災(zāi)難性遺忘問題。此外，對于模仿學(xué)習(xí)，CarDreamer簡化了在模擬器中收集觀測數(shù)據(jù)的流程。盡管最初是為基于WM的強(qiáng)化學(xué)習(xí)算法設(shè)計(jì)的，但gym接口使得它能夠在各種算法策略中廣泛應(yīng)用。

1）任務(wù)開發(fā)套件

對于需要定制任務(wù)的用戶，CarDreamer 提供了一個高度模塊化的任務(wù)開發(fā)套件。這個套件可以根據(jù)不同級別的定制需求來滿足用戶的多樣化要求。初始模塊是“世界管理器”（World Manager），它滿足了基礎(chǔ)需求，如通過不同的地圖、路線、生成位置或背景交通流來改變駕駛場景。世界管理器負(fù)責(zé)管理“參與者”（actors），這是一個從 CARLA  借用的術(shù)語，它包括所有實(shí)體，如車輛、行人、交通信號燈和傳感器。它提供 API 調(diào)用以生成各種參與者，特別是在不同位置以默認(rèn)或定制藍(lán)圖生成車輛。這些車輛可以由用戶控制，也可以由自動駕駛儀（一種基于簡單規(guī)則的自動駕駛算法）控制。在重置時，它會透明地銷毀并釋放資源。第二個模塊是“觀察者”（Observer），它自動收集各種模式下的觀測數(shù)據(jù)。雖然它允許用戶無需手動交互即可輕松訪問預(yù)定義的觀測模式，但它也支持?jǐn)?shù)據(jù)規(guī)范的廣泛定制。這是通過一系列數(shù)據(jù)處理器實(shí)現(xiàn)的，每個處理器都為特定模式提供數(shù)據(jù)，如 RGB 相機(jī)處理器和 BEV 處理器。每個數(shù)據(jù)處理器都高度模塊化，并獨(dú)立管理特定類型數(shù)據(jù)的整個生命周期。用戶可以通過注冊一個符合自己需求的新數(shù)據(jù)處理器來增強(qiáng)觀察者。

第三個模塊包含路線規(guī)劃器，這些規(guī)劃器可以滿足多樣化的任務(wù)路線需求。CarDreamer包含了幾個規(guī)劃器：一個隨機(jī)規(guī)劃器，用于在整個地圖上進(jìn)行探索性漫游；一個固定路徑規(guī)劃器，用于創(chuàng)建連接用戶定義位置的路徑點(diǎn)；以及一個固定終點(diǎn)規(guī)劃器，它使用經(jīng)典的A* 算法從當(dāng)前位置生成到指定終點(diǎn)的路線。為了滿足額外的定制需求，還提供了一個基類，用戶可以通過重寫init_route()和extend_route()方法（它們分別定義了每個時間步長的路線初始化和擴(kuò)展）來開發(fā)自己的規(guī)劃器。此外，該套件還包含一個可視化服務(wù)器，該服務(wù)器將Observer的輸出和環(huán)境反饋的其他統(tǒng)計(jì)數(shù)據(jù)無縫集成，并通過HTTP服務(wù)器進(jìn)行顯示。這種自動化促進(jìn)了快速反饋，無需額外的編碼工作即可改進(jìn)獎勵工程和算法開發(fā)過程。

2）世界模型Backbone

CarDreamer中的世界模型骨干框架無縫集成了包括DreamerV2 、DreamerV3和Planning2Explore 等在內(nèi)的最先進(jìn)方法，從而促進(jìn)了這些模型的快速復(fù)現(xiàn)。這種骨干架構(gòu)經(jīng)過精心設(shè)計(jì)，旨在將世界模型實(shí)現(xiàn)與特定任務(wù)的組件進(jìn)行解耦，從而提高了模塊化和可擴(kuò)展性。這些組件之間的通信通過標(biāo)準(zhǔn)的gym接口進(jìn)行有效管理，允許進(jìn)行廣泛的自定義。這種解耦使用戶能夠輕松地將默認(rèn)的世界模型替換為自己的實(shí)現(xiàn)，支持快速原型設(shè)計(jì)、基準(zhǔn)測試和與既定基準(zhǔn)的比較分析。因此，CarDreamer為基于世界模型的算法提供了一個全面的測試平臺，促進(jìn)了該領(lǐng)域內(nèi)加速研究和發(fā)展的生態(tài)系統(tǒng)。該平臺鼓勵用戶在由多樣化的駕駛?cè)蝿?wù)和性能指標(biāo)組成的一致且標(biāo)準(zhǔn)化的評估框架內(nèi)探索創(chuàng)新的架構(gòu)、損失函數(shù)和訓(xùn)練策略。

CarDreamer任務(wù)實(shí)驗(yàn)

這里使用了僅包含1800萬個參數(shù)的小型DreamerV3模型（如圖4所示）作為模型骨干。這個小型DreamerV3模型有32個CNN乘法器、512個GRU和MLP單元，而MLP在其RSSM中僅有兩層。較小的內(nèi)存開銷約為10GB，這使得我們能夠在運(yùn)行CARLA模擬器的同時，在單個NVIDIA 4090 GPU上進(jìn)行訓(xùn)練。在每個任務(wù)上訓(xùn)練智能體。

獎勵曲線隨時間步長的變化如圖2所示。

交通量較少的簡單任務(wù)，如“右轉(zhuǎn)簡單”和“車道合并”，通常在50,000步（約1小時）內(nèi)收斂，而涉及更密集、更激進(jìn)的交通流，需要避免碰撞的任務(wù)，則需要大約150,000至200,000步（約3至4小時）才能收斂。在評估中，我們采用了幾種指標(biāo)來嚴(yán)格評估在CarDreamer任務(wù)中執(zhí)行的自動駕駛智能體的性能，詳見表1。這些指標(biāo)包括：

? 成功率：該指標(biāo)衡量智能體車輛成功完成任務(wù)（到達(dá)目的地或行駛預(yù)定距離而沒有事故或偏離車道）的百分比。

? 平均距離（米）：表示在所有情節(jié)中，智能體車輛在情節(jié)結(jié)束前（無論是通過完成任務(wù)還是由于失敗，如碰撞或超時）所行駛的平均距離。

? 碰撞率（%）：計(jì)算智能體車輛發(fā)生碰撞的情節(jié)百分比。

? 平均速度（米/秒）：測量智能體車輛在整個任務(wù)過程中保持的平均速度。這個指標(biāo)反映了車輛在速度與安全性之間的平衡能力，指示其導(dǎo)航環(huán)境的效率。

? 路徑點(diǎn)距離：該指標(biāo)量化了與期望路線路徑點(diǎn)的平均偏差。它評估了車輛遵循計(jì)劃路徑的能力，反映了其在遵循給定軌跡時的導(dǎo)航準(zhǔn)確性和精確度。

1）不同觀測模態(tài)下的預(yù)測

世界模型（WM）的想象能力使其能夠有效地預(yù)測未來場景并管理潛在事件。為了評估WM在不同觀測模態(tài)下的想象性能，我們在“右轉(zhuǎn)困難”任務(wù)上進(jìn)行了實(shí)驗(yàn)。選擇了三種不同的模態(tài)：鳥瞰圖（BEV）、攝像頭和激光雷達(dá)（LiDAR）。對于每一種模態(tài)，WM都需要在給定的起始狀態(tài)和一系列動作下，想象未來幾步的觀測結(jié)果。圖4展示了結(jié)果，對比了三種模態(tài)下真實(shí)圖像與想象圖像的差異。第一行顯示了真實(shí)觀測圖像，第二行是WM想象的結(jié)果，第三行是它們之間的差異。我們選擇了在想象范圍內(nèi)最多64個時間步的幀。這些發(fā)現(xiàn)表明，盡管模態(tài)不同，WM在準(zhǔn)確預(yù)測未來方面仍然表現(xiàn)出色。在BEV實(shí)驗(yàn)中（a），WM精確地預(yù)測了直行和右轉(zhuǎn)車輛的位置和軌跡，以及BEV相對于自我車輛的旋轉(zhuǎn)和平移。同樣，在攝像頭和LiDAR設(shè)置中，WM也成功預(yù)測了自我車輛前方行駛的車輛。

2）車對車通信的好處

CarDreamer的一個獨(dú)特特性是其能夠方便地定制車輛之間的通信水平。車輛可以共享視野（FOV）視圖，從而獲得不同的可觀測性。此外，它們甚至可以共享意圖（由車輛的計(jì)劃路徑點(diǎn)表示），以便更好地規(guī)劃。我們利用這一特性來評估通信的影響。在一個agent上，在“右轉(zhuǎn)困難”任務(wù)的不同設(shè)置下進(jìn)行了訓(xùn)練和測試，即不同的可觀測性和是否能夠訪問其他車輛的意圖。由于密集的交通和來自視野外車輛的頻繁潛在碰撞，“右轉(zhuǎn)困難”任務(wù)特別適合測試可觀測性和意圖通信。獎勵曲線如圖5所示，一些性能指標(biāo)如表2所示。請注意，在我們的獎勵函數(shù)中，成功執(zhí)行右轉(zhuǎn)的行為大致由超過250的獎勵表示。結(jié)果表明，有限的可觀測性或缺乏意圖共享會阻礙代理完成任務(wù)。圖6中一個情節(jié)中均勻采樣的圖像提供了很好的解釋：代理采用了保守且次優(yōu)的策略，它在交叉路口停下來以避免碰撞。例如，在圖6的前三行中，代理在并入車流之前停止移動。相比之下，完整的信息使自我車輛能夠成功執(zhí)行右轉(zhuǎn)。