自動駕駛汽車面臨的一個核心挑戰是如何與人類合作。因此，在模擬環境中，將現實中的人類代理納入到自主駕駛系統的可擴展訓練和評估中至關重要。模擬代理通常是通過模仿大規模、高質量的人類駕駛數據集來開發的。然而，純粹的模仿學習代理在多代理閉環環境中執行時經驗上具有較高的碰撞率。為了構建在閉環設置中既逼真又有效的代理，研究人員提出了一種名為 Human-Regularized PPO（HR-PPO） 的多代理方法，其中代理通過與一個人類參考策略做自我對弈訓練，并對偏離人類參考策略的行為施加了小的懲罰。與以往的方法相比，該方法以強化學習為主，僅利用了30分鐘的不完美人類示范數據。在大量的多代理交通場景的評估中，HR-PPO 代理在實現目標方面非常有效，成功率達到 93%，越出道路的比率為 3.5%，碰撞率為 3%。與此同時，HR-PPO 代理以類似人類駕駛的方式行駛，在與人類駕駛協調的代理指標上表現出相當大的改進，特別是在高度互動的情景中。

當前的駕駛模擬器提供了基本的交互代理 - 簡單的車輛跟隨模型、基于規則的代理、記錄的人類駕駛日志或模仿學習代理。這些模型無法創建具有挑戰性的協調場景，或者在閉環中具有高碰撞率。

為了構建在閉環設置中既逼真又有效的代理，研究人員提出了Human-Regularized PPO (HR-PPO)，一種多代理方法，通過自我對弈訓練，并對偏離人類參考策略的行為施加了小的懲罰。

方法

• 步驟1：模仿學習

通過對人類駕駛示范進行模仿學習，獲取人類參考策略。

• 步驟2：引導自我對弈

代理在多代理設置中進行訓練，每個場景最多可容納50個代理。目標函數如下：

實驗結果

在大量的多代理交通場景中，研究人員發現可以同時實現效果和逼真度。HR-PPO 代理在四種不同逼真度指標上實現了顯著的人類相似性改進，同時達到了與 PPO 相似的性能水平。

HR-PPO 代理在衡量與人類駕駛協調的代理指標上顯示出相當大的改進，特別是在需要代理之間協調的高度互動場景中。在互動場景中，HR-PPO 在 PPO 的基礎上提升了 20-40%。

有趣的是，它們甚至表現出比直接在代理的測試分布上訓練的代理更好的性能。這表明，多代理訓練可能比單一代理訓練提供了額外的好處。

為什么 HR-PPO 代理與人類駕駛日志更兼容呢？

• HR-PPO 代理的駕駛風格類似于人類駕駛員，這使得它更容易適應人類駕駛日志的行為；

• HR-PPO 代理與其他車輛保持更多距離，從而降低了碰撞的風險。

譯自（有刪改）：https://sites.google.com/view/driving-partners