本文經自動駕駛之心公眾號授權轉載，轉載請聯系出處。

這是7月份采用大語言模型研究自動駕駛的論文“Drive Like a Human: Rethinking Autonomous Driving with Large Language Models“，來自上海AI實驗室和華東師范。

本文探討用大型語言模型（LLM）以類似人類的方式理解駕駛環境的潛力，并分析其在面對復雜場景時的推理、解釋和記憶能力。傳統的基于優化和模塊化的自動駕駛（AD）系統在處理長尾極端情況時面臨固有的性能限制。為了解決這個問題，作者思考一個理想的AD系統應該像人一樣駕駛，通過連續駕駛積累經驗，用常識解決問題。為了實現這一目標，確定AD系統所需的三個關鍵能力：推理、解釋和記憶。通過構建閉環系統來展示LLM在駕駛場景中使用LLM的可行性，展示其理解和環境交互能力。

如圖就是GPT-3.5 在 高速環境中進行閉環駕駛的示意圖：（a） GPT-3.5 用感知工具觀察高速環境并做出控制車輛的決策，形成閉環。（b） GPT-3.5 采用 ReAct 策略（來自論文“React: Synergizing reasoning and acting in language models”. arXiv 2210.03629）來規劃動作和使用工具，同時通過思考、行動和觀察的循環來感知周圍環境。

與人類一樣，GPT-3.5 在駕駛時評估其行為的潛在后果，并權衡結果以做出最明智的決定。與廣泛使用的基于強化學習 （RL） 和基于搜索的方法不同，GPT-3.5 不僅可以解釋場景和操作，還可以利用常識來優化其決策過程。

與基于 RL 的方法相比，GPT-3.5 在 高速環境中實現了超過 60% 的零樣本通過率，無需任何微調。相比之下，基于 RL 的方法嚴重依賴多次迭代來實現有競爭力的性能。例如，如圖（a）所示，由于碰撞受到嚴厲懲罰，基于RL的智體學習了一種策略，為了防止碰撞，在開始時減速，為隨后的加速創造廣闊的空間。這表明基于RL的方法經常產生這種意想不到的解決方案。基于搜索的方法通過優化目標函數來做出決策，忽略函數中未提及的未定義部分。如圖（b）所示，基于搜索的智體可能會表現出激進的變道行為以實現高駕駛效率，從而增加碰撞風險。此外，即使沒有其他車輛在前方，基于搜索的方法也可能進行無意義的變道操作。這可能是因為，對于基于搜索的智體來說，在安全的前提下，變道和保持速度在目標功能中具有同等的優先級。因此，智體隨機選擇其中一個操作。

總之，基于RL和基于搜索的方法都不能真正像人類一樣思考和駕駛，因為缺乏常識、解釋場景以及權衡利弊的能力。相比之下，GPT-3.5 可以解釋每個動作的后果，通過提供提示，可以使 GPT-3.5 以價值為導向、并做出更像人類的決策。

雖然人類駕駛員和以前基于優化的AD系統都擁有基本的駕駛技能，但根本區別在于人類對世界有常識性的理解。常識是，從日常生活中積累的對周圍發生的事情做合理而實用的判斷[11]。有助于駕駛的常識可以從日常生活的各個方面得出。當出現新的駕駛情況時，人類駕駛員可以根據常識快速評估場景并做出合理的決定。相比之下，傳統的AD系統可能在駕駛領域有經驗，但缺乏常識，因此無法應對這種情況。

像GPT-3.5這樣的LLM已經接受了大量自然語言數據的訓練，并且對常識了如指掌[2]。這標志著與傳統AD方法的重大背離，使LLM能夠像人類駕駛員一樣用常識推理復雜的駕駛場景。

如圖所示，兩張相似但不同的照片被輸入LLM。第一張照片描繪了一輛皮卡車在卡車車廂里攜帶幾個交通錐前往目的地。第二張照片還描繪了一輛皮卡的卡車車廂里有交通錐，但周圍地面上散落著其他交通錐。由于 GPT-3.5 缺乏處理包括圖像在內的多模態輸入的能力，文中用 LLaMA-Adapter v2 視覺指令模型（來自論文“Llama-adapter v2: Parameter-efficient visual instruction model“，arXiv 2304.15010）作為圖像處理前端。指示LLaMA Adapter盡可能詳細地描述照片。然后將此描述用作觀察，要求 GPT-3.5 評估該場景是否具有潛在危險，并為假設跟隨卡車的自車做出決定。在圖（a）中描述的第一個案例中，LLaMA-Adapter識別出照片中的皮卡車攜帶多個交通錐，并推斷它可能正在將它們運送到目的地。基于這些觀察結果，GPT-3.5 成功分析了駕駛場景。GPT-3.5 沒有被交通錐的存在所誤導，而是認為這種情況是無害的，基于卡車將貨物運送到目的地是很常見的。GPT-3.5 建議自車沒有必要減速，并警告說不必要的減速可能對交通流量造成危險。對于圖（b）中描述的第二個案例，交通錐不僅在卡車車廂內，而且散落在地面上，用LLaMA-Adapter準確表示這個內容。盡管與第一個案例略有不同，但 GPT-3.5 的反應截然相反。它認為這種情況具有潛在的危險，因為卡車周圍散落的交通錐，并建議自車減速并保持一定距離，避免與這些交通錐發生任何碰撞。

以上的例子展示了LLM在駕駛場景中強大的零樣本理解和推理能力。利用常識知識，不僅讓LLM能夠更好地理解場景中的語義信息，還能讓其做出更理性的決策，更符合人類的駕駛行為。因此，擁有常識知識可以提高自動駕駛系統能力的上限，使其能夠處理未知的長尾情況，真正接近人類駕駛員的駕駛能力。

持續學習[28]是人類駕駛的另一個關鍵方面。新手司機在遇到復雜的交通狀況時，由于經驗有限，通常會謹慎駕駛。隨著時間的推移，隨著駕駛經驗的積累，駕駛員會遇到新的交通場景，發展新的駕駛技能，并鞏固他們以前的經驗，最終成為經驗豐富的駕駛員。基于優化的方法旨在通過獲取越來越多的失敗案例并重新訓練神經網絡來模仿持續學習的過程。然而，這種方法不僅乏味且昂貴，而且從根本上無法實現持續學習。常規駕駛和長尾極端情況案例之間的分布差異對平衡兩者構成了重大挑戰，最終導致“災難性遺忘”。因此，需要一種更有效的方法來實現自動駕駛系統中真正的持續學習。

下圖給出了記憶過程的示例。該場景涉及一輛藍色自車和一輛黃車在一條略寬于汽車兩倍的狹窄車道上在相反方向相遇。將場景轉換為結構化文本輸入GPT-3.5后，模型很好地理解了場景，包括車輛的狀態、方向和目的地。然而，當要求它對場景做出決定時，GPT-3.5 給出了一個安全但過于謹慎的建議，即自車應該停下來等待另一輛車先通過。為了提高LLM的性能，專家就人類駕駛員如何處理這種情況提供了實用的建議，其中包括保持汽車移動并將其稍微向左輕推。LLM然后認識到有足夠的空間讓兩輛車通過，減速可能會擾亂交通流量。它將情況總結為“同一車道上的兩輛車相互靠近”，并記錄記憶以及正確的決定。利用這些記憶，輸入了另一個場景，即兩輛車以不同的速度和位置在狹窄的小巷中相遇，并要求LLM做出決定。LLM成功地認識到這只是“同一車道上的兩輛車相互靠近”決策場景的另一種變型，并建議自車繼續行駛而不需減速等待，是一種安全的辦法。

記憶能力不斷收集駕駛案例以獲得經驗，并通過檢索現有記憶來輔助決策，賦予LLM在自動駕駛領域的持續學習能力。此外，這大大降低了LLM在類似情況下的決策成本，并提高了其實際性能。

原文鏈接：https://mp.weixin.qq.com/s/DQpGuGWAona7JHKlQuA3eQ