寫在前面 & 筆者的個人理解

OpenAI o1 和 DeepSeek R1 在數學和科學等復雜領域達到了或甚至超越了人類專家的水平，強化學習（RL）和推理在其中發揮了關鍵作用。在自動駕駛領域，最近的端到端模型極大地提高了規劃性能，但由于常識和推理能力有限，仍然難以應對長尾問題。

一些研究將視覺-語言模型（VLMs）集成到自動駕駛中，但它們通常依賴于預訓練模型，并在駕駛數據上進行簡單的監督微調（SFT），沒有進一步探索專門為規劃設計的訓練策略或優化方法。本文提出了 AlphaDrive，一個針對自動駕駛中 VLMs 的 RL 和推理框架。AlphaDrive 引入了四個基于 GRPO 的 RL 獎勵，專門用于規劃，并采用結合 SFT 與 RL 的兩階段規劃推理訓練策略。結果表明，與僅使用 SFT 或不進行推理相比，AlphaDrive 顯著提升了規劃性能和訓練效率。此外，我們還興奮地發現，在 RL 訓練之后，AlphaDrive 展現出了一些新興的多模態規劃能力，這對提高駕駛安全性和效率至關重要。據我們所知，AlphaDrive 是首個將基于 GRPO 的 RL 與規劃推理集成到自動駕駛中的框架。代碼將被發布以促進未來的研究。

• 論文鏈接：https://arxiv.org/abs/2503.07608
• 代碼鏈接：https://github.com/hustvl/AlphaDrive

引言

近年來，自動駕駛技術取得了快速進展，端到端自動駕駛成為最具代表性的模型之一。這些模型以傳感器數據為輸入，利用可學習的神經網絡規劃車輛未來軌跡。得益于大規模駕駛演示數據，端到端模型通過擴展訓練數據和增加模型參數持續改進規劃能力。然而，由于其黑箱特性與常識推理能力的缺失，端到端模型在處理復雜和長尾駕駛場景時仍面臨重大挑戰。例如，當前方車輛攜帶交通錐行駛時，端到端模型可能無法理解前車與交通錐的關系，誤判道路施工不可通行，從而做出錯誤的制動決策。因此，僅依賴端到端模型實現高級別自動駕駛仍存在顯著局限性。

隨著GPT的成功，大型語言模型（LLMs）展現出卓越的理解與推理能力，并逐步從單模態文本理解擴展到多模態視覺-語言處理。視覺-語言模型（VLMs）的常識與推理能力為緩解端到端模型的缺陷提供了潛在解決方案。

近期，OpenAI o1通過集成推理技術，在編程等領域達到甚至超越人類專家水平。DeepSeek R1則利用強化學習（RL），不僅展現出“涌現能力”并取得頂尖性能，且訓練成本顯著低于其他模型。這些進展凸顯了推理技術與強化學習在大型模型開發中的巨大潛力。

現有將VLMs應用于自動駕駛的研究可分為兩類：

1. 駕駛場景理解：利用VLMs解析場景語義；
2. 規劃決策：部分研究將VLMs作為端到端系統，直接根據輸入圖像生成軌跡。然而，與專為軌跡規劃設計的端到端模型不同，VLMs的輸出空間為離散語言符號，難以直接生成精確數值預測，可能導致性能不足或安全隱患。

部分研究嘗試通過自然語言描述高層動作（如“減速右轉”）規避上述問題，但仍缺乏對訓練方法的深入探索。多數工作僅依賴監督微調（SFT），忽視了不同訓練策略對規劃性能與訓練效率的影響。

本文探討以下核心問題：如何將強化學習與推理技術（在通用大模型中取得顯著成功的方法）應用于自動駕駛規劃，以提升VLMs的性能并降低訓練成本？

通過初步實驗，我們發現直接應用現有RL與推理技術效果欠佳，主要歸因于以下三方面：

1. 獎勵設計不匹配：通用任務的RL獎勵（如視覺計數任務的正確性判斷）難以適應規劃需求。自動駕駛中，不同駕駛行為的重要性差異顯著（如制動與加速），需設計權重差異化的獎勵機制。
2. 多解性挑戰：規劃問題通常存在多個合理解（如直行道路可選擇勻速或加速），需避免強制對齊單一真值標簽。
3. 推理數據匱乏：自動駕駛缺乏現成的規劃推理數據集，人工標注成本高昂，直接應用現有推理技術困難。

針對上述挑戰，本文提出AlphaDrive——首個將基于GRPO的強化學習與規劃推理集成到自動駕駛的框架。具體貢獻如下：

• GRPO強化學習策略：采用Group Relative Policy Optimization（GRPO），相比PPO和DPO，其組間相對優化策略更適配規劃的多解性，實驗表明GRPO訓練的模型展現出涌現的多模態規劃能力。
• 四維獎勵設計：

• 規劃準確性獎勵：基于F1分數評估橫向（方向）與縱向（速度）決策一致性；
• 動作加權獎勵：根據安全關鍵性為不同動作分配權重（如制動權重高于勻速）；
• 規劃多樣性獎勵：鼓勵生成多樣化可行解，防止模式坍縮；
• 格式規范獎勵：強制輸出結構化格式（如<answer>標簽），提升訓練穩定性。

• 兩階段訓練范式：

• 階段一（SFT知識蒸餾）：利用大模型（如GPT-4o）生成高質量規劃推理數據，通過SFT實現推理過程蒸餾；

• 階段二（RL探索）：在SFT基礎上進行RL微調，緩解早期訓練的不穩定性和幻覺問題。

實驗表明，與僅使用SFT或無推理的模型相比，AlphaDrive在規劃準確率上提升25.52%，且在僅20%訓練數據下性能超越SFT模型35.31%。此外，RL訓練后模型涌現出多模態規劃能力（如復雜場景生成多個合理決策），為提升駕駛安全與效率提供了新方向。據我們所知，AlphaDrive是首個將GRPO-based RL與規劃推理結合的自動駕駛框架，代碼將開源以推動后續研究。

相關工作回顧

視覺-語言模型自GPT發布以來，大型模型的能力已從單模態擴展到多模態。大型視覺-語言模型（VLMs）在視覺理解與推理任務中展現出卓越性能。早期研究嘗試將視覺模型與大型語言模型（LLMs）結合：Flamingo通過視覺編碼器處理視覺信號，并在LLM解碼器中引入注意力層以實現跨模態交互；BLIP提出Q-Former架構和跨模態對比學習任務，以橋接視覺編碼器與LLMs；LLaVA采用簡單的MLP作為視覺與語言模塊的連接器，僅用有限數據即實現強大的視覺理解能力。QwenVL系列進一步優化了視覺模塊，支持高分辨率和動態分辨率圖像輸入，并在多語言任務和空間感知中表現優異。

強化學習與推理自回歸學習是LLMs的主流預訓練策略，而強化學習（RL）與推理技術進一步增強了模型能力。例如，GPT采用基于人類反饋的強化學習（RLHF），將人類意圖和偏好融入訓練過程；直接偏好優化（DPO）通過優化偏好反饋提升模型性能。Group Relative Policy Optimization（GRPO）引入組間相對優化策略，通過多組輸出的相對優劣提升訓練穩定性和效果。

DeepSeek R1基于GRPO訓練時經歷了“頓悟時刻”（Aha Moment），模型在無顯式引導下自主增加問題思考并重新評估初始方案，展示了RL在推動模型從模仿轉向涌現智能中的潛力。本實驗中，我們同樣觀察到，經過GRPO-based RL訓練后，AlphaDrive展現出多模態規劃能力，可生成多組合理駕駛方案，為提升駕駛安全與效率提供了可能。在推理領域，Chain-of-thought通過分步分解復雜問題顯著提升解決能力。OpenAI o1基于該方法，結合推理時擴展（如蒙特卡洛樹搜索MCTS和集束搜索Beam Search），在科學和編程等需復雜推理的領域取得突破，表明除擴展模型參數與數據外，提升推理時計算量亦是重要方向。

自動駕駛規劃規劃是自動駕駛的核心任務。早期基于規則的算法通用性與效率受限。近期，端到端模型通過統一神經網絡直接從傳感器數據輸出軌跡或控制信號，利用大規模駕駛演示數據驅動訓練，顯著提升規劃性能。然而，端到端模型因缺乏常識與推理能力，仍難以應對長尾場景。

VLM在自動駕駛中的應用VLM的常識與推理能力可有效彌補端到端模型的不足。在機器人領域，視覺-語言-動作（VLA）模型通過理解指令執行復雜動作，VLM生成規劃指令后由動作模型轉換為控制信號。

自動駕駛領域亦有相關探索：DriveGPT4以視頻為輸入，直接預測控制信號；ELM利用跨領域視頻數據提升VLM在駕駛任務中的性能；OmniDrive提出稀疏3D令牌表征場景，輸入VLM進行理解與規劃。

部分研究結合VLM與端到端模型：DriveVLM首次將VLM用于低頻軌跡預測，端到端模型生成高頻軌跡；Senna提出VLM負責高層規劃、端到端模型執行低層軌跡預測的框架。此外，多數據集與基準推動了VLM在自動駕駛中的應用。然而，現有工作多依賴預訓練模型與簡單SFT，缺乏針對規劃的訓練策略探索，需進一步將RL與推理技術引入自動駕駛領域。

詳解AlphaDrive

概述

AlphaDrive 是專為自動駕駛規劃設計的視覺-語言模型（VLM）。與以往僅依賴監督微調（SFT）的方法不同，我們探索了強化學習（RL）與推理技術的結合，以更好地適配駕駛規劃的獨特特性：

1. 不同駕駛行為的重要性差異（如制動比勻速行駛更關鍵）；
2. 多解性（如直行道路可選擇加速或保持速度）；
3. 規劃推理數據的匱乏。

為此，我們提出四個基于GRPO的RL獎勵函數，并設計結合SFT與RL的兩階段規劃推理訓練策略。實驗表明，與僅使用SFT或無推理的模型相比，AlphaDrive在規劃性能與訓練效率上均顯著提升。以下詳細闡述各模塊的設計。

面向規劃的強化學習

強化學習算法

當前主流RL算法包括PPO、DPO和GRPO。給定查詢，GRPO從舊策略中采樣一組輸出，并通過最大化以下目標優化新策略：

其中，，和為超參數，優勢通過組內獎勵歸一化計算。

選擇GRPO的原因：

1. DeepSeek R1[14]驗證了GRPO在通用領域的有效性，其訓練穩定性與效率優于PPO和DPO；
2. GRPO的組間相對優化策略天然適配規劃的多解性。實驗進一步表明，GRPO訓練的模型展現出更強的規劃能力。

規劃獎勵建模

規劃準確性獎勵數學或編程領域可通過最終答案是否正確直觀判定獎勵，但規劃需同時考慮橫向（方向）與縱向（速度）決策。我們采用F1分數分別評估兩者的準確性。初期直接匹配真實標簽導致訓練不穩定，最終采用F1分數以避免模型學習“輸出所有可能動作”的捷徑策略。

動作加權獎勵不同動作對安全的重要性不同（如制動權重高于勻速）。為此，我們為動作分配權重，將其作為獎勵的加權分量。

規劃多樣性獎勵規劃本質為多模態任務。為避免模型收斂到單一解，我們鼓勵生成多樣化可行解：當輸出差異較大時提高獎勵，反之降低獎勵。

規劃格式獎勵要求輸出嚴格遵循<answer>標簽格式（如<answer> decelerate, left_turn</answer>），未遵循則獎勵為0。

獎勵計算流程詳見算法1。最終，規劃質量獎勵（準確性×權重×多樣性）與格式獎勵共同用于GRPO損失計算。

推理：大模型知識蒸餾

自動駕駛缺乏現成的規劃推理數據，人工標注成本高昂。為此，我們利用大模型（如GPT-4o）從少量駕駛片段生成高質量推理數據：

1. 輸入：真實駕駛動作、車輛狀態與導航信息；
2. 輸出：簡潔的決策過程（如“前方綠燈，但行人待穿行，故減速”）。

經人工篩選后，通過SFT將推理過程蒸餾至AlphaDrive，顯著提升其推理能力。

訓練：SFT預熱與RL探索

RL依賴稀疏獎勵信號，而SFT基于稠密監督更適配知識蒸餾。此外，僅使用RL易導致訓練初期不穩定。因此，我們采用兩階段訓練：

1. 階段一（SFT預熱）：使用少量數據蒸餾大模型推理過程；
2. 階段二（RL探索）：在全量數據上微調，提升模型魯棒性與多模態規劃能力。

實驗結果分析

實驗設置

數據集我們采用MetaAD作為訓練與評估基準。該數據集包含12萬段真實駕駛片段（每段3秒），覆蓋多傳感器數據與感知標注，并保持各類駕駛環境與規劃動作的平衡分布。其中11萬段用于訓練，1萬段用于驗證。此外，我們從訓練集中采樣3萬段數據生成規劃推理過程。

訓練細節以Qwen2VL-2B為基模型，輸入包括前視圖像與包含當前車速、導航信息的提示詞（如“直行100米后右轉”）。訓練使用16塊NVIDIA A800 GPU。

評估指標

1. 元動作規劃準確性：計算橫向（直行/左轉/右轉）與縱向（保持/加速/減速/停止）動作的F1分數，并綜合為整體規劃準確率；
2. 推理質量：通過BLEU-4、CIDEr、METEOR評估生成推理過程與標注的相似度。

主要結果

表1顯示，AlphaDrive在MetaAD上的規劃準確率達77.12%，較次優模型Qwen2VL-7B提升25.5%。關鍵動作（如轉向與加減速）的F1分數顯著提高，推理質量亦優于其他模型，驗證了兩階段訓練策略的有效性。

表2的消融實驗表明：

• 基礎準確性獎勵（ID1）因格式不匹配導致性能偏低；
• 格式獎勵（ID2）小幅提升穩定性；
• 動作加權獎勵（ID3-4）顯著優化關鍵決策；
• 多樣性獎勵（ID5-6）進一步防止模式坍縮。

表3對比不同訓練策略：

• SFT+RL在復雜動作（如減速）上的F1分數提升15%以上，推理能力優于純SFT或RL模型；
• RL訓練在數據量有限時（如20K樣本）表現更優，僅需20%數據即可超越SFT模型35.31%（表4）。

消融實驗

獎勵函數設計

• 規劃準確性獎勵（F1分數）避免模型學習“輸出所有動作”的捷徑策略；
• 動作加權獎勵提升安全關鍵動作（如制動）的權重；
• 多樣性獎勵通過懲罰重復輸出，鼓勵生成多組可行解；
• 格式獎勵確保輸出結構化，提升訓練穩定性。

訓練策略

• SFT預熱緩解RL早期訓練的不穩定性；
• RL探索通過GRPO優化多解性與安全性，實驗顯示模型在復雜場景中涌現出多模態規劃能力（圖3）。

多模態規劃能力涌現

如圖3所示，AlphaDrive在復雜場景（如前方車輛緩慢行駛）中可生成多個合理決策（如減速左轉超車或停車等待），而SFT模型僅輸出單一動作。此能力可與下游動作模型結合，動態選擇最優方案，提升駕駛安全性與效率。

結論與局限性

結論本研究提出了AlphaDrive——一種面向自動駕駛規劃的視覺-語言模型（VLM）。與以往僅依賴監督微調（SFT）的方法不同，我們探索了強化學習（RL）與推理技術在規劃任務中的結合。具體而言，AlphaDrive引入了基于GRPO的規劃導向RL策略，并設計了兩階段規劃推理訓練范式。據我們所知，AlphaDrive是首個將RL與推理技術應用于自動駕駛規劃的框架，顯著提升了性能與訓練效率。

局限性當前版本仍存在以下不足：

1. 復雜行為標注數據不足：由于缺乏豐富的標注數據，AlphaDrive尚無法輸出車道變換或繞行等復雜駕駛行為；
2. 偽標簽質量依賴：規劃推理數據來自大模型基于真實駕駛動作生成的偽標簽，其感知準確性可能影響數據質量，需進一步閉環驗證以提升性能上限。

未來工作將聚焦于通過數據增強與系統驗證優化模型能力，推動自動駕駛規劃技術的實際應用。