在人工智能的下一個前沿，具身智能（Embodied AI）正成為機(jī)器人、自動駕駛、增強(qiáng)/虛擬現(xiàn)實(shí)等領(lǐng)域的關(guān)鍵驅(qū)動力。與傳統(tǒng)的“屏幕內(nèi)”智能不同，具身智能要求 AI 不僅能理解世界，還能在物理世界中感知、推理并采取行動。這意味著它必須同時處理視覺、語言、空間、動作等多模態(tài)信息，并將它們轉(zhuǎn)化為可執(zhí)行的計劃。

多模態(tài)大語言模型（MLLMs）的崛起，為跨模態(tài)理解與推理帶來了革命性突破。它們能夠?qū)D像、文本、視頻等信息統(tǒng)一到一個語義空間中進(jìn)行推理，展現(xiàn)出驚人的泛化能力?？墒钱?dāng)這些模型被放到真實(shí)的具身任務(wù)中時，問題就暴露出來了——它們在“看懂”與“做到”之間，仍存在兩道難以跨越的鴻溝。

第一道鴻溝是幾何適應(yīng)性缺口（Geometric Adaptability Gap）。許多 MLLMs 主要在 2D 圖像上訓(xùn)練，缺乏對三維空間結(jié)構(gòu)的深度理解。當(dāng)任務(wù)需要精確的空間推理——例如在桌面上堆疊物體、在復(fù)雜環(huán)境中導(dǎo)航——它們往往力不從心?，F(xiàn)有的 3D 融合方法大多是硬編碼的，不區(qū)分任務(wù)需求，結(jié)果是在不需要 3D 信息的任務(wù)中引入噪聲和額外計算負(fù)擔(dān)。

第二道鴻溝是具身約束缺口（Embodiment Constraint Gap）?，F(xiàn)實(shí)中的機(jī)器人有物理限制——機(jī)械臂的可達(dá)范圍、關(guān)節(jié)角度、抓取能力、底盤的移動范圍等。如果規(guī)劃器忽視這些約束，即便推理結(jié)果在語義上正確，也可能在物理上無法執(zhí)行。

正是為了跨越這兩道鴻溝，華為 Noah’s Ark Lab 推出了 OmniEVA。研究團(tuán)隊(duì)意識到，真正的具身智能需要兩種能力的結(jié)合：一是任務(wù)自適應(yīng)的 3D 融合，讓模型在需要時引入三維空間信息，在不需要時保持輕量高效；二是具身感知的推理機(jī)制，讓模型在生成計劃時自動考慮機(jī)器人本體的物理可行性。

華為 Noah’s Ark Lab 長期深耕 AI 前沿研究，在多模態(tài)理解、3D 場景建模、強(qiáng)化學(xué)習(xí)與機(jī)器人控制等領(lǐng)域積累了豐富的技術(shù)儲備。OmniEVA 正是這些研究成果的集大成者，旨在為具身智能提供一個跨任務(wù)、跨模態(tài)、可執(zhí)行的通用規(guī)劃框架。

圖1：2D和3D實(shí)體推理基準(zhǔn)的性能比較。OmniEVA在8個基準(zhǔn)測試中有7個達(dá)到了最先進(jìn)的性能。

1.OmniEVA 概述

OmniEVA 的研究目標(biāo)十分明確，構(gòu)建一個能夠在多種任務(wù)和多種模態(tài)下工作，并且生成結(jié)果可直接執(zhí)行的具身多功能規(guī)劃器。它不僅要“理解”任務(wù)，還要“落地”執(zhí)行，真正實(shí)現(xiàn)從感知到行動的閉環(huán)。

在核心創(chuàng)新上，OmniEVA引入了兩大關(guān)鍵技術(shù)。

Task-Adaptive 3D Grounding（任務(wù)自適應(yīng)三維定位） 

這一模塊通過任務(wù)自適應(yīng)門控機(jī)制（TAGR），根據(jù)任務(wù)語義和場景復(fù)雜度動態(tài)決定是否引入 3D 空間信息。這樣，模型在需要精確空間推理的任務(wù)中可以充分利用 3D 數(shù)據(jù)，而在純語義或簡單視覺任務(wù)中則避免不必要的計算和噪聲。

Embodiment-Aware Reasoning（具身感知推理） 

這一機(jī)制通過任務(wù)與具身雙重獎勵的強(qiáng)化學(xué)習(xí)策略（TE-GRPO），讓模型在推理過程中同時優(yōu)化任務(wù)完成度和物理可執(zhí)行性。它確保生成的計劃不僅邏輯正確，而且符合機(jī)器人本體的運(yùn)動學(xué)與環(huán)境約束。

在整體架構(gòu)上，OmniEVA 以多模態(tài)大語言模型為核心，前端接收來自視覺傳感器的 RGB 圖像、深度圖以及任務(wù)文本描述。視覺編碼器將圖像轉(zhuǎn)化為 2D 特征，3D 編碼器利用深度信息和相機(jī)參數(shù)生成三維位置編碼。TAGR 模塊在任務(wù)與場景條件的引導(dǎo)下，動態(tài)融合 2D 與 3D 特征。融合后的多模態(tài)信息輸入到語言-推理模塊，結(jié)合 TE-GRPO 策略生成具身可執(zhí)行的計劃。最終，計劃被轉(zhuǎn)化為機(jī)器人控制指令，驅(qū)動其在真實(shí)或仿真環(huán)境中完成任務(wù)。

這種架構(gòu)的最大特點(diǎn)是靈活與閉環(huán)，它既能在多任務(wù)、多模態(tài)環(huán)境中自適應(yīng)調(diào)整信息融合策略，又能在推理階段主動考慮執(zhí)行約束，實(shí)現(xiàn)從感知到行動的無縫銜接。

2.方法與技術(shù)細(xì)節(jié)

OmniEVA 的核心在于，它并不是簡單地把多模態(tài)信息“堆”進(jìn)一個大模型，而是通過精心設(shè)計的模塊，讓模型在不同任務(wù)中像經(jīng)驗(yàn)豐富的機(jī)器人操作員一樣，懂得何時需要精確的三維空間感知，何時又可以依賴二維視覺與語言推理，從而在效率與精度之間找到最佳平衡。

圖2:OmniEVA的模型架構(gòu)。左圖：OmniEVA的整體架構(gòu)，采用了一種新穎的任務(wù)自適應(yīng)門控路由器，該路由器動態(tài)地結(jié)合了3D位置嵌入。中間：門控路由器模塊的詳細(xì)實(shí)現(xiàn)。右圖：門控路由器在不同任務(wù)中的激活狀態(tài)示例。

任務(wù)自適應(yīng)三維定位（TAGR 模塊）

這一模塊的設(shè)計初衷，是解決傳統(tǒng) 3D 融合方法“一刀切”的弊端?，F(xiàn)實(shí)任務(wù)千差萬別，有的需要精確判斷物體的空間位置與相對關(guān)系（如堆疊、避障），有的則更依賴語義理解（如描述場景、回答視覺問題）。TAGR（Task-Adaptive Gated Router）就像一個聰明的調(diào)度員，先判斷任務(wù)類型和場景復(fù)雜度，再決定是否引入 3D 信息。

為此，TAGR 首先提取兩類關(guān)鍵信息：任務(wù)條件來自任務(wù)文本的語義編碼，捕捉指令中是否包含空間推理需求；場景條件則源自視覺編碼器對全局圖像的分析，評估環(huán)境的幾何復(fù)雜度。兩者被拼接后輸入一個輕量級 MLP，生成門控信號的 logits。

門控的實(shí)現(xiàn)采用了Gumbel-Softmax 技術(shù)，這是一種可微分的近似采樣方法，能在訓(xùn)練中穩(wěn)定地學(xué)習(xí)“開”或“關(guān)”3D 通道的策略。最終，模型會根據(jù)門控值 g 動態(tài)融合特征：當(dāng) g 接近 0 時，主要依賴 2D 特征；當(dāng) g 接近 1 時，則將 3D 位置編碼與 2D 特征相加，形成更豐富的空間表征。

這種動態(tài)融合策略讓 OmniEVA 在面對不同任務(wù)時表現(xiàn)得游刃有余——既不會在簡單任務(wù)中浪費(fèi)算力，也不會在復(fù)雜空間任務(wù)中“缺斤少兩”。

具身感知推理（TE-GRPO 策略）

如果說 TAGR 解決了“看”的問題，那么 TE-GRPO（Task & Embodiment-aware GRPO）則解決了“做”的問題。它的目標(biāo)是讓模型生成的計劃不僅邏輯正確，還能在物理世界中被機(jī)器人執(zhí)行。

TE-GRPO 的核心是一個雙重獎勵函數(shù)：一方面衡量任務(wù)完成度（rtask），確保輸出的計劃在語義上滿足指令要求；另一方面衡量具身可執(zhí)行性（rembod），通過仿真器或運(yùn)動學(xué)檢查，驗(yàn)證計劃是否符合機(jī)器人本體的物理約束。

訓(xùn)練過程中，這兩個獎勵的權(quán)重并非固定，而是采用課程學(xué)習(xí)式調(diào)度：在早期訓(xùn)練階段，模型更關(guān)注任務(wù)語義的正確性；隨著訓(xùn)練推進(jìn)，具身可執(zhí)行性的權(quán)重逐漸增加，促使模型在后期生成的計劃既“聰明”又“可做”。

為了提升可解釋性，OmniEVA 的輸出采用了 Chain-of-Thought 格式化，即先在<think> 標(biāo)簽中給出推理過程，再在 <answer>標(biāo)簽中給出最終可執(zhí)行的計劃。這不僅方便調(diào)試和分析，也為未來的人機(jī)協(xié)作提供了透明的決策依據(jù)。

數(shù)據(jù)集與訓(xùn)練流程

OmniEVA 的訓(xùn)練數(shù)據(jù)覆蓋了從二維到三維、從靜態(tài)到動態(tài)、從感知到執(zhí)行的全鏈路任務(wù)。團(tuán)隊(duì)構(gòu)建了一個多模態(tài)任務(wù)數(shù)據(jù)集，既包含 2D 圖像理解、視頻時序推理、3D 場景問答等感知類任務(wù)，也包含導(dǎo)航、抓取、放置、復(fù)合操作等具身任務(wù)。

圖3:OmniEVA的訓(xùn)練范式。兩階段級聯(lián)逐步增強(qiáng)了具身智能：第一階段建立了廣泛的推理基礎(chǔ)，而第二階段將其建立在物理現(xiàn)實(shí)中，最終在不同的現(xiàn)實(shí)世界場景中實(shí)現(xiàn)穩(wěn)健的任務(wù)執(zhí)行。

訓(xùn)練分為兩個階段：首先是監(jiān)督微調(diào)（SFT），利用高質(zhì)量標(biāo)注數(shù)據(jù)讓模型學(xué)會基礎(chǔ)的多模態(tài)理解與推理能力；接著是強(qiáng)化微調(diào)（TE-GRPO），在仿真環(huán)境中通過雙重獎勵不斷優(yōu)化模型的任務(wù)完成度與物理可執(zhí)行性。

這種“先打好基礎(chǔ)，再實(shí)戰(zhàn)磨煉”的訓(xùn)練策略，使得 OmniEVA 在面對真實(shí)世界的多樣化任務(wù)時，既有扎實(shí)的感知與推理能力，又能生成切實(shí)可行的執(zhí)行方案。

3.實(shí)驗(yàn)與評測

為了驗(yàn)證 OmniEVA 的通用性與實(shí)用性，華為 Noah’s Ark Lab 團(tuán)隊(duì)在設(shè)計實(shí)驗(yàn)時，幾乎覆蓋了具身智能可能遇到的全景任務(wù)——從二維視覺推理，到三維空間理解，再到真實(shí)機(jī)器人導(dǎo)航與操作，形成了一套多維度、多模態(tài)的評測矩陣。

在二維任務(wù)上，團(tuán)隊(duì)選擇了四個具有代表性的基準(zhǔn)：Where2Place 測試模型在場景中為物體選擇合理位置的能力；VSI-bench 聚焦視覺-空間推理；PACO-LVIS 考察模型在開放詞匯物體識別與定位上的表現(xiàn)；RoboRefit 則模擬機(jī)器人在已知環(huán)境中執(zhí)行物體放置與調(diào)整的任務(wù)。這些任務(wù)對模型的語義理解、空間關(guān)系推理和細(xì)粒度定位能力提出了綜合要求。

三維任務(wù)評測則更具挑戰(zhàn)性。團(tuán)隊(duì)選用了SQA3D（三維場景問答）、ScanQA（基于掃描場景的問答）、Scan2Cap（三維場景描述）以及 ScanRefer（三維目標(biāo)指代理解）等數(shù)據(jù)集。這些任務(wù)不僅要求模型理解三維幾何結(jié)構(gòu)，還要將其與語言信息精準(zhǔn)對齊，才能在復(fù)雜空間中做出正確判斷。

在導(dǎo)航任務(wù)方面，團(tuán)隊(duì)使用了HM3D 和 MP3D 兩大主流三維導(dǎo)航基準(zhǔn)，測試模型在多房間、多障礙的真實(shí)感環(huán)境中，從自然語言指令生成可執(zhí)行的導(dǎo)航路徑的能力。這類任務(wù)直接考驗(yàn)?zāi)Ｐ偷目臻g規(guī)劃與路徑優(yōu)化水平。

圖4：按門激活率排序的提示前30個單詞：最高和最低的比較。為了減少統(tǒng)計噪聲的影響，分析僅限于350個最常見的單詞。

結(jié)果顯示，OmniEVA 在多個維度上都交出了亮眼的成績單。與 GPT-4o、Gemini-2.5-Pro、RoboBrain-32B 等強(qiáng)勁對手相比，它在二維任務(wù)上的平均得分提升超過 10 分，在三維任務(wù)中更是刷新了多項(xiàng) SOTA（state-of-the-art）記錄。例如，在 ScanRefer 上，OmniEVA 在僅使用文本輸入的情況下就達(dá)到了 55.8 的準(zhǔn)確率，顯著高于此前的最佳成績 44.4。在導(dǎo)航任務(wù)中，SPL（成功路徑長度比）指標(biāo)提升了 5.4 個百分點(diǎn)，超越了專為導(dǎo)航優(yōu)化的 UniNavid 模型。

圖5：閘門激活狀態(tài)的案例研究。驗(yàn)證數(shù)據(jù)集中的選定示例說明了輸入提示中最突出的激活和停用單詞，突出了模型對特定語言線索的敏感性。

為了進(jìn)一步剖析性能來源，團(tuán)隊(duì)進(jìn)行了消融實(shí)驗(yàn)。結(jié)果表明，動態(tài) 3D 融合策略相比硬編碼 3D 或完全不使用 3D 特征，平均性能提升了 1.22%，且在需要空間推理的任務(wù)中優(yōu)勢更為明顯。而TE-GRPO 策略在具身任務(wù)上的貢獻(xiàn)尤為突出——在 Where2Approach 和 Where2Fit 兩個基準(zhǔn)上，成功率分別提升了 28.95% 和 34.28%；在移動放置任務(wù)中，Easy 難度的成功率提升了 43%，Hard難度更是提升了 50%。這些數(shù)據(jù)直接證明了具身感知推理對任務(wù)可執(zhí)行性的巨大價值。

圖6:TE-GRPO方法在局部移動操作任務(wù)中的消融結(jié)果。

更令人印象深刻的是，OmniEVA 并非只停留在仿真環(huán)境中。團(tuán)隊(duì)將其部署在一臺雙臂輪式機(jī)器人平臺上，讓它在真實(shí)場景中執(zhí)行自然語言指令。無論是跨房間搬運(yùn)物品，還是在不同桌面環(huán)境中完成精細(xì)的放置任務(wù)，OmniEVA 都展現(xiàn)了穩(wěn)定的跨場景泛化能力。這意味著它不僅能在實(shí)驗(yàn)室里表現(xiàn)優(yōu)異，還能在現(xiàn)實(shí)世界中應(yīng)對環(huán)境變化與任務(wù)多樣性。

圖7：案例研究說明了OmniEVA在實(shí)施例感知約束下的推理過程。

從這些實(shí)驗(yàn)可以看出，OmniEVA 并不是單純追求在某一類任務(wù)上“刷榜”，而是通過任務(wù)自適應(yīng)三維定位與具身感知推理的結(jié)合，構(gòu)建了一個真正意義上的通用具身規(guī)劃器。這種能力的背后，是對多模態(tài)融合策略的精細(xì)打磨，以及對機(jī)器人執(zhí)行約束的深度建模。它讓我們看到了具身智能從“會想”到“會做”的關(guān)鍵一步。

4.技術(shù)亮點(diǎn)與意義

OmniEVA 的誕生，不只是又一個多模態(tài)大模型的升級版本，而是一次在具身智能領(lǐng)域的結(jié)構(gòu)性突破。它的創(chuàng)新性體現(xiàn)在三個核心方面。

首先是動態(tài)任務(wù)自適應(yīng) 3D 融合。過去的 3D 融合方法往往是“一刀切”，無論任務(wù)是否需要，都將三維信息硬塞進(jìn)模型，結(jié)果是計算冗余、噪聲增加。OmniEVA 的 TAGR 模塊則像一位懂行的導(dǎo)演，能根據(jù)任務(wù)語義和場景復(fù)雜度，精準(zhǔn)決定何時引入 3D 特征，何時保持輕量的 2D 推理。這種按需調(diào)度的機(jī)制，讓模型在不同任務(wù)間切換時既高效又精準(zhǔn)。

其次是具身約束感知的推理機(jī)制。TE-GRPO 策略讓模型在生成計劃時，不僅考慮“任務(wù)完成度”，還實(shí)時評估“物理可執(zhí)行性”。這意味著它不會給出那些在現(xiàn)實(shí)中無法執(zhí)行的“紙上談兵”方案，而是生成符合機(jī)器人運(yùn)動學(xué)和環(huán)境約束的可落地計劃。這一機(jī)制的引入，讓模型的推理結(jié)果真正跨過了從虛擬到現(xiàn)實(shí)的鴻溝。

第三是跨模態(tài)與跨任務(wù)的統(tǒng)一框架。OmniEVA 并非為某一類任務(wù)定制，而是通過統(tǒng)一的架構(gòu)，將 2D 圖像理解、3D 場景推理、視頻時序分析、導(dǎo)航規(guī)劃、操作執(zhí)行等多種能力整合在一起。這種全鏈路的設(shè)計，使它具備了在不同領(lǐng)域、不同任務(wù)間遷移的天然優(yōu)勢。

圖8：無和無實(shí)施例感知推理的響應(yīng)比較。

在應(yīng)用前景上，OmniEVA 的潛力幾乎覆蓋了所有需要“理解+執(zhí)行”的機(jī)器人場景。家庭服務(wù)機(jī)器人可以利用它理解自然語言指令，并在復(fù)雜家居環(huán)境中完成物品搬運(yùn)、整理等任務(wù)；工業(yè)自動化與倉儲物流領(lǐng)域，它能在動態(tài)環(huán)境中進(jìn)行路徑規(guī)劃、貨物抓取與精準(zhǔn)放置；在智能導(dǎo)航與人機(jī)協(xié)作中，它可以作為“會思考的副駕駛”，在工廠、醫(yī)院、機(jī)場等場景中與人類協(xié)同完成任務(wù)。

對行業(yè)而言，OmniEVA 釋放了兩個重要信號。第一，具身智能正從“會說”向“會做”加速進(jìn)化，語言模型不再只是信息處理器，而是行動規(guī)劃者。第二，具身智能與大模型的融合趨勢已成必然，未來的機(jī)器人將不再依賴單一感知或控制模塊，而是由多模態(tài)大模型驅(qū)動的全局智能體。

5.結(jié)論與展望

OmniEVA 的研究成果表明，通過任務(wù)自適應(yīng)的 3D 融合與具身感知推理，可以顯著提升多模態(tài)大模型在真實(shí)世界中的執(zhí)行力。它在多任務(wù)、多模態(tài)、具身執(zhí)行上的突破，讓我們看到了一個通用具身規(guī)劃器的雛形——既能理解復(fù)雜指令，又能在物理世界中穩(wěn)健執(zhí)行。

展望未來，OmniEVA 的發(fā)展方向同樣令人期待。更復(fù)雜的多機(jī)器人協(xié)作，將考驗(yàn)它在多智能體系統(tǒng)中的協(xié)調(diào)與分工能力；與實(shí)時感知和自適應(yīng)控制的深度融合，將讓它在動態(tài)環(huán)境中保持高效與安全；而開放數(shù)據(jù)集與社區(qū)合作，則有望加速其迭代與落地，讓更多開發(fā)者和研究機(jī)構(gòu)參與到具身智能的生態(tài)建設(shè)中。

可以說，OmniEVA 不僅是華為在具身智能領(lǐng)域的一次技術(shù)躍遷，也是整個行業(yè)向“通用具身智能體”邁進(jìn)的重要一步。它讓我們離那個既能理解世界、又能改變世界的 AI 時代，更近了一些。（END）

參考資料：???https://arxiv.org/abs/2509.09332??

本文轉(zhuǎn)載自????????波動智能??，作者：FlerkenS?