3月29日，智源研究院在2025中關(guān)村論壇「未來人工智能先鋒論壇」上發(fā)布首個(gè)跨本體具身大小腦協(xié)作框架RoboOS與開源具身大腦RoboBrain，可實(shí)現(xiàn)跨場(chǎng)景多任務(wù)輕量化快速部署與跨本體協(xié)作，推動(dòng)單機(jī)智能邁向群體智能，為構(gòu)建具身智能開源統(tǒng)一生態(tài)加速場(chǎng)景應(yīng)用提供底層技術(shù)支持。

開源鏈接：

具身多模態(tài)大腦模型RoboBrain

Github：

https://github.com/FlagOpen/RoboBrain

Gitee：

https://gitee.com/flagopen/robo-brain

Huggingface：

https://huggingface.co/BAAI/RoboBrain

為機(jī)器人操作任務(wù)設(shè)計(jì)的高質(zhì)量異構(gòu)數(shù)據(jù)集ShareRobot

GitHub：

https://github.com/FlagOpen/ShareRobot

Gitee：

https://gitee.com/flagopen/share-robot

Huggingface：

https://huggingface.co/datasets/BAAI/ShareRobot

增強(qiáng)長(zhǎng)程操作任務(wù)能力，打造感知-認(rèn)知-決策-行動(dòng)閉環(huán)

在具身場(chǎng)景中，長(zhǎng)程操作任務(wù)是機(jī)器人執(zhí)行復(fù)雜任務(wù)的核心能力之一。具身大腦RoboBrain融合了機(jī)器人任務(wù)規(guī)劃、可操作區(qū)域感知、軌跡預(yù)測(cè)的三維能力，通過將抽象指令映射為具象動(dòng)作序列，增強(qiáng)長(zhǎng)程操作任務(wù)的能力。

RoboBrain由三個(gè)模塊組成：用于任務(wù)規(guī)劃的基座模型、用于可操作區(qū)域感知的A-LoRA模塊和用于軌跡預(yù)測(cè)的T-LoRA模塊。在推理時(shí)，模型首先感知視覺輸入，并將輸入指令分解為一系列可執(zhí)行的子任務(wù)，然后執(zhí)行可操作區(qū)域感知和軌跡預(yù)測(cè)。RoboBrain采用多階段訓(xùn)練策略，使其具備長(zhǎng)歷史幀記憶和高分辨率圖像感知能力，進(jìn)而提升場(chǎng)景感知和操作規(guī)劃的能力。

RoboBrain 在任務(wù)規(guī)劃、可操作區(qū)域感知和軌跡預(yù)測(cè)評(píng)測(cè)任務(wù)中均表現(xiàn)出卓越性能。

在任務(wù)規(guī)劃方面，RoboBrain在不犧牲通用能力的前提下，在機(jī)器人規(guī)劃評(píng)測(cè)集OpenEQA、ShareRobot（自建）和RoboVQA上多個(gè)維度優(yōu)于GPT-4V、Claude3等6個(gè)當(dāng)時(shí)領(lǐng)先的閉源/開源MLLMs。

RoboBrain在具身規(guī)劃評(píng)測(cè)基準(zhǔn)上的性能

在可操作區(qū)域感知方面，RoboBrain在AGD20K測(cè)試集上的平均精度超過了當(dāng)時(shí)最先進(jìn)的開源模型Qwen2-VL，驗(yàn)證了其在指令理解和物體屬性方面的卓越能力。

RoboBrain在可操作區(qū)域感知基準(zhǔn)上的性能

RoboBrain在軌跡預(yù)測(cè)基準(zhǔn)上的性能

在軌跡預(yù)測(cè)方面，RoboBrain預(yù)測(cè)的操作軌跡具有與真實(shí)軌跡較高的相似度，展現(xiàn)了其在軌跡預(yù)測(cè)中的高精度和穩(wěn)定性。RoboBrain的未來迭代版本會(huì)持續(xù)提高軌跡預(yù)測(cè)的能力。

目前，RoboBrain能夠解讀人類指令和視覺圖像，以生成基于實(shí)時(shí)圖像反饋的行動(dòng)計(jì)劃和評(píng)估，預(yù)測(cè)每一步的軌跡并感知相應(yīng)的可操作區(qū)域。具體而言，RoboBrain 能夠有效利用環(huán)境信息和交互對(duì)象的狀態(tài)——無論是從第一人稱還是第三人稱視角捕捉的圖像——生成針對(duì)不同類型機(jī)器人操作任務(wù)的任務(wù)規(guī)劃，并基于人類指令和視覺信息，提供合理的可操作區(qū)域，并能在不同場(chǎng)景中表現(xiàn)出良好的泛化能力，生成既可行又合理的軌跡。

具身大腦RoboBrain、小腦技能庫以及跨機(jī)器人數(shù)據(jù)中樞，是跨本體框架RoboOS的核心要素。具身大腦RoboBrain，負(fù)責(zé)全局感知與決策，構(gòu)建動(dòng)態(tài)時(shí)空感知、規(guī)劃指導(dǎo)和反饋糾錯(cuò)機(jī)制；小腦技能庫，負(fù)責(zé)低延遲精準(zhǔn)執(zhí)行，實(shí)現(xiàn)柔性與精密操作等；跨機(jī)器人數(shù)據(jù)中樞，負(fù)責(zé)實(shí)時(shí)共享空間、時(shí)間和本體記憶，為決策規(guī)劃與優(yōu)化協(xié)作操作提供信息支持，從而形成感知-認(rèn)知-決策-行動(dòng)的閉環(huán)。

一腦多機(jī)實(shí)現(xiàn)跨本體協(xié)作，從單體智能邁向群體智能

跨本體具身大小腦協(xié)作框架RoboOS，基于「大腦-小腦」分層架構(gòu)，通過模塊化設(shè)計(jì)、智能任務(wù)管理和跨本體協(xié)作，為機(jī)器人提供高效、靈活、可擴(kuò)展的底層支持，實(shí)現(xiàn)從單機(jī)智能到群體智能的躍遷。

在RoboOS的分層架構(gòu)下，具身大腦RoboBrain的復(fù)雜場(chǎng)景感知與決策能力，可與小腦技能庫的高效執(zhí)行能力深度結(jié)合，確保協(xié)作框架在長(zhǎng)周期、高動(dòng)態(tài)任務(wù)中的穩(wěn)定運(yùn)行。實(shí)現(xiàn)大腦模型（如LLM/VLM）與小腦技能（如抓取、導(dǎo)航）的「即插即用」，目前，可支持松靈雙臂、睿爾曼單/雙臂、智元人形、宇樹人形等不同類型的具身本體。

通過共享記憶系統(tǒng)（空間記憶/時(shí)間記憶/本體記憶），實(shí)現(xiàn)多個(gè)機(jī)器人之間的狀態(tài)同步與智能協(xié)作，突破傳統(tǒng)「信息孤島」限制，實(shí)現(xiàn)跨本體協(xié)作控制。

RoboOS可動(dòng)態(tài)管理多機(jī)器人任務(wù)隊(duì)列，支持優(yōu)先級(jí)搶占與資源優(yōu)化分配，確保復(fù)雜場(chǎng)景下實(shí)時(shí)響應(yīng)，實(shí)現(xiàn)高并發(fā)任務(wù)調(diào)度。

此外，RoboOS可基于執(zhí)行反饋動(dòng)態(tài)調(diào)整策略，結(jié)合環(huán)境變化，持續(xù)優(yōu)化任務(wù)規(guī)劃，提升魯棒性，做到實(shí)時(shí)閉環(huán)優(yōu)化。

基于RoboOS及RoboBrain的多機(jī)器人跨本體協(xié)作遞送任務(wù)Demo

在「遞送蘋果和水果刀」的任務(wù)場(chǎng)景中，基于RoboOS及RoboBrain，睿爾曼單臂機(jī)器人（轉(zhuǎn)運(yùn)）、宇樹人形G1（挑揀水果）、松靈雙臂機(jī)器人（挑揀水果刀）分工協(xié)作。

整體任務(wù)流程是睿爾曼調(diào)用「導(dǎo)航技能」移動(dòng)至餐桌前，宇樹G1調(diào)用「視覺抓取技能」完成指定物體的挑揀，睿爾曼調(diào)用「抓取技能」提起果籃并導(dǎo)航至松靈餐桌前。緊接著，松靈調(diào)用「抓取技能」獲取水果刀，并放置在果籃中心，睿爾曼依據(jù)「空間記憶」導(dǎo)航至辦公桌位置，遞送果籃后返回待命。

RoboOS接收「拿離杯子最近的水果，并遞送一把水果刀」指令后，遞送RoboBrain進(jìn)行任務(wù)拆解，并將拆解后的子任務(wù)分發(fā)給3臺(tái)跨本體機(jī)器人。RoboBrain通過「空間記憶」感知環(huán)境，確定果籃、蘋果位置，并拆解任務(wù)為「宇樹G1挑揀蘋果→睿爾曼傳遞果籃→松靈機(jī)器人抓取水果刀→睿爾曼返回」。

各機(jī)器人本體執(zhí)行子任務(wù)過程中，由RoboOS提供端云協(xié)作能力，將任務(wù)規(guī)劃為技能粒度，實(shí)現(xiàn)云端RoboBrain分發(fā)規(guī)劃，端側(cè)執(zhí)行技能并實(shí)時(shí)反饋。RoboBrain識(shí)別「離杯子最近的水果位置」、「果籃抓取位置affordance」、「水果刀抓取位置affordance」、「果籃空閑位置Pointing」，經(jīng)由RoboOS遞送指導(dǎo)各機(jī)器人本體完成任務(wù)。

「即插即用」快速輕量化泛化部署，打造統(tǒng)一生態(tài)

RoboOS作為面向多機(jī)器人系統(tǒng)的跨本體具身大小腦協(xié)作框架，專為解決當(dāng)前具身智能落地過程中的通用性適配與多機(jī)調(diào)度難題而設(shè)計(jì)。針對(duì)異構(gòu)本體難以統(tǒng)一接入、任務(wù)調(diào)度效率低、缺乏動(dòng)態(tài)錯(cuò)誤反饋機(jī)制等痛點(diǎn)，基于RoboOS的「大小腦協(xié)同」的架構(gòu)范式，云端的具身大腦RoboBrain負(fù)責(zé)統(tǒng)一的任務(wù)理解、規(guī)劃決策與上下文感知，本體側(cè)則接入輕量級(jí)的小腦執(zhí)行模塊，實(shí)現(xiàn)感知-認(rèn)知-決策-行動(dòng)的閉環(huán)協(xié)作。

該機(jī)制能夠動(dòng)態(tài)感知本體差異、靈活適配操作指令、自動(dòng)修復(fù)異常行為，有效提升系統(tǒng)在復(fù)雜任務(wù)場(chǎng)景下的魯棒性與泛化性。RoboOS原生支持異構(gòu)機(jī)器人本體的靈活接入，以Profile模板機(jī)制快速完成機(jī)器人能力建模與適配。

本體的小腦模塊可調(diào)用包括開源技能庫、自研低階控制器等多種技能接口，形成一個(gè)支持模塊復(fù)用、即插即用的運(yùn)行體系，大幅降低開發(fā)門檻與接入成本。

在云端，RoboOS提供完備的模型適配與 API 接入能力，兼容自研的多模態(tài)VLM，作為可插拔的大腦決策引擎，從而在服務(wù)機(jī)器人、工業(yè)自動(dòng)化、智慧物流、智能制造等領(lǐng)域支撐復(fù)雜任務(wù)的多機(jī)協(xié)作需求。

借助RoboOS的端云一體化協(xié)同能力與動(dòng)態(tài)調(diào)度機(jī)制，整個(gè)系統(tǒng)不僅具備高度的擴(kuò)展性與可遷移性，更為未來具身智能的規(guī)模部署與生態(tài)構(gòu)建奠定了通用操作系統(tǒng)級(jí)的基礎(chǔ)。

RoboOS基于智源研究院研發(fā)的并行訓(xùn)練與推理框架FlagScale，原生支持多機(jī)器人系統(tǒng)的端云協(xié)同能力，打造具身智能的統(tǒng)一底座。系統(tǒng)在設(shè)計(jì)上充分考慮「多機(jī)器人-多模態(tài)-多任務(wù)」場(chǎng)景，具備極高的可擴(kuò)展性與低時(shí)延響應(yīng)能力。

在端側(cè)部署中，機(jī)器人注冊(cè)即可自動(dòng)與云端部署的RoboBrain大腦建立雙向通信鏈路，通過高效發(fā)布-訂閱機(jī)制實(shí)現(xiàn)實(shí)時(shí)任務(wù)調(diào)度與狀態(tài)反饋，指令響應(yīng)延遲低于10ms，滿足復(fù)雜動(dòng)態(tài)任務(wù)的閉環(huán)控制需求。

面向機(jī)器人在長(zhǎng)期運(yùn)行中產(chǎn)生的海量感知與行為數(shù)據(jù)，RoboOS 提供基于內(nèi)存優(yōu)化的數(shù)據(jù)訪問引擎，支持TB級(jí)別歷史數(shù)據(jù)的內(nèi)存隨機(jī)訪問能力，為任務(wù)復(fù)現(xiàn)、異?；厮?、跨任務(wù)知識(shí)遷移等場(chǎng)景提供基礎(chǔ)能力。結(jié)合 RoboBrain 的任務(wù)推理與策略優(yōu)化模塊，歷史數(shù)據(jù)還可用于多機(jī)之間的協(xié)作知識(shí)共享，實(shí)現(xiàn)更強(qiáng)的智能演化與自主學(xué)習(xí)能力。

此外，F(xiàn)lagScale 作為底層支撐框架，支持大模型在多設(shè)備間的并行推理與多任務(wù)協(xié)同調(diào)度，可無縫集成視覺語言模型、軌跡生成模塊、感知識(shí)別等子系統(tǒng)，全面釋放具身大模型的系統(tǒng)潛力。

目前，智源研究院依托多模態(tài)大模型技術(shù)優(yōu)勢(shì)資源，正在聯(lián)合北大、清華、中科院等高校院所以及銀河通用、樂聚、加速進(jìn)化、宇樹等產(chǎn)業(yè)鏈上下游企業(yè)，積極建設(shè)具身智能創(chuàng)新平臺(tái)，重點(diǎn)開展數(shù)據(jù)、模型、場(chǎng)景驗(yàn)證等研究。

此次智源研究院發(fā)布的跨本體具身大小腦協(xié)作框架RoboOS及開源具身大腦RoboBrain，將有機(jī)融合和廣泛鏈接不同構(gòu)型的具身本體與豐富多元的具身模型，加速具身智能跨本體協(xié)作與規(guī)?；瘧?yīng)用。

開放、協(xié)作、共享，是具身智能生態(tài)繁榮的必經(jīng)之路，智源研究院愿攜手更多產(chǎn)業(yè)合作伙伴，共繪具身智能生態(tài)藍(lán)圖。