Dexbotic 是一套基于 PyTorch 框架開發(fā)的開源視覺-語(yǔ)言-動(dòng)作模型（VLA）代碼庫(kù)，由 Dexmal 原力靈機(jī)重磅推出，主要面向?qū)ο鬄榫呱碇悄茴I(lǐng)域研究者；其整體架構(gòu)包含 Data、Experiment、Model 三大核心組件，具備統(tǒng)一模塊化 VLA 框架、高性能預(yù)訓(xùn)練基礎(chǔ)模型、實(shí)驗(yàn)導(dǎo)向型開發(fā)框架、云端與本地一體化訓(xùn)練、全鏈路機(jī)器人訓(xùn)練與部署五大特征。

Dexbotic 提供了一套同時(shí)支持多個(gè)主流 VLA 算法的代碼庫(kù)，用戶只需配置一次環(huán)境，基于所提供的預(yù)訓(xùn)練模型，即可在各類仿真環(huán)境中復(fù)現(xiàn)各類主流 VLA 算法，通過解決這一行業(yè)痛點(diǎn)，為具身智能領(lǐng)域從業(yè)者提供一站式 VLA 科研服務(wù)。同時(shí)，Dexmal 原力靈機(jī)還將持續(xù)更新和支持更多業(yè)界領(lǐng)先的 VLA 模型。

• 官網(wǎng)：https://dexbotic.com/
• Paper：https://dexbotic.com/dexbotic_tech_report.pdf
• GitHub：https://github.com/Dexmal/dexbotic
• Hugging Face：https://huggingface.co/collections/Dexmal/dexbotic-68f20493f6808a776bfc9fc4

為何需要統(tǒng)一的 VLA 開發(fā)平臺(tái)？

具身智能中，視覺-語(yǔ)言-動(dòng)作模型已成為連接感知、認(rèn)知與行動(dòng)的核心技術(shù)樞紐，發(fā)展迅猛的同時(shí)也面臨多重挑戰(zhàn)：

• VLA 技術(shù)研發(fā)分散化嚴(yán)重，研發(fā)人員往往基于不同的深度學(xué)習(xí)框架和模型結(jié)構(gòu)進(jìn)行探索
• VLA 研發(fā)流程異常繁瑣，進(jìn)行算法對(duì)比評(píng)測(cè)時(shí)，需要配置多份實(shí)驗(yàn)環(huán)境和數(shù)據(jù)格式
• VLA 算法復(fù)現(xiàn)公平性欠缺，難以確保每個(gè)對(duì)比的算法調(diào)至最優(yōu)，導(dǎo)致復(fù)現(xiàn)和比較并不公平
• VLA 研發(fā)無(wú)法從最新的視覺-語(yǔ)言大模型（VLM）受益，大多數(shù) VLA 往往基于過時(shí)、不同期的 VLM 構(gòu)建

正是洞察到這些痛點(diǎn)，Dexmal 原力靈機(jī)正式推出 Dexbotic —— 一套基于 PyTorch 框架的開源視覺 - 語(yǔ)言 - 動(dòng)作模型工具箱，為具身智能研究者提供標(biāo)準(zhǔn)化、模塊化、高性能的一站式科研基礎(chǔ)設(shè)施，推動(dòng)具身智能從「重復(fù)造輪子」走向「協(xié)同創(chuàng)新」。

整體架構(gòu)

Dexbotic 代碼庫(kù)的整體架構(gòu)主要包含三大核心層級(jí)：數(shù)據(jù)層（Data Layer）、模型層（Model Layer）和實(shí)驗(yàn)層 （Experiment Layer）。數(shù)據(jù)層定義了 Dexdata 統(tǒng)一格式以整合多源數(shù)據(jù)并優(yōu)化存儲(chǔ)空間；基于 Dexdata 格式的數(shù)據(jù)，系統(tǒng)將自動(dòng)執(zhí)行數(shù)據(jù)處理流程，提取圖像、文本及狀態(tài)信息用于模型訓(xùn)練。

模型層引入基礎(chǔ)模型 DexboticVLM 作為開發(fā)多樣化 VLA 策略的核心基礎(chǔ)，其可直接支持離散 VLA 訓(xùn)練，亦可作為現(xiàn)有 VLA 策略的基座模型。當(dāng)前版本已支持 π0、OpenVLA-OFT、CogACT、MemoryVLA 等多種 VLA 策略，用戶也可便捷地自定義新的 VLA 模型。

實(shí)驗(yàn)層是 Dexbotic 體系中最核心的組成部分。基于模型層中的各類 VLA 模型的詳細(xì)實(shí)現(xiàn)，Dexbotic 創(chuàng)新性地引入實(shí)驗(yàn)?zāi)_本機(jī)制，定義了基礎(chǔ)實(shí)驗(yàn)?zāi)_本，用戶根據(jù)自己的需求修改最少量的實(shí)驗(yàn)配置，即可開展新的實(shí)驗(yàn)，在確保系統(tǒng)穩(wěn)定性的同時(shí)支持快速實(shí)驗(yàn)迭代開發(fā)。

主要特征

統(tǒng)一模塊化 VLA 框架。Dexbotic 以 VLA 模型為核心，兼容主流大語(yǔ)言模型的開源接口。該框架集成了具身操作與導(dǎo)航功能，支持多種業(yè)界領(lǐng)先的具身操作與導(dǎo)航算法，同時(shí)預(yù)留了未來(lái)全身控制的接口擴(kuò)展能力。

高性能預(yù)訓(xùn)練基礎(chǔ)模型。針對(duì) π0 和 CogACT 等主流 VLA 算法，Dexbotic 開源多個(gè)性能更強(qiáng)的預(yù)訓(xùn)練模型。這些模型在 SimplerEnv、CALVIN 等各類主流仿真器及真實(shí)物理世界任務(wù)中均能帶來(lái)顯著的性能提升。

實(shí)驗(yàn)導(dǎo)向型開發(fā)框架。Dexbotic 的實(shí)驗(yàn)框架采用「分層配置 + 工廠注冊(cè) + 入口分發(fā)」架構(gòu)，用戶僅需修改實(shí)驗(yàn) Exp 腳本，即可輕松實(shí)現(xiàn)配置修改、模型更換或任務(wù)添加等需求。該設(shè)計(jì)符合開閉原則，在保證系統(tǒng)穩(wěn)定性的同時(shí)兼具靈活性與擴(kuò)展性。

云端與本地一體化訓(xùn)練。Dexbotic 全面滿足不同高校及企業(yè)的訓(xùn)練需求，既支持阿里云、火山引擎等大規(guī)模云訓(xùn)練平臺(tái)，也適配 RTX 4090 等消費(fèi)級(jí)顯卡的本地訓(xùn)練環(huán)境。

全鏈路機(jī)器人訓(xùn)練與部署。針對(duì) UR5、Franka 和 ALOHA 等主流機(jī)器人，Dexbotic 提供統(tǒng)一的訓(xùn)練數(shù)據(jù)格式，并開源通用部署腳本支持用戶定制化部署。未來(lái)將持續(xù)擴(kuò)展更多主流機(jī)器人平臺(tái)的支持。

開源硬件

具身智能的研究發(fā)展離不開開源硬件的支撐。有鑒于此，Dexmal 原力靈機(jī)也推出了其首款開源硬件產(chǎn)品 ——Dexbotic Open Source - W1（DOS-W1）。

該產(chǎn)品采用完全開源的硬件設(shè)計(jì)，即將開源所有的文檔、BOM、設(shè)計(jì)圖紙、組裝方案、相關(guān)代碼；采用大量的快拆結(jié)構(gòu)與可替換模塊，這極大地降低了機(jī)器人的使用門檻、改造便利性和維護(hù)便利性；同時(shí)，其符合人體工學(xué)的抗疲勞設(shè)計(jì)，有效提升了操作人員的舒適度與數(shù)據(jù)采集效率。

據(jù)悉，Dexmal 原力靈機(jī)也將與各產(chǎn)業(yè)伙伴一起，持續(xù)豐富 Dexbotic Open Source 系列，以開源硬件助力具身智能前沿研究，加速機(jī)器人技術(shù)在真實(shí)物理世界的落地與應(yīng)用。

未來(lái)展望

未來(lái)，Dexmal 原力靈機(jī)計(jì)劃擴(kuò)展更多的先進(jìn) VLM 基座模型和開源硬件，集成仿真到真實(shí)物理世界的遷移學(xué)習(xí)工具鏈，并建立社區(qū)驅(qū)動(dòng)的模型貢獻(xiàn)機(jī)制，不斷持續(xù)投入 Dexbotic 生態(tài)建設(shè)，致力于成為具身智能領(lǐng)域的「基礎(chǔ)運(yùn)行層」，為通用機(jī)器人智能的到來(lái)奠定堅(jiān)實(shí)基礎(chǔ)。

Dexmal 原力靈機(jī)誠(chéng)邀全球開發(fā)者共同參與 Dexbotic 社區(qū)建設(shè)，通過代碼貢獻(xiàn)、算法優(yōu)化、開源硬件應(yīng)用案例分享，攜手推動(dòng)具身智能邁向新高度。正如 Linux 之父林納斯?托瓦茲所言：「軟件進(jìn)化需要群體的智慧」，Dexbotic 正是這一理念在 AI 時(shí)代的具體實(shí)踐。

同時(shí)，Dexbotic 正與全球首個(gè)具身智能的大規(guī)模真機(jī)評(píng)測(cè)平臺(tái) RoboChallenge 形成深度協(xié)同。研究者基于 Dexbotic 開發(fā)的模型，可在 RoboChallenge 平臺(tái)進(jìn)行公開、公平、透明的性能驗(yàn)證，從基礎(chǔ)設(shè)施層面構(gòu)建 “開發(fā) - 訓(xùn)練 - 推理 - 評(píng)測(cè)” 的完整技術(shù)閉環(huán)。