不用動(dòng)作捕捉，只用一段視頻就能教會(huì)機(jī)器人學(xué)會(huì)人類動(dòng)作，效果be like：

UC伯克利團(tuán)隊(duì)研發(fā)出了一套新的機(jī)器人訓(xùn)練系統(tǒng)，可將視頻動(dòng)作遷移到真實(shí)機(jī)器人。

這個(gè)名為VideoMimic的新系統(tǒng)，已經(jīng)讓宇樹G1機(jī)器人成功模仿了100多段人類動(dòng)作。

VideoMimic的核心原理是從視頻當(dāng)中提取姿態(tài)和點(diǎn)云數(shù)據(jù)，然后在模擬環(huán)境中訓(xùn)練并最終遷移到實(shí)體機(jī)器人。

這項(xiàng)成果引起了網(wǎng)友們的一片哇聲，還有人聯(lián)想到了《加勒比海盜》中的杰克·斯帕羅，表示簡(jiǎn)直就像裝上了一個(gè)Jack的API一樣。

適應(yīng)各種地形，還會(huì)爬臺(tái)階

為了訓(xùn)練機(jī)器人策略，研究團(tuán)隊(duì)收集了一個(gè)包含123個(gè)視頻片段的數(shù)據(jù)集。

這些視頻由手持設(shè)備在日常環(huán)境中拍攝，涵蓋了不同的人體運(yùn)動(dòng)技能和場(chǎng)景。

在VideoMimic的訓(xùn)練下，宇樹Go1已經(jīng)學(xué)會(huì)了適應(yīng)各種地形：

學(xué)會(huì)了跨越路肩：

而且學(xué)會(huì)了爬臺(tái)階，過程中還表演出了花式走位：

既然會(huì)上，當(dāng)然也就能下：

并且在下樓梯的過程中，作者發(fā)現(xiàn)即使機(jī)器人的腳底發(fā)生較大滑動(dòng)，訓(xùn)練得到的策略也能夠快速做出反應(yīng)并恢復(fù)平衡，從而避免跌倒。

除了以上各種行進(jìn)動(dòng)作之外，也會(huì)站起和坐下：

總之，作者的一系列實(shí)驗(yàn)，證明了VideoMimic方法，能夠有效地通過視頻訓(xùn)練機(jī)器人模仿人類動(dòng)作。

那么，VideoMimic具體是如何工作的呢？

一段視頻訓(xùn)練機(jī)器人

VideoMimic的核心是從單目視頻中重建人體運(yùn)動(dòng)和場(chǎng)景幾何，將其轉(zhuǎn)換為仿真環(huán)境中的參考運(yùn)動(dòng)，并通過強(qiáng)化學(xué)習(xí)訓(xùn)練出一個(gè)單一的策略，使人形機(jī)器人能夠根據(jù)環(huán)境和指令執(zhí)行對(duì)應(yīng)的技能。

其工作流程主要包括視頻到仿真環(huán)境的轉(zhuǎn)換、仿真中的機(jī)器人控制策略訓(xùn)練以及在真實(shí)機(jī)器人上的策略部署驗(yàn)證三大步驟。

從視頻中構(gòu)建仿真環(huán)境

第一步中，VideoMimic利用現(xiàn)有的人體姿態(tài)估計(jì)和場(chǎng)景重建方法，從輸入的單目RGB視頻中獲取每一幀的人體三維姿態(tài)（通過SMPL人體模型表示）和稠密場(chǎng)景點(diǎn)云。

為了解決人體軌跡與場(chǎng)景不完全一致的問題，VideoMimic還提出了一個(gè)聯(lián)合優(yōu)化過程，同時(shí)優(yōu)化人體軌跡、局部姿態(tài)以及場(chǎng)景點(diǎn)云尺度，最終在得到準(zhǔn)確對(duì)齊的人體運(yùn)動(dòng)和場(chǎng)景幾何。

接下來，為使重建的場(chǎng)景能夠在物理仿真環(huán)境中使用，VideoMimic需要進(jìn)一步處理場(chǎng)景點(diǎn)云，將原始的稠密點(diǎn)云轉(zhuǎn)換為具有一定拓?fù)浣Y(jié)構(gòu)的輕量級(jí)三角網(wǎng)格模型，以提高碰撞檢測(cè)和渲染效率。

最后是將視頻中的人體運(yùn)動(dòng)重定向到機(jī)器人模型：VideoMimic考慮了機(jī)器人的運(yùn)動(dòng)學(xué)結(jié)構(gòu)差異，通過優(yōu)化人形機(jī)器人各關(guān)節(jié)的旋轉(zhuǎn)角度，將人體運(yùn)動(dòng)中的末端位置映射到對(duì)應(yīng)的機(jī)器人關(guān)節(jié)位置。

在仿真環(huán)境中訓(xùn)練策略

在獲得視頻對(duì)應(yīng)的參考運(yùn)動(dòng)軌跡和環(huán)境網(wǎng)格模型后，VideoMimic進(jìn)入了機(jī)器人控制策略的仿真訓(xùn)練階段。

這個(gè)階段的目標(biāo)是訓(xùn)練出一個(gè)單一的策略網(wǎng)絡(luò)，使其能夠克服視頻重建中的噪聲，根據(jù)環(huán)境感知做出對(duì)應(yīng)的運(yùn)動(dòng)控制。

整個(gè)訓(xùn)練過程分為四個(gè)漸進(jìn)的階段：

• 第一階段是在大規(guī)模數(shù)據(jù)上進(jìn)行策略預(yù)訓(xùn)練，以掌握基本的運(yùn)動(dòng)控制能力，該階段只需要根據(jù)參考的關(guān)節(jié)角度、軀干朝向和位置等運(yùn)動(dòng)學(xué)信息進(jìn)行控制；
• 第二階段引入從重建場(chǎng)景中采樣得到的高度圖作為策略的觀察輸入，使得策略能夠感知環(huán)境地形，根據(jù)當(dāng)前環(huán)境做出決策；
• 第三階段使用Dataset Aggregation方法對(duì)策略進(jìn)行蒸餾，得到一個(gè)不依賴完整參考運(yùn)動(dòng)，只依賴機(jī)器人軀干位置指令的新策略；
• 在第四個(gè)階段，VideoMimic在蒸餾后的策略基礎(chǔ)上進(jìn)一步應(yīng)用強(qiáng)化學(xué)習(xí)算法進(jìn)行微調(diào)，使策略可以更好地適應(yīng)觀察和環(huán)境的噪聲，提高其魯棒性。

經(jīng)過上述四個(gè)階段的訓(xùn)練，VideoMimic最終得到了一個(gè)泛化能力較強(qiáng)的控制策略。

這個(gè)策略只需要機(jī)器人自身的本體感受信息（如關(guān)節(jié)角度、角速度等）、局部高度圖以及期望軀干運(yùn)動(dòng)方向作為輸入，就可以輸出連續(xù)的低層控制指令。

這些指令驅(qū)動(dòng)機(jī)器人執(zhí)行行走、爬樓梯、坐下、站立等各種動(dòng)作，為實(shí)際機(jī)器人部署做好了準(zhǔn)備。

將策略遷移到實(shí)體機(jī)器人

VideoMimic選擇了宇樹Go1作為實(shí)物測(cè)試平臺(tái)，Go1是全身擁有12個(gè)自由度，其關(guān)節(jié)配置與仿真環(huán)境中的機(jī)器人模型相似。

同時(shí)，Go1還搭載了用于感知環(huán)境的深度相機(jī)和慣性測(cè)量單元（IMU）等傳感器，可以為控制策略提供必要的觀察信息。

在部署到實(shí)物機(jī)器人之前，研究團(tuán)隊(duì)首先對(duì)Go1進(jìn)行了一些基本設(shè)置。他們參考了MuJoCo仿真器中的機(jī)器人模型參數(shù)，對(duì)Go1的底層PD控制器進(jìn)行了配置，使其與仿真環(huán)境保持一致。

在真實(shí)環(huán)境中，VideoMimic利用Go1自帶的深度相機(jī)獲取環(huán)境的三維幾何信息，結(jié)合彩色圖像SLAM算法，實(shí)時(shí)重建出以機(jī)器人為中心的局部環(huán)境三維點(diǎn)云。

最終，VideoMimic得到了一個(gè)覆蓋機(jī)器人周圍4平方米區(qū)域、分辨率為2.5厘米的高度圖，作為策略模型的環(huán)境觀察輸入。

除了環(huán)境信息外，Go1的關(guān)節(jié)編碼器和IMU也以200Hz的頻率提供了機(jī)器人關(guān)節(jié)角度、角速度、線加速度等本體感受信息。

VideoMimic直接將這些數(shù)據(jù)作為策略模型的輸入，用于估計(jì)機(jī)器人當(dāng)前的姿態(tài)和運(yùn)動(dòng)狀態(tài)。

Go1搭載的嵌入式計(jì)算平臺(tái)，讓VideoMimic可以將訓(xùn)練好的策略模型直接部署到機(jī)器人上進(jìn)行實(shí)時(shí)推理。

研究團(tuán)隊(duì)基于ROS機(jī)器人操作系統(tǒng)，利用C++實(shí)現(xiàn)了策略模型的前向推理和與機(jī)器人底層控制的通信。

策略模型以50Hz的頻率運(yùn)行，與機(jī)器人控制的周期相匹配。在每個(gè)控制周期內(nèi)，策略模型讀取當(dāng)前的環(huán)境高度圖和機(jī)器人本體感受信息，輸出預(yù)測(cè)的機(jī)器人關(guān)節(jié)角度。

這些關(guān)節(jié)角度經(jīng)過必要的平滑和限幅處理后，直接作為PD控制器的目標(biāo)值，驅(qū)動(dòng)機(jī)器人運(yùn)動(dòng)。

作者簡(jiǎn)介

本項(xiàng)目論文的共同一作共有四位，均為UC伯克利博士生，其中包括一位華人。

Arthur Allshire，導(dǎo)師是強(qiáng)化學(xué)習(xí)大牛、吳恩達(dá)帶的第一屆博士Pieter Abbee，以及被李飛飛尊稱為“學(xué)術(shù)祖父”的Jitendra Malik。

Arthur的研究興趣為“智能軟件系統(tǒng)與物理世界的交互”，主攻機(jī)器人、計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)。

他本科畢業(yè)于多倫多大學(xué)，其間曾到蘇黎世聯(lián)邦理工學(xué)院訪學(xué)，以及在英偉達(dá)實(shí)習(xí)。

Hongsuk Choi，同樣是Jitendra Malik的學(xué)生，另一名導(dǎo)師是伯克利助理教授Angjoo Kanazawa。

Angjoo此前在伯克利從事博士后研究，期間的合作導(dǎo)師也包括Jitendra。

Hongsuk的研究興趣是生成先驗(yàn)、3D計(jì)算機(jī)視覺和機(jī)器人技術(shù)。

他本科和碩士均畢業(yè)于首爾大學(xué)，2022年畢業(yè)后先后到NAVER和三星公司工作，去年開始到伯克利讀博。

華人作者章俊一（Junyi Zhang），導(dǎo)師是伯克利AI實(shí)驗(yàn)室（BAIR）的聯(lián)合創(chuàng)始人Trevor Darrel教授。

章俊一的研究興趣為計(jì)算機(jī)視覺、深度生成模型和表示學(xué)習(xí)，現(xiàn)階段重點(diǎn)關(guān)注擴(kuò)散模型的應(yīng)用。

他去年本科畢業(yè)于上海交大，其間曾到微軟實(shí)習(xí)，并以本科生研究員身份與李永露助理教授合作研究，導(dǎo)師是盧策吾教授。

2023年起，章俊一還成為了DeepMind的合作研究者，至今仍與DeepMind的楊明玄（Ming-Hsuan Yang）、Deqing Sun等人保持合作。

David McAllister，研究興趣是計(jì)算機(jī)視覺、成像和數(shù)字創(chuàng)意有，導(dǎo)師為Angjoo Kanazawa。

David本科和碩士同樣就讀于UC伯克利，并且碩士期間的導(dǎo)師也是Angjoo。

去年夏天，David曾到英偉達(dá)投資的AI初創(chuàng)公司Luma實(shí)習(xí)，Luma推出了與公司同名的視頻生成模型。

除了四位共同一作和他們的導(dǎo)師之外，UC伯克利碩士生Anthony Zhang和博士生Chung Min Kim也參與了這一項(xiàng)目。

項(xiàng)目主頁：
https://www.videomimic.net/
論文地址：
https://arxiv.org/abs/2505.03729