UC伯克利的雙足機器人，跑步又破紀錄了！

最近，HYBRID ROBOTICS研究團隊的Cassie，給我們來了一段驚艷的表演——

以2分34秒的成績，跑完了400米！

隨后，它又在不需要額外訓練的情況下，完成了1.4米的跳遠。

是的，相信你已經注意到了，它的外形十分獨特——只有下半身！

沒錯，跑步什么的，要上半身干啥。

400米沖刺腳下生風

沒有腿意味著什么？當然是——速度就是一切！

一聲令下，Cassie就開始跑400米了。

只見它兩腳生風，腳步敏捷。

就是，不知道腳下這雙跑鞋有沒有速度加成？

可以看到，Cassie的跑步姿勢十分標準，沒有任何累贅的動作。

而研究人員則全程跟在后面陪跑。

現在，Cassie在做最后的沖刺，它集中精力一鼓作氣，一躍而沖過了終點線。

它最后的成績是——2分34秒！

這個成績，或許已經超越了不少人類。

算起來，Cassie的步速是每分155.6米。

在21年，Cassie在中途不充電的條件下，完成了5公里的戶外長跑，用時53分鐘，這個步速是每分94.3米。

這個進步是肉眼可見的。

Cassie是利用神經網絡強化學習進行訓練的，因此，它可以從頭掌握簡單的技能，比如原地跳躍、向前走或跑而不摔倒。

它被孤立模仿人體動捕的數據，和動作的演示動畫。

最后，團隊還測試了Cassie的跳遠能力，注意，這是在它沒有經過額外訓練的情況下。

它的成績是1.4米。

RL通用框架，跑步、跳高、跳遠多才多藝

Cassie怎么這么強？

我們在這篇發表于1月底的論文中，找到了答案。

論文地址：https://arxiv.org/pdf/2401.16889.pdf

利用深度強化學習（RL），研究者為雙足機器人創建了動態運動控制器。

他們開發出了一種通用控制解決方案，可用于一系列動態雙足技能，比如周期性行走，跑步，以及非周期性的跳躍和站立。

這個通用控制框架，可以實現各種周期性和非周期性的雙足運動技能

基于強化學習的控制器，他們采用了新穎的雙歷史架構，利用了機器人的長期和短期輸入/輸出(I/O)歷史。

當通過端到端強化學習方法進行訓練時，這種控制架構在模擬和現實世界中的各種技能上，都始終優于其他方法。

另外，RL系統還引入了適應性和魯棒性。

可以證明，通過有效利用機器人的I/O歷史記錄，架構就可以適應各種變化，如接觸事件。

魯棒性的另一個關鍵來源，就是任務隨機化。

因此，我們就看到了Cassie的各種運動技能。比如穩穩地站立，多才多藝地步行，快速跑步，以及各種跳高和跳遠。

這個研究所基于RL的控制器架構如下圖，它利用了機器人的輸入和輸出（I/O）的雙重歷史記錄。

利用這個多階段的訓練框架，就可以獲得零樣本轉移到現實世界的通用控制策略。

如下是基于RL的雙足機器人運動控制策略架構各種基線的圖示。

利用研究者開發的多功能跑步策略，Cassie成功完成了400米沖刺。

這個過程是使用單一跑步策略完成的。

它使得機器人能夠從站立姿勢轉變為平均2.15m/s和峰值3.54m/s的快速跑步步態。

使用微調的跑步策略，Cssie還以快速的跑步步態完成了100米短跑。

用訓GPT的方法，訓出人形機器人

機器人接管舊金山？

在今年1月，UC伯克利的人形機器人顯眼包「小綠」，就曾經大規模引起了人們的注意。

那時它長這樣——

看著挺好，就是沒脖子。

只見它在圍觀人群的驚嘆聲中，大搖大擺地走出UC伯克利校門。

在操場草坪上，跟大爺一樣練習倒步走。

身影遍布UC伯克利校園的各個角落。

甚至引起網友驚呼：機器人接管舊金山了？

預測下一個動作，控制人形機器人行走

不久后，就在2月底，UC伯克利就發表了一篇重磅論文，介紹「小綠」是怎么訓練出的。

論文地址：https://arxiv.org/pdf/2402.19469.pdf

在這篇論文中，他們介紹了訓練人形機器人的方法——跟訓練GPT的方法是一樣的。

用這種訓練GPT的方法，研究者成功地訓練出了人形機器人的類人運動。

重點就是：通過預測下一個動作，來控制人形機器人的行走。

人體運動作為下一個token預測

在一系列模擬軌跡上，他們對模型進行了訓練。

而這些軌跡，來自之前的神經網絡策略。

使用不同數據源進行訓練的通用框架

人形機器人所學習的，就是基于模型的控制器、動捕數據和YouTube上的人類視頻。

訓練數據集的4個來源

結果，這個模型能讓全尺寸的人形機器人在完全未經訓練的情況下，直接完成行走！

僅僅用了27個小時的訓練，模型就能在現實世界中泛化了。

而訓練過程中從未見過的指令，機器人也能應對。

從此，機器人可以學習真實世界的控制任務了。