最近，AI 的進(jìn)步有目共睹，現(xiàn)在這些進(jìn)步已經(jīng)開始傳遞到機(jī)器人領(lǐng)域。強(qiáng)大的 AI 技術(shù)也能幫助機(jī)器人更好地理解其所處的物理世界并采取更合理的行動(dòng)。

近日，UC 伯克利 BAIR 實(shí)驗(yàn)室的 Sergey Levine 研究團(tuán)隊(duì)提出了一個(gè)強(qiáng)化學(xué)習(xí)框架 HIL-SERL，可直接在現(xiàn)實(shí)世界中訓(xùn)練通用的基于視覺的機(jī)器人操作策略。HIL-SERL 的表現(xiàn)堪稱前所未有的卓越，僅需 1-2.5 小時(shí)的訓(xùn)練就能在所有任務(wù)上實(shí)現(xiàn) 100% 的成功率。要知道，基線方法的平均成功率還不到50%。就算有外部干擾，機(jī)器人也能取得很好的表現(xiàn)。

論文一作 Jianlan Luo 的推文，他目前正在 UC 伯克利 BAIR 實(shí)驗(yàn)室從事博士后研究

團(tuán)隊(duì)導(dǎo)師 Sergey Levine 也發(fā)了推文宣傳這項(xiàng)研究，他是一位非常著名的 AI 和機(jī)器人研究科學(xué)家，曾是 2021 年發(fā)表相關(guān)論文最多的研究者.

空口無(wú)憑，眼見為實(shí)，那就先讓機(jī)器人來(lái)煎個(gè)蛋吧。

在主板上安裝一塊固態(tài)硬盤？機(jī)器人也能與人類搭配，輕松完成。

插入 USB，問題也不大，看起來(lái)比人執(zhí)行這個(gè)操作還流暢，畢竟很多人插 USB 都要對(duì)準(zhǔn)兩三次才能成功。

這么好的效果，不禁讓人懷疑，這不會(huì)是遠(yuǎn)程操控吧？Nonono！這些任務(wù)都是機(jī)器人獨(dú)立完成的，這次人類的角色也不是站在身后發(fā)號(hào)施令，而是在它旁邊搗亂。

對(duì)于沒有獨(dú)立思考能力的機(jī)器人來(lái)說(shuō)，任務(wù)執(zhí)行起來(lái)那是相當(dāng)死板。一旦目標(biāo)物體換了一個(gè)位置，它們就會(huì)迷失方向。但對(duì)于采取 HIL-SERL 框架的機(jī)器人，就算你強(qiáng)行奪走它手中這根 USB 線，它依然能自動(dòng)定位，重新完成任務(wù)。

機(jī)器人如何變得如此厲害？下面我們就來(lái)看看 UC 伯克利的這項(xiàng)研究。

• 論文標(biāo)題：Precise and Dexterous Robotic Manipulation via Human-in-the-Loop Reinforcement Learning
• 論文地址：https://hil-serl.github.io/static/hil-serl-paper.pdf
• 項(xiàng)目地址：https://hil-serl.github.io/

簡(jiǎn)而言之，他們?cè)O(shè)計(jì)了一個(gè)有人類參與的強(qiáng)化學(xué)習(xí)框架。在此之前，基于強(qiáng)化學(xué)習(xí)的技術(shù)已經(jīng)為機(jī)器人領(lǐng)域帶來(lái)了一些技術(shù)突破，使機(jī)器人已經(jīng)能夠熟練地處理一些簡(jiǎn)單任務(wù)。但是，真實(shí)世界環(huán)境非常動(dòng)態(tài)多變，而且非常復(fù)雜，如果能開發(fā)出某種基于視覺的通用方法，必定有助于機(jī)器人掌握更加復(fù)雜的技能。

這正是該團(tuán)隊(duì)做出貢獻(xiàn)的地方，他們開發(fā)的基于視覺的強(qiáng)化學(xué)習(xí)系統(tǒng)可以讓機(jī)器人掌握大量不同的機(jī)器人技能。

他們將該系統(tǒng)命名為 Human-in-the-Loop Sample-Efficient Robotic Reinforcement Learning，即有人類參與的樣本高效型機(jī)器人強(qiáng)化學(xué)習(xí)，簡(jiǎn)稱 HIL-SERL。

為了解決優(yōu)化穩(wěn)定性問題，他們采用了預(yù)訓(xùn)練的視覺主干網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)策略學(xué)習(xí)。

為了處理樣本復(fù)雜性問題，他們利用了基于 RLPD 的樣本高效型離策略強(qiáng)化學(xué)習(xí)算法，該算法還結(jié)合了人工演示和校正。

此外，為了確保策略訓(xùn)練期間的安全性，他們還納入了一個(gè)精心設(shè)計(jì)的低級(jí)控制器。

在訓(xùn)練時(shí)，該系統(tǒng)會(huì)向人類操作員詢問潛在的校正，然后以離策略的方式使用這些校正來(lái)更新策略。他們發(fā)現(xiàn)，這種有人類參與的校正程序可讓策略從錯(cuò)誤中學(xué)習(xí)并提高性能，尤其是對(duì)于這項(xiàng)研究中考慮的一些難以從頭開始學(xué)習(xí)的任務(wù)。

如圖 1 所示，該系統(tǒng)可解決的任務(wù)紛繁多樣，包括動(dòng)態(tài)翻轉(zhuǎn)平底鍋中的物體、從積木塔中抽出一塊積木、在兩個(gè)機(jī)器臂之間遞交物體以及使用一個(gè)或兩個(gè)機(jī)械臂組裝復(fù)雜的設(shè)備，例如計(jì)算機(jī)主板、宜家置物架、汽車儀表板或正時(shí)皮帶。

這些任務(wù)復(fù)雜而精細(xì)，有著動(dòng)態(tài)且高維的動(dòng)作空間。之前一些研究者甚至認(rèn)為無(wú)法通過(guò)強(qiáng)化學(xué)習(xí)來(lái)學(xué)習(xí)其中一些技能，但 BAIR 這個(gè)團(tuán)隊(duì)的研究證否了這個(gè)說(shuō)法。

研究和實(shí)驗(yàn)表明，他們的系統(tǒng)能在相當(dāng)短的時(shí)間（1-2.5 小時(shí)）內(nèi)在所有這些任務(wù)上都實(shí)現(xiàn)幾近完美的成功率。

使用同樣數(shù)量的人類數(shù)據(jù)（演示和校正的數(shù)量）時(shí)，他們訓(xùn)練的策略遠(yuǎn)勝過(guò)模仿學(xué)習(xí)方法 —— 成功率平均超過(guò) 101%，周期時(shí)間平均快 1.8 倍。

這是個(gè)具有重大意義的結(jié)果，因?yàn)槠浔砻?strong>強(qiáng)化學(xué)習(xí)確實(shí)可以直接在現(xiàn)實(shí)世界中，使用實(shí)際可行的訓(xùn)練時(shí)間學(xué)會(huì)大量不同的基于視覺的復(fù)雜操作策略。而之前的強(qiáng)化學(xué)習(xí)方法無(wú)法做到這一點(diǎn)。此外，強(qiáng)化學(xué)習(xí)還能達(dá)到超越人類的水平，遠(yuǎn)遠(yuǎn)勝過(guò)模仿學(xué)習(xí)和人工設(shè)計(jì)的控制器。

下面展示了一個(gè)超越人類水平的有趣示例：用一根鞭子將一塊積木抽打出去，同時(shí)保證積木塔整體穩(wěn)定。很顯然，這個(gè)任務(wù)對(duì)大多數(shù)人來(lái)說(shuō)都非常困難，但這臺(tái)機(jī)器人通過(guò)強(qiáng)化學(xué)習(xí)掌握了這一技能。

有人類參與的強(qiáng)化學(xué)習(xí)系統(tǒng)

系統(tǒng)概況

HIL-SERL 系統(tǒng)由三個(gè)主要組件組成：actor 過(guò)程、learner 過(guò)程和位于 learner 過(guò)程中的重放緩存。它們都能以分布式的方式運(yùn)行，如圖 2 所示。

actor 過(guò)程與環(huán)境交互的方式是在機(jī)器人上執(zhí)行當(dāng)前策略，并將數(shù)據(jù)發(fā)送回重放緩存。

環(huán)境采用了模塊化設(shè)計(jì)，允許靈活配置各種設(shè)備，包括支持多個(gè)攝像頭、集成 SpaceMouse 等用于遠(yuǎn)程操作的輸入設(shè)備。

為了評(píng)估任務(wù)是否成功，也需要一個(gè)獎(jiǎng)勵(lì)函數(shù)，而該獎(jiǎng)勵(lì)函數(shù)是使用人類演示離線訓(xùn)練的。

在 actor 過(guò)程中，人類可使用 SpaceMouse 從強(qiáng)化學(xué)習(xí)策略接管機(jī)器人的控制權(quán)，從而干預(yù)機(jī)器人的行動(dòng)。

該團(tuán)隊(duì)采用了兩種重放緩存，一種是為了存儲(chǔ)離線的人類演示（演示緩存），另一種則是為了存儲(chǔ)在策略數(shù)據(jù)（RL 緩存）。

learner 過(guò)程會(huì)從演示緩存和 RL 緩存平等地采樣數(shù)據(jù)，使用 RLPD 優(yōu)化策略，并定期將更新后的策略發(fā)送到 actor 進(jìn)程。

詳細(xì)的系統(tǒng)設(shè)計(jì)選擇這里不再贅述，請(qǐng)?jiān)L問原論文。

有人類參與的強(qiáng)化學(xué)習(xí)

此前，強(qiáng)化學(xué)習(xí)理論 (Jin et al., 2018; 2020; Azar et al., 2012; Kearns and Singh, 1998) 已經(jīng)證明了智能體能學(xué)會(huì)的難度和它要處理的信息量密切相關(guān)。具體來(lái)說(shuō)，狀態(tài) / 動(dòng)作空間的大小、任務(wù)的難度，這些變量不斷累加，會(huì)導(dǎo)致智能體在找到最優(yōu)策略時(shí)所需的樣本成倍增加。最終在超過(guò)某個(gè)閾值時(shí)，所需要的樣本量過(guò)多，智能體實(shí)在學(xué)不動(dòng)了，擺爛了，在現(xiàn)實(shí)世界中訓(xùn)練 RL 策略也變得不切實(shí)際。

為了解決用強(qiáng)化學(xué)習(xí)訓(xùn)練真實(shí)機(jī)器人策略的難題，該團(tuán)隊(duì)研究后發(fā)現(xiàn)，人類反饋很好用 —— 可以引導(dǎo)學(xué)習(xí)過(guò)程，實(shí)現(xiàn)更高效的策略探索。具體來(lái)說(shuō)，就是在訓(xùn)練期間監(jiān)督機(jī)器人，并在有必要時(shí)進(jìn)行干預(yù)，糾正其動(dòng)作。如上圖 2 所示。

在該系統(tǒng)的設(shè)計(jì)中，干預(yù)數(shù)據(jù)會(huì)被同時(shí)存儲(chǔ)在演示緩存和 RL 緩存中，但僅有 RL 緩存帶有策略轉(zhuǎn)移（即干預(yù)前后的狀態(tài)和動(dòng)作）。事實(shí)證明，這種方法可以提升策略的訓(xùn)練效率。

這種干預(yù)在以下情況下至關(guān)重要：

• 策略導(dǎo)致機(jī)器人處于不可恢復(fù)或不良狀態(tài)時(shí)；
• 當(dāng)機(jī)器人陷入局部最優(yōu)狀態(tài)時(shí) —— 如果沒有人工幫助，就可能需要大量時(shí)間才能克服。

在訓(xùn)練過(guò)程的開始階段，人類會(huì)更頻繁地干預(yù)以提供正確動(dòng)作，隨著策略的改進(jìn)，頻率會(huì)逐漸降低。根據(jù)該團(tuán)隊(duì)的經(jīng)驗(yàn)，相比于讓機(jī)器人自行探索，當(dāng)人類操作員給出具體的糾正措施時(shí)，策略改進(jìn)速度會(huì)更快。

研究團(tuán)隊(duì)放出了任務(wù)訓(xùn)練過(guò)程的完整錄像

更具體的訓(xùn)練過(guò)程請(qǐng)?jiān)L問原論文。

實(shí)驗(yàn)結(jié)果

研究團(tuán)隊(duì)選擇了七個(gè)任務(wù)來(lái)測(cè)試 HIL-SERL。這些任務(wù)對(duì)應(yīng)著一系列挑戰(zhàn)，比如操縱動(dòng)態(tài)物體（在平底鍋中翻煎蛋）、精確操作（插 USB 線）、動(dòng)態(tài)和精確操作相結(jié)合（在主板移動(dòng)時(shí)插入組件）、操縱柔性物體（組裝正時(shí)皮帶）、包含多個(gè)子任務(wù)的多階段任務(wù)（組裝宜家書架）。

如上表所示，在幾乎所有任務(wù)上，HIL-SERL 在 1 到 2.5 小時(shí)的真實(shí)世界訓(xùn)練里達(dá)到了 100% 的成功率。這比基線方法 HG-DAgger 的平均成功率 49.7% 有了顯著提高。對(duì)于抽積木、插入 RAM 條等，這種更復(fù)雜的任務(wù)，HIL-SERL 的優(yōu)勢(shì)就更為明顯了。

上圖中顯示了采用 HIL-SERL 方法的機(jī)械臂在執(zhí)行任務(wù)時(shí)被人工干預(yù)的次數(shù)。為了便于統(tǒng)計(jì)，研究團(tuán)隊(duì)計(jì)算了每次干預(yù)的時(shí)步數(shù)與單次嘗試中的總時(shí)步數(shù)之比（干預(yù)率），并統(tǒng)計(jì)了 20 次實(shí)驗(yàn)的動(dòng)態(tài)平均值。從圖表中不難看出，干預(yù)率隨著訓(xùn)練逐漸降低。這表明 HIL-SERL 策略會(huì)不斷優(yōu)化，越來(lái)越不需要人類操心了。

同時(shí)，人工干預(yù)的總時(shí)長(zhǎng)也大幅度減少。策略不成熟時(shí)，機(jī)械臂犯錯(cuò)，需要花較長(zhǎng)時(shí)間糾正，隨著 HIL-SERL 不斷完善，較短的干預(yù)就足以減少錯(cuò)誤。相比之下，HG-DAgger 需要更頻繁的干預(yù)，亦不會(huì)因?yàn)椴呗灾饾u完善減少犯錯(cuò)的次數(shù)。

上圖展示了 HIL-SERL 的零樣本魯棒性。這證明新提出的策略能夠讓機(jī)器人靈活地適應(yīng)即時(shí)變化，有效地處理外部干擾。

比如有人故意地松開了齒輪上的皮帶，受 HIL-SERL 指導(dǎo)的兩個(gè)機(jī)械臂，一個(gè)把皮帶放回了原位，另一個(gè)配合著把滑輪恢復(fù)到了適當(dāng)?shù)奈恢谩?/span>

在兩個(gè)機(jī)械臂對(duì)接時(shí)，研究人員有意讓其中一個(gè)機(jī)械臂「失誤」，放開了手中的物體。在 HIL-SERL 的加持下，兩個(gè)機(jī)械臂自主分工合作，又恢復(fù)了搬運(yùn)物體的平衡。