[[409525]]

機器學習可以顯著提高智能體的學習效率和泛化能力。

然而在現實世界的應用中，機器人的設計往往比其他問題更加棘手，因為機器人需要大量的訓練和專業知識才能完成設計。

針對這個問題，李飛飛團隊聯合英偉達提出了一個全新的技能訓練方法Skill Learning In Diversified Environments（SLIDE），通過自動生成的一系列不同的任務來發現一般化的技能。

與之前無監督的技能發現工作不同的是，他們是在相同的環境下訓練產生不同的技能，而這篇論文中的方法將每個技能與一個可訓練的任務生成器產生的獨特任務結合起來。

為了鼓勵一般化技能的出現，對于每個被配對到的任務都進行技能訓練，并最大化生成任務的多樣性。在生成的任務中定義一個任務判別器來估計多樣性目標的證據下界。

機器人的技能是通過自動生成任務來學習的。每一項技能都與一項由可訓練的獨特任務相匹配任務生成器。這些技能被訓練成專門從事被匹配到的任務。通過生成的多樣化任務來發現不同的技能。

方法中發現技能的關鍵是設計訓練技能條件任務的目標函數生成器g來創建不同的任務。為了讓更通用的技能可以被學習出來，研究人員認為技能間（inter-skill）的多樣性和技能內部(intra-skill)的多樣性都需要被考慮，在訓練任務生成器g時應當適當平衡。

技能間的多樣性鼓勵每項任務為配對到的技能提出更獨特的挑戰。而內部技能多樣性衡量每個任務所能提供的環境變化。

對于機器人操作任務，開發人員肯定希望機器人擅長不同類型的互動（如推、抓、放等）具有特定類型的對象。同時，也希望每項技能都有足夠能力去處理場景變化和任務初始的通用性。

最后，還需要考慮了任務的可行性以防止在無法解決的任務中學習技能。

上圖就是通過SLIDE模型發現的示例任務和技能，通過展示兩個相關的采樣軌跡來展示技能間和技能內的多樣性。每一個灰色區塊中都有相同的技能指數。每列顯示生成的任務的初始化和技能的執行。不同顏色表示不同物品類別的目的地，包括罐頭（紅色）、盒子（綠色）和餐具（藍色）

文中的實驗設計的主要目的是回答以下問題：1）SLIDE可以通過生成的任務來學習到不同的技能嗎？2） 通過SLIDE學到的技能，能夠被利用和泛化到其他沒見過的任務上嗎？3）SLIDE中的設計選項如何影響學習技能和任務績效？

為了學習機器人技能并評估其對未知目標任務的泛化能力，設計了兩個桌面操作區域。每個域定義一個包含共享相同狀態和動作空間但不同的環境設計和獎勵功能。這兩個任務空間由多個離散和離散變量參數化用于定義初始化、動力學和獎勵功能。

首先訓練技能發現的方法，通過從參數化任務按程序生成任務沒有目標任務概念的空間。然后訓練利用分層策略解決每個沒見過的目標任務從同一領域學到的技能。

研究結果表明，相對于現有的強化學習和技能學習方法，論文中提出的方法學會的技能可以有效地提高機器人在各種沒有目標的任務中的表現。

文章的主要貢獻在于提出了在多樣化的環境中學習技能的模型SLIDE，它通過自動生成一組不同的任務。通過最大化生成任務的多樣性，SLIDE方法能夠發現各種任務以啟用技能策略來激發機器人學習到各種各樣的行為。

通過訓練分層結構，利用所學技能的強化學習算法作為低層策略，在兩個桌面操作區域，能夠有效地提高了隱性目標任務的學習能力與學習效率。

在今后的工作中有幾個方面可以改進。首先，提出的方法是專為學習一定數量的技能而設計的，一個有趣的研究方向是對任務進行開放式技能發現和靈活的技能數量。

其次，文中暗示了在目標任務中對目標任務是有用的，并假設參數化獎勵函數在任務中預定義，但未來的工作可以生成相應任務任務基于內在激勵的獎勵函數。

最后，希望這項工作能鼓勵更多的人努力利用面向機器人學習和類似應用的程序化內容生成，可以為更廣泛的應用范圍提出方法，比如視覺導航和仿人機器人。

文章的第一作者Kuan Fang是斯坦福大學Vision and Learning實驗室的一名博士生，由Silvio Savarese教授和李飛飛教授共同指導，主要研究方向是計算機視覺、機器人和機器學習。

他的本科在清華大學，曾在Google Brain, Google X, 微軟亞洲研究院實習。

本文的第二作者Yuke Zhu是德克薩斯州大學奧斯汀分校計算機科學系的助理教授，也是機器人感知和學習實驗室的主任，同時還是 NVIDIA 研究中心的高級研究科學家。

主要研究方向是為機器人和具身代理人構建智能算法，這些機器人和具身代理人可以推理并與現實世界互動，這項研究是機器人學、計算機視覺和機器學習的交叉。重點研究了感知和控制的方法和機制，以實現通用機器人的自主性。

這篇論文的導師是李飛飛，2020年當選為美國國家工程院院士，美國國家醫學院院士，2021年當選為美國藝術與科學院院士。她的工作包括括受認知啟發的AI，機器學習，深度學習，計算機視覺和AI+醫療保健，尤其是用于醫療保健交付的環境智能系統。

她還從事認知和計算神經科學方面的工作。她發明了ImageNet和ImageNet Challenge，其中ImageNet Challenge是一項重要的大規模數據集和基準測試工作