AI和機器人專家的長遠目標，是創造出具有一般具身智能的代理，它們能夠像動物或人類一樣，在物理世界中靈活、巧妙地行動。

這不僅涉及流暢的動作組合，還包括對環境的感知與理解，以及利用身體實現復雜目標的能力。

多年來，研究者們致力于在仿真和真實環境中創造出具備復雜運動能力的智能化身代理。

最近，這一領域取得了顯著的進展，其中深度強化學習發揮了至關重要的作用。

盡管四足機器人的應用已經相當廣泛，但人形和雙足機器人的控制仍然面臨著諸多挑戰，包括穩定性、安全性以及自由度等問題。

不過，近日Google DeepMind在仿人足球領域取得了突破性進展——

研究團隊不僅展示了深度強化學習如何孕育出高質量的個體技能，如精準的踢球、快速的奔跑和靈活的轉身，更將這些技能巧妙地編織成一套敏捷的反應策略。

目前，相關成果已發表于《Science Robotics》，并成為該期的封面論文。

論文地址：https://www.science.org/doi/10.1126/scirobotics.adi8022

ROBOTIS OP3機器人平臺

研究人員采用ROBOTIS OP3機器人平臺，這款微型仿人機器人經濟實惠，擁有20個可控關節，其靈活性足以應對復雜的足球動作。

在訓練中，機器人僅依靠板載傳感器如關節位置加速計和陀螺儀來感知環境，并通過板載計算機計算目標關節角度，實現精準的動作執行。

為了確保機器人能夠實時掌握球場動態，研究團隊還使用了實時運動捕捉系統，實時監測兩個機器人和球的位置。

簡化足球比賽驗證技能與策略

為了測試這些技能的實戰效果，研究人員精心設計了一場簡化的單對單足球比賽。

在這個競技場上，兩位「選手」——兩臺仿人足球機器人，展開了激烈的較量。

球賽的規則為：進球者獲得獎勵，過于靠近對手則會受到懲罰。

這種巧妙的游戲設定，使得機器人能夠在不斷試錯中，逐步學會如何在激烈的對抗中保持優勢。

Teacher策略提煉與Student策略集成

在訓練過程中，研究人員采用了分布式MPO這一非策略強化學習算法，對機器人進行了多階段的仿真訓練。

他們首先訓練了兩個teacher策略，分別負責站立和射門，隨后通過KL正則化方法將這兩個策略融合，形成一個student策略。

隨著訓練的深入，正則化逐漸減弱，最終行為得以自由優化任務獎勵。

仿真訓練對于機器人技能的磨練至關重要，但如何確保這些技能能夠安全穩健地應用于真實機器人，是另一個巨大的挑戰。

為此，研究團隊在訓練和仿真中加入了多種噪音，如觀測噪音和仿真動力學模型擾動，以增強機器人的魯棒性。

同時，他們還增加了仿真中的延遲，同時盡降低真實機器人控制軟件中的延遲，確保機器人能夠迅速響應。

鑒于機器人在進行動態踢踏運動時，其齒輪容易受到瞬時沖擊的影響，特別是膝蓋部位容易因此受損。

為了顯著降低機器人在游戲過程中由于高扭矩所引發的損壞風險，研究團隊在仿真環境中特別針對膝關節產生的高扭矩設定了懲罰機制。

通過這一措施，成功地引導機器人學習和采用更為柔和、穩定的步態，顯著提高了其運動的安全性和穩定性。

實戰表現展現高層次戰略意識

經過這一系列訓練，機器人展現出了令人驚嘆的足球技能。

它們不僅能夠快速起身和行走，還能在比賽中靈活應對各種情況，如拒絕干擾、從跌倒中恢復、快速轉身射門和攔截移動中的球。

更令人驚訝的是，它們還表現出了高水平的戰略行為。比如，機器人會巧妙地利用位置優勢，防御性地阻擋對手的射門，展現出與真實球員不相上下的競技水平。