外骨骼具有改善人類運動性能的巨大潛力。然而，它們的開發和廣泛傳播受到需要進行漫長人體測試和手工控制規則的限制。在這里，研究人員展示了一種在仿真中學習多功能控制策略的無實驗方法。該仿真學習框架利用具有動力學感知的肌肉骨骼和外骨骼模型以及數據驅動的強化學習，彌合了仿真和現實之間的差距，避免了人體實驗。學到的控制器被部署在定制的髖關節外骨骼上，通過降低行走、奔跑和爬樓梯的代謝率分別減少了24.3%、13.1%和15.4%。該框架可能為快速開發和廣泛采用各種適用于健全人和行動不便人士的輔助機器人提供可推廣和可擴展的策略。

人類具有高效和多功能的運動能力，這源于進化、成長和學習。對肌肉骨骼系統的精確控制產生了各種運動活動之間的自然過渡。外骨骼已經證明了在健全人行走和為殘疾人恢復行動能力方面改善人類表現的能力。然而，它們的控制策略通常使用預定義的輔助配置文件或針對每個參與者進行長時間的人體測試，即使只是為了開發行走策略（圖1a）。因此，當將控制器應用于另一個參與者或另一個活動時，成本非常高。此外，對于每個活動通常需要手工設計控制規則。隨著活動數量的增加，控制器設計變得更加復雜，這使得對可穿戴機器人的廣泛采用變得不切實際。

圖1

阻礙控制器開發的一個挑戰是需要大量的人力和時間。開發了基于實驗室的測試平臺，可以應用廣泛的輔助配置文件以表征人類對機器人輔助的響應。人機協同優化和肌電控制通過優化輔助力矩來最小化代謝率，這是人類表現的關鍵指標。然而，這個過程在行走時可能需要每個參與者超過30分鐘。一種數據驅動的方法使得每個參與者在30分鐘內可以進行戶外行走的優化。盡管這些方法在減少能量消耗方面表現出色，但仍需要大量的人體測試。最近的一種控制方法在不到10分鐘的時間內調整控制參數以跟蹤預定義的髖關節位置軌跡，但并沒有減少代謝率。基于仿真的學習是一個潛在的解決方案，然而，由于它們要么不包含控制器設計，要么不考慮仿真中的人機交互，因此沒有仿真證明它們的好處。如何開發一個純粹基于仿真的控制器來提高人類表現仍然是一個懸而未決的問題。

控制器開發的第二個挑戰涉及適應多步態人類運動的不同生物力學特征。最先進的算法使用兩個層次的離散控制，首先對不同的運動活動進行分類，然后將步態周期離散化為幾個階段。為每個分段步態階段應用不同的控制規律，而每個控制規律都需要手工調整控制參數。提出了幾種控制方法，它們使用估計的關節力矩或預定義的軌跡直接生成完整步態周期的輔助配置文件。然而，這些方法針對離散的運動活動進行了定制，并且需要每個活動的人體訓練數據。此外，這些方法產生的輔助力矩可能會令人不適，因為它們無法處理不同運動活動之間的過渡。強化學習通過其對環境和情境的適應性實現了平滑控制。然而，它主要用于機器人控制，不涉及人類，這對于控制器設計提出了獨特的挑戰。之前的一項研究使用強化學習控制人體-假肢系統，但僅限于預定步態運動學軌跡的位置跟蹤。先前的工作在仿真中對人體進行定常行走時施加預定義的運動學軌跡，其中虛擬人體模型模擬了一個四肢癱瘓的人，并且與機器人沒有自主交互。因此，迫切需要一種能夠學習多模態運動的通用控制器的方法，而不依賴于人體測試或手工規則。

圖2

無實驗學習-仿真框架

在這里，研究人員提出了一種無實驗學習-仿真框架，該框架是數據驅動和動力學感知的，利用強化學習來加快外骨骼控制器在多模態運動輔助中的開發（圖1b）。首先，為了實現無實驗學習，該方法的數據驅動組件包括三個相互連接的多層感知器神經網絡，用于運動模仿、肌肉協調和外骨骼控制（圖2）。控制框架從行走、奔跑和爬樓梯的人體運動學軌跡數據中學習，這些數據來自運動捕捉數據集25（代表性受試者的每個活動的10秒參考數據）。隨后，基于神經網絡的外骨骼控制器通過數百萬個肌肉骨骼仿真時代的演化，通過最大化獎勵（即減少肌肉激活）來改善人體表現。控制策略的訓練在圖形處理單元（GPU）上運行8小時，以使控制器學會為所有三個活動提供有效的輔助（圖1c）。其次，為了提高仿真的準確性和訓練數據的效率，該方法的動力學感知組件包括一個具有208個下肢和上肢骨骼肌肉的50自由度全身肌肉骨骼模型（圖2a）和本研究中使用的定制髖關節外骨骼的機械模型（圖2b）。強化學習因其對數據的需求量大而以計算密集著稱，因此計算成本高昂。通過將物理模型納入學習過程中，研究人員能夠引導學習過程并提高效率。第三，研究人員使用線性彈性模型27來模擬逼真的人機接觸，以促進控制器設計。肌肉骨骼模型和外骨骼控制器同時進行訓練，以在仿真中產生高保真度的生物力學反應，并最終獲得跨三個活動及其過渡的統一控制器（圖2c）。

該學習-仿真框架實現了端到端控制，將機器人的傳感器輸入映射為輔助扭矩，沒有任何中間步驟。學到的控制器計算效率高，由一個三層全連接網絡組成，因此可以在微控制器上實現。與需要昂貴設備和大量人體測試來調節設備的人機協同方法相比，該控制器只需要容易獲取的運動測量數據，即每個大腿上的一個九軸慣性測量單元（IMU）傳感器（LPMS-B2, LP-Research），并且自動適應三個活動及其過渡，無需手工控制（圖1d和圖2d）。生成的輔助扭矩配置文件根據每個用戶在每個活動中的運動學模式（大腿角度和大腿角速度）進行自適應（圖3b）。這個控制器計算效率高且有效，因為控制策略是在仿真中進行訓練和優化的，仿真與物理世界的動力學和生物力學特性非常相似。這項工作的主要貢獻是該控制方法及其在仿真中實現的無實驗效率和多功能性，適用于三種運動活動。與最先進的便攜式外骨骼相比，該控制器在這三個活動中顯著降低了代謝開支（圖1e和圖5c）。這些結果突顯了強化學習方法的可行性，盡管不同個體之間的生物力學變異性很大。

圖3

活動自適應多功能控制

為了展示控制器適應不同運動活動的能力，研究人員進行了一個跑步機實驗（擴展數據表1列出了參與者的信息），測試了三種不同速度下的行走和跑步。控制器網絡中的權重和偏置直接來自仿真，輸入是從每個大腿上安裝的一個慣性測量單元（IMU）傳感器測量的大腿角度和角速度。這些可穿戴傳感器的輸入用于解碼人的意圖并生成外骨骼的所需輔助扭矩（圖3a）。控制器由一個三層神經網絡組成，實現在運行Simulink實時的臺式計算機上。該方法不需要中間活動檢測或步態周期檢測。輔助扭矩在每個時間步（100 Hz，即0.01秒）實時生成，使用當前的大腿角度和角速度以及過去0.03秒（相當于三個時間步）的歷史數據。通過在仿真中訓練，該控制器學會將人體運動視為一個連續的過程，并生成適當的實時輔助扭矩，不僅在穩態運動中，而且在過渡階段，與用戶的運動協同。為了便于與文獻8、13、15、28–36進行比較，研究人員在0.75、1.25和1.75 m/s的速度下進行了行走和2 m/s的速度下進行了跑步的跑步機實驗。研究人員選擇跨步速度進行測試，以展示控制策略的普適性。仿真中學習的控制器生成的輔助扭矩適應不同速度下的行走和跑步。每個參與者（n=8）的扭矩配置文件在每個活動中的形狀略有不同，因為該控制器適應了每個參與者的不同運動學運動模式（大腿角度和角速度）（圖3b）。扭矩配置文件的大小也隨著行走和跑步之間的變化速度增加而增加，表明它能夠為不同強度的活動提供協同輔助（圖3c）。

連續的輔助扭矩配置文件

為了展示控制器在三種活動及其過渡中生成平穩且協同的輔助能力，研究人員在真實世界中對一個參與者進行了一項活動變化的實驗。參與者從0.8 m/s的緩慢行走開始，加速到約2 m/s的跑步，然后以平穩的方式減速，最后開始爬樓梯（七級）（圖4a）。與跑步機實驗中使用的相同神經網絡控制器實現了一個分層機電一體化架構，其中高級微控制器（Raspberry Pi 4）向低級微控制器（Teensy, PJRC）發送扭矩指令，低級微控制器位于腰部控制盒中。行走、跑步和爬樓梯期間的扭矩配置文件在形狀和輔助力大小上都呈現出明顯的變化（圖4b）。外骨骼的機械功率也隨著運動強度的變化而變化（圖4c），表明控制器提供協同輔助的能力。由于IMU傳感器的讀數不能準確反映大腿的實際運動（由于柔軟的可穿戴帶），因此存在一些較小的負功率峰值。然而，這些負峰值很小（平均占每個步態周期總交付機械功的3.47%），且持續時間很短（約0.04-0.08秒，相當于步態周期的6-8%），對外骨骼輔助的整體效益影響可以忽略不計。

圖4

多功能輔助控制與代謝率降低

代謝率是評估外骨骼輔助運動中人體表現的關鍵指標之一。機器人輔助顯著改善了多位參與者在行走（n = 8）、跑步（n = 8）和爬樓梯（n = 8）過程中的能量經濟性，證明了控制器的有效性（圖5a，擴展數據圖6和擴展數據表2）。對于每項活動，研究人員測試了三種不同條件，即輔助開啟、輔助關閉和無外骨骼（無exo）。安裝在兩大腿上的兩個九軸IMU傳感器用于測量關節角度和角速度。在1.25 m/s的平地跑步機上進行5分鐘的平地行走時，無exo條件下的凈代謝率（最后2分鐘）為2.91 ± 0.26 W/kg，而輔助開啟條件下減少為2.19 ± 0.19 W/kg（均值±標準誤差）。輔助開啟條件下的代謝率降低與無exo條件相比范圍從19.9%到30.8%，平均為24.3%（圖5a）。在2.0 m/s的平地跑步機上進行5分鐘的平地跑步時，無exo條件下的凈代謝率（最后2分鐘）為8.25 ± 0.92 W/kg，而輔助開啟條件下減少為7.19 ± 0.85 W/kg（均值±標準誤差）。輔助開啟條件下的代謝率降低與無exo條件相比范圍從7.6%到20.8%，平均為13.1%。在步頻為65步/分鐘的臺階機上進行5分鐘的爬樓梯時，無exo條件下的凈代謝率（最后2分鐘）為5.54 ± 0.24 W/kg，而輔助開啟條件下減少為4.66 ± 0.22 W/kg。輔助開啟條件下的代謝率降低與無exo條件相比范圍從8.7%到25.7%，平均為15.4%（圖5a）。綜上所述，并根據所掌握的最新知識，這些是有關行走、跑步和爬樓梯的便攜式髖關節外骨骼的代謝率降低中最高的結果（圖5b、c）。

圖5

本文轉載自公眾號AIGC最前線   

原文鏈接：????https://mp.weixin.qq.com/s/pBBisjMdTLBKN1LHlYC5fg???