隨著人工智能和機器人技術的迅速發展，功能操控（Functional Manipulation）在機器人學中的重要性愈加突出。傳統的基準測試已無法滿足目前機器人對復雜操控任務的需求，呼吁新的操控基準（Functional Manipulation Benchmark）出現。

概述

機器人操控面臨兩個主要挑戰：機器人如何智能地處理復雜的接觸動力學以及如何應對環境和物體的多樣性。針對這些挑戰，機器人學習技術被視為關鍵的解決手段。因此，該領域需要一個全面易得的框架，提供有挑戰性的實際任務、高質量數據、易于復制的設置，集合了基線結果的相關方法，基于該框架，研究人員能夠對所提出任務的實驗發現進行深入分析。

加州大學伯克利分校智能機器人實驗室（RAIL）的研究團隊提出了如上所述的現實世界基準，稱為 FMB（Functional Manipulation Benchmark for Generalizable Robotic Learning）。

• 項目主頁：https://functional-manipulation-benchmark.github.io/
• 論文地址：https://arxiv.org/abs/2401.08553
• 論文題目：FMB: a Functional Manipulation Benchmark for Generalizable Robotic Learning
• 共同第一作者主頁：https://people.eecs.berkeley.edu/~jianlanluo/
• https://charlesxu0124.github.io/

FMB 具有以下特點：

• 創新設計：采用了 3D 打印技術制作任務中的物體，來考驗機器人的泛化能力，這種方法也便于其他研究人員復現。
• 多樣化任務：包含單物體和多物體多階段操控任務，真實模擬日常環境中的挑戰。
• 大型數據集：通過大量人工演示，為機器人提供了豐富的數據集。
• 模仿學習基線：使用最先進的機器學習方法，提供了基線結果和模塊化組件以供其他研究者使用。

物體和任務

FMB 中的任務大致分為兩類：單物體多步驟操控任務和多物體多步驟操控任務。這些任務旨在測試機器人的基本技能，如抓取、重新定位和裝配等，這些都是完成整個任務所必需的技能。FMB 中的任務要求機器人不僅能完成單一的操控技能，還要求機器人能夠將這些技能組合起來，完成更為復雜的多步驟任務。

FMB 的任務設計靈活多變，研究人員可以根據需要選擇專注于單一技能，深入研究機器人的操控能力，也可以研究完整的多步驟任務，這需要機器人進行長期規劃并具備從失敗中恢復的能力。由于涉及選擇合適的物體并推理操控物體的順序，更為復雜的多步驟任務要求機器人能夠做出復雜的實時決策。

大型數據集

在機器人學習的過程中，數據的作用不可小覷。為了使機器人更好地理解和掌握復雜的任務，研究團隊收集了一個涵蓋上述任務的大規模專家人類示范數據集，包含超過兩萬個操作軌跡。研究團隊采用了四個不同的攝像機記錄這些示范數據，其中兩個攝像機安裝在機器人的腕部，另外兩個提供全局視角。這些攝像機捕捉了對于機器人學習解決任務至關重要的 RGB 彩色圖像信息、深度信息等數據。

此外，數據集還記錄了機器人末端執行器的力 / 扭矩信息，這對于像裝配這樣需要接觸大量物體的的任務非常重要。通過這些豐富的數據，機器人能夠深入理解任務的每個細節，更加精確地模仿人類的操作技巧。正是由于數據的深度和廣度，為機器人學習提供了堅實的基礎。這使得機器人在執行復雜任務時，能夠更加人性化和更靈巧地對任務作出響應。

模仿學習基線

基線策略的架構圖。

基于 Transformer 和 ResNet 的兩種模型都使用了共享權重的 ResNet 編碼器對每個圖像視圖進行編碼，然后與本體感知信息和可選的物體和相應的機器人技能編碼特征結合，以預測 7 自由度的動作。

FMB 的實驗部分對模仿學習系統的性能進行了一系列測試，比較了不同的學習方法，探究了不同輸入模式和設計決策的影響。實驗發現，使用深度信息有助于提高抓取策略的效果，力 / 扭矩信息對于裝配任務非常重要。對于多步驟任務，傳統的 ResNet、Transformer 和 Diffusion 方法均未能奏效，但該論文中提出的分級控制 (hierarchical control) 方法顯示出了潛力。

抓取任務

實驗結果顯示，納入深度信息的 ResNet 策略在抓取任務中的性能一致優于僅使用 RGB 信息的策略。通過數據削減研究，研究團隊探究了不同數量的訓練數據對抓取任務性能的影響。結果顯示，納入深度信息的 ResNet 策略在處理已見物體時的性能將隨著訓練數據量的增加而提升。值得注意的是，該策略對未見過的物體表現出了與已見物體相近的性能，這表明訓練對象的多樣性極大地促進了機器人的泛化能力。

裝配任務

在裝配任務中，力 / 扭矩信息的重要性得到了證實。力 / 扭矩信息對于機器人采取的策略判斷物體是否已經接觸到目標表面，并有效進行搜索等行為非常重要。

然而，當策略在所有物體上進行訓練時，機器人并不總是能夠成功地完成裝配任務。這是因為策略需要首先判斷應將物體裝配到哪個孔中，然后再生成相應的動作，這大大增加了任務的復雜性。為了解決這個問題，研究團隊在策略中添加了一個選取物體機制，幫助策略確定需要裝配的物體的形狀，從而專注于生成正確的裝配動作。

多步驟任務

FMB 的框架包含了兩項復雜任務。這些復雜任務要求機器人能夠像人類一樣連續完成多個步驟。此前的方法是讓機器人學習整個過程，但這種方法容易因為單一環節的錯誤而不斷累計誤差，最后導致整個任務失敗。無論是在單物體還是多物體操控任務中，這種方法的成功率均為 0/10。

針對累積誤差問題，研究團隊采用了分層控制策略。分層策略通過將任務分解成若干小塊，每完成一塊便相當于通過一個決策點，即使出現錯誤也能迅速糾正，避免影響后續環節。例如，如果機器人在抓取過程中未能穩固抓住物體，它會持續嘗試直至成功。

研究團隊測試了兩種分層方法，第一種方法為單一策略提供指示任務類型的有效向量，而第二種方法則是針對每個操控技能單獨訓練不同的策略，均采用了操作員的指令作為上層策略，在測試中，研究團隊發現這兩種方法均表現優異。

測試結果顯示了分層方法在處理復雜機器人任務中的有效性，并為未來研究提供了新的研究方向。

如上圖所示，機器人在學習后能夠自主進行功能操控。

總的來說，以上實驗展示了研究團隊在機器人學習領域的技術創新，也驗證了 FMB 是適合開發先進機器人學習方法的基準。研究團隊研究期待未來的研究可以在 FMB 基礎上進一步推動機器人學習的邊界。