用蘋果Vision Pro隔空操控機器人，英偉達：「人機合一」也不難嘛
昨日，英偉達創始人黃仁勛在 SIGGRAPH 2024 Keynote 演講中講到了其人形機器人通用基礎模型「Project GR00T」。該模型在功能上迎來了一系列更新。
德克薩斯大學奧斯汀分校助理教授、英偉達高級研究科學家朱玉可發推，在視頻中演示了英偉達如何將通用家務機器人大規模仿真訓練框架 RoboCasa 和 MimicGen 系統整合到英偉達 Omniverse 平臺和 Isaac 機器人開發平臺。
圖源：https://x.com/yukez/status/1818092679936299373
視頻中涵蓋了英偉達自己的三個計算平臺，包括 AI、Omniverse 和 Jetson Thor，利用它們簡化和加速開發者工作流程。通過這些計算平臺的共同賦能，我們有望進入由物理 AI 驅動的人形機器人時代。
其中最大的亮點，開發人員能夠使用蘋果 Vision Pro 來遠程操控人形機器人來執行任務。
與此同時，另一位英偉達高級研究科學家 Jim Fan 表示，Project GR00T 的更新令人振奮。英偉達利用系統化的方法來擴展機器人數據，解決了機器人領域最棘手的難題。
思路也很簡單：人類在真實機器人身上收集演示數據，而英偉達在仿真中將這些數據擴展千倍及以上。通過 GPU 加速仿真，人們現在可以用算力來換取耗時耗力耗資金的人類收集數據了。
他談到自己不久前還認為遠程操控在根本上不可擴展，這是因為在原子世界中，我們總是受到 24 小時 / 機器人 / 天數的限制。英偉達在 GR00T 上采用的新的合成數據 pipeline 在比特世界打破了這一局限。
圖源：https://x.com/DrJimFan/status/1818302152982343983
對于英偉達在人形機器人領域的最新進展，有網友表示，蘋果 Vision Pro 找到了最酷的用例。
英偉達開始引領下一波浪潮：物理 AI
英偉達也在一篇博客中詳述了加速人形機器人的技術流程，完整內容如下：
為了加速全球范圍內人形機器人的發展，英偉達宣布為全球領先的機器人制造商、AI 模型開發商和軟件制造商提供一套服務、模型和計算平臺，以開發、訓練和構建下一代人形機器人。
這套產品包括用于機器人仿真和學習的全新 NVIDIA NIM 微服務和框架、用于運行多階段機器人工作負載的 NVIDIA OSMO 編排服務，以及支持 AI 和仿真的遠程操作工作流，該工作流允許開發者使用少量人類演示數據來訓練機器人。
黃仁勛表示：「AI 的下一波浪潮是機器人，其中最令人興奮的發展之一是人形機器人。我們正在推進整個 NVIDIA 機器人堆棧的發展，面向全球人形機器人開發者和公司開放訪問，讓他們能夠使用最符合其需求的平臺、加速庫和 AI 模型。」
借助 NVIDIA NIM 和 OSMO 加速開發
NIM 微服務提供了由英偉達推理軟件提供支持的預構建容器，使開發人員能夠將部署時間從幾周縮短到幾分鐘。
兩個新的 AI 微服務將允許機器人專家在 NVIDIA Isaac Sim 中增強生成物理人工智能仿真工作流程。
MimicGen NIM 微服務根據來自空間計算設備（如 Apple Vision Pro）記錄的遠程數據生成合成運動數據。Robocasa NIM 微服務可在 OpenUSD 中生成機器人任務和仿真環境。
云原生托管服務 NVIDIA OSMO 現已推出，允許用戶在分布式計算資源（無論是在本地還是在云中）中協調和擴展復雜的機器人開發工作流程。OSMO 的出現大大簡化了機器人訓練和仿真工作流程，將部署和開發周期從數月縮短至不到一周。
為人形機器人開發者提供先進的數據捕獲工作流
訓練人形機器人背后的基礎模型需要大量的數據。獲取人類演示數據的一種方法是使用遠程操作，但這種方式正變得越來越昂貴和漫長。
通過在 SIGGRAPH 計算機圖形大會上展示的 NVIDIA AI 和 Omniverse 遠程操作參考工作流，研究者和 AI 開發者能夠從極少量遠程捕捉的人類演示中生成大量合成運動和感知數據。
首先，開發人員使用 Apple Vision Pro 捕捉少量遠程演示。然后，他們在 NVIDIA Isaac Sim 中仿真錄音，并使用 MimicGen NIM 微服務從錄音中生成合成數據集。
開發人員使用真實數據和合成數據來訓練 Project GR00T 人形機器人基礎模型，從而節省了大量的時間并降低了成本。然后，他們使用 Isaac Lab 中的 Robocasa NIM 微服務（一種機器人學習框架）來生成經驗以重新訓練機器人模型。在整個工作流中，NVIDIA OSMO 將計算任務無縫地分配給不同的資源，為開發者減少了數周的管理工作量。
擴大對 NVIDIA 人形機器人開發者技術的訪問權限
NVIDIA 提供了三個計算平臺來簡化人形機器人的開發：用于訓練模型的 NVIDIA AI 超級計算機；基于 Omniverse 構建的 NVIDIA Isaac Sim，機器人可以在仿真世界中學習和完善技能；以及用于運行模型的 NVIDIA Jetson Thor 人形機器人計算機。開發人員可以根據自己的特定需求訪問和使用全部或部分平臺。
通過新的 NVIDIA 人形機器人開發者計劃，開發者可以提前使用新產品以及 NVIDIA Isaac Sim、NVIDIA Isaac Lab、Jetson Thor 和 Project GR00T 通用人形機器人基礎模型的最新版本。
1x、波士頓動力、字節跳動、Field AI、Figure、Fourier、Galbot、LimX Dynamics、Mentee、Neura Robotics、RobotEra 和 Skild AI 是首批加入早期訪問計劃的公司。
開發人員現在可以加入 NVIDIA 人形機器人開發人員計劃，以訪問 NVIDIA OSMO 和 Isaac Lab，并且很快將獲得 NVIDIA NIM 微服務的訪問權限。
