人形機器人是機器人產業的目標之一，尤其在現今勞動人口缺乏的情況下，採用人形設計的協作式機器人可協助處理許多複雜的人力作業；NVIDIA在SIGGRAPH 2024宣布為了加速人形機器人開發，為包括Isaac Lab 和 Isaac Sim的機器人模擬提供用於機器人模擬的NVIDIA NIM微服務、OSMO雲運分散運算編排服務，其中藉由導入兩項NVIDIA NIM微服務，可透過少量遠距操作的動態捕捉資料產生合成資料，提供機器人訓練更豐富的數據。
NVIDIA針對人形機器人開發的NVIDIA NIM微服務與框架可提供機器人模擬與學習，NVIDIA OSMO編排服務則適用於多階段機器人工作負載，遠端操作的動作擷取工作流透過AI產生合成資料、以少量資料進行訓練並支援AI與模擬。
針對機器人開發的NVIDIA NIM微服務透過基於NVIDIA推論軟體的預先訓練容器，使開發者將佈署時間自數週縮減為數分鐘；兩個全新的AI微服務能使機器人開發者強化基於NVIDIA Omniverse的NVIDIA Isaac Sim產生的實體AI模擬工作流。其中MimicGen NIM能將Apple VisionPro等空間運算設備捕捉的遠端資料產生和成運動資料，而Robocasa NIM則透過OpenUSD產生的機器人流程與模擬就緒的環境。
NVIDIA OSMO則是雲端託管服務，可使使用者跨本地與雲端進行分散式運算資源的編排與擴展；透過OSMO可大幅縮減機器人訓練與模擬工作流程，將部署與開發週期自數個月縮減至一周內；開發者可透過視覺化方式管理相關任務，包括合成資料、模型訓練，使人型機器人、自主機器人、工業機器手臂進行大規模模型在環(software-in-the-loop testing)進行強化學習。
▲透過AI產生的合成數據，開發者僅須透過空間運算設備捕捉少量遠距操作的資料即可產生足以訓練機器人的豐富合成數據
另外，訓練人形機器人的資料往往來自人類動作，其中透過遠距操作進行動作的數據捕捉是相當重要的方式，但這種資料捕捉通常費時又昂貴；NVIDIA透過結合NVIDIA AI與Omniverse構成一套遠距操作資料流程，使AI能透過少量的動作捕捉資料產生合成資料，藉此取得大量的動作與感測資料。
開發者可透過Apple Vision Pro等空間運算裝置捕捉遠距操作的示範，在透過NVDIA Isaac Sim輸入錄製的資料，並結合MimicGen NIM產生合成資料集；開發者可透過真實數據與合成資料訓練Project GR00T，而後再透過Isaac Lab機器人學習框架的Robocasa NIM反覆進行訓練。這些流程都可透過NVIDIA OSMO進行無縫的資源分配。
此外，NVIDIA也為機器人開發者提供更豐富的資源，在開發階段透過NVIDIA AI超級電腦進行預訓練模型的訓練，以及建構於Omniverse環境的NVIDIA Isaac Sim，還有足以執行複雜任務的NVIDIA Jetson Thor平台。包括1x, 波士頓動力, ByteDance Research, Field AI, Figure, Fourier, Galbot, LimX Dynamics, Mentee, Neura Robotics, RobotEra與Skild AI皆為首批加入NVIDIA人形機器人開發計畫的夥伴。
暂无评论内容