NVIDIA于GTC 2024公布针对新一代机器人的Project GR00T人形机器人基础模型计画,而在GTC 2025,NVIDIA再宣布率先公布全球首个开放、可完全自定的人形机器人基础模型Isaac GR00T N1,以及包括携手Google DeepMind、Disney Research携手下一代开源物理引擎Newton,还有全新用于生成合成资料的NVIDIA Isaac GR00T Blueprint与开源资料集启动实体AI资料飞轮,提供加速机器人开发的模拟框架,加速机器人产业的进展。
NVIDIA GR00T N1训练资料和任务评估情境即日起可从Hugging Face与GitHub下载,用于产生合成操作动作的NVIDIA Isaac GR00T Blueprint同样自即日起可在在build.nvidia.com上以互动展示的形式提供,或自GitHub下载。Newton物理引擎预计在2025年内释出。此外NVIDIA也自即日发公布GR00T N1资料集,将透过HuggingFace释出开放下载。
▲GR00T N1是全球第一款开源、可完全自定的人型机器人基础模型,透过预训练足以执行许多产线自主机器人的基本任务
GR00T N1是由NVIDIA所进行训练,并为全球第一款开源、可完全自定的人形机器人基础模型,旨在加速新一代机器人,借此舒缓全球缺工的情况;GR00T N1基础模型采用双系统架构,灵感来自于人类的认知原理;当中的「系统 1」是快速思考的动作模型,反映人类的反射或直觉,而「系统 2」是一个缓慢思考的模型,用于深思熟虑,做出有条理的决策,透过两个系统相辅相成并截长补短。
在视觉语言模型的支援下,「系统 2」会对身处的环境和收到的指令进行推理以规划行动。然后「系统 1」会将这些计画转换为机器人身上精确连续的动作。「系统 1」的模型由人类示范的资料与NVIDIA Omniverse平台所产生的大量符合物理原则的合成资料训练而成;GR00T N1可以轻松用于处理一般任务,像是用一或两隻机器手臂抓取、移动东西,以及将东西从一隻手臂换到另一隻手臂,或是执行需要长上下文与一般技能组合的多步骤任务,这些基本功能足以应用在透过自主机器人搬运材料、包装和检查等情境,开发者也能针对特殊应用情境以GR00T N1以额外资料及合成资料进行后期训练。
▲NVIDIA、Google DeepMind与Disney共同开发开源物理引擎Newton,可使机器人AI模型于更趋近真实物理的数位孪生环境训练与验证
▲Disney Research的娱乐型机器人BDX以星际大战为发想
▲BDX套用GR00t N1作为行为基础模型
NVIDIA也与Google DeepMind、Disney Research合作开发全新的开源物理引擎Newton,Newton基于NVIDIA Warp框架并针对机器人情境最佳化,Newton也相容于Google DeepMind的MuJoCo和NVIDIA Isaac Lab等模拟框架,后续也计画让Newton能够使用迪士尼的物理引擎。Google DeepMind与NVIDIA 正在合作开发MuJoCo-Warp,预期将机器人机器学习工作负载加速70倍以上,并且将透过Google DeepMind的MJX开源函式库及Newton提供给开发人员使用;而Disney Research将率先活用Newton开发娱乐机器人,同时也借GTC展示以「星际大战」为灵感的以的BDX机器人,BDX搭载两个NVIDIA晶片进行运算,并执行GR00T N1作为行为基础模型。
▲透过Omniverse with Cosmos可产生大量有用的合成资料
▲结合真实数据与合成资料进行训练,相较使用有限的真实资料可大幅机器人模型的效能
此外NVIDIA公布用于产生合成操控动作的NVIDIA Isaac GR00T Blueprint,以Omniverse与Cosmos Transfer世界基础模型为基础,仅需少量的真人示范,即可产生大量符合真实物理原则的合成资料;NVIDIA使用NVIDIA Isaac GR00T Blueprint仅11个小时里即产生出78万个合成轨迹,相当于6,500 个小时或连续9个月的真人示范资料,同时NVIDIA将合成资料加上真实资料用于训练,相较于只使用真实资料,使GR00T N1效能提高了 40%。
于GTC 2025公布的全新个人AI超级电脑DGX Spark能够作为机器人开发人员提供一站式系统,可扩充GR00T N1的功能以用于新的机器人、任务和环境,且无需自行撰写大量程式。
发表评论 取消回复