郭震 AI公众号:郭震AI

实时 AI 消息

英伟达在CoRL发布GR00T 2世界动作模型,人形机器人开始练“精细活”

英伟达在CoRL集中发布开放机器人技术,核心是基于Cosmos构建的世界动作模型GR00T 2,可在无任务专用示范时完成50项评测任务中的40项。与之配套的Isaac Lab 3.0和Newton物理集成,把仿真训练吞吐量提升到上一代的2.5倍。

发布时间
英伟达在CoRL发布GR00T 2世界动作模型,人形机器人开始练“精细活”
图源: blogs.nvidia.com

11月9日,英伟达在机器人学习会议CoRL上集中发布了一批开放机器人技术,涵盖世界动作模型、仿真工具、基准测试和智能体工作流。会议本周在得克萨斯州奥斯汀举行,英伟达在博客中提出,机器人学习的重心正从行走、翻滚、跳跃这类运动能力,转向对齐齿轮、插接线缆、组装小型零件这类需要更细腻手感的操作任务。

最核心的发布是GR00T 2,一个基于NVIDIA Cosmos构建的开放“前沿世界动作模型”。它使用多样化的机器人和人类数据训练,其中包括10万小时的英伟达开源人类第一视角数据,目标是让机器人习得灵巧操作技能。

官方给出的评测数字相当具体:在50项评测任务中,GR00T 2在没有任务专用示范的情况下至少完成过其中40项;每项任务只给一次示范时,50项任务平均成功率为71%,给到五次示范后升至95%。它还能从人类示范中学习,并在不同机器人本体之间迁移技能,而不需要目标机器人的演示数据。

榜单表现和客户试用被放在一起讲。英伟达称GR00T 2目前在RoboCasa365、RoboLab、RoboDojo和MolmoSpaces等基准上,位列视觉语言动作模型与世界动作模型各类别前三,并多次拿下第一。Nexuni正用它测试机器人洗衣分拣,富士康把GR00T 2用于服务器制造相关的工厂自动化,西门子在评估工业场景,MicroAGI则通过强化学习后训练,让YAM机械臂完成以太网线缆更换。

仿真侧的主角是Isaac Lab 3.0。这个开源机器人学习框架的最新版本允许研究者用智能体快速搭建训练环境,在NVIDIA PhysX与Newton两种物理求解器之间切换,按感知训练的需要选择渲染器,并新增了面向GR00T等基础模型的强化学习后训练库。与Newton更深的集成让它能模拟线缆、布料等可变形物体,以及多关节灵巧手这类复杂铰接系统。

效率提升也有对照数字:在基于视觉的灵巧操作基准中,Isaac Lab 3.0搭配Newton的训练吞吐量达到Isaac Lab 2.3搭配PhysX的2.5倍。英伟达想卖的不是一个更聪明的演示,而是一个训练闭环:在仿真中大规模并行训练、评测,把失败当作下一轮学习的输入,再把策略迁移到真机上。

数据工具在同步补齐。新的开源Video to Data工作流可以把人类视频转成仿真环境中的机器人演示,英伟达还为此发起了改进挑战;开源模型EgoHand用于重建3D手部动作,训练数据来自Noitom Robotics,英伟达称其发布两周内在Hugging Face的下载量已超过4万次。

学术侧,英伟达有两篇论文进入CoRL最佳论文奖最终名单(共六篇入围):GRAIL(用世界模型生成人形机器人移动操作)提出面向机器人学习的3D资产与可直接进入仿真器的场景生成流水线;RoboTTT(机器人策略的上下文扩展)把视觉运动上下文扩展到现有策略的三个数量级,同时不增加推理延迟。配合Ambi Robotics、Bosch Research、Skild AI、西门子、UC Berkeley等十余家伙伴,英伟达显然想把在仿真里排练、到产线上干活这条路径,做成一套可复用的公共基础设施。

为什么重要

英伟达正把竞争焦点从单点模型转向“模型+仿真+数据”的整套训练栈。若富士康、西门子等伙伴的试用能复现官方指标,人形机器人的工程化门槛会被显著拉低。

微博邮件

NVIDIARoboticsOpen Source
返回AI日报

附近消息

全部