发布时间:2026-11-11 来源:网易
11月11日消息,在CoRL2026机器人学习大会上,英伟达正式对外公开新一代机器人基础模型GR00T 2,这是一套世界‑动作模型(WAM,World‑Action Model),可以同时预测未来视频画面与机器人动作,实现从人类视频、穿戴设备示范向真实机器人跨本体技能迁移,兼顾灵巧操作、快速适配与人形机器人全身运动控制,代码计划在 2026 年 12 月开放。
不同于传统机器人模型只输出动作指令,GR00T 2 通过扩散 Transformer 架构,同步推演环境将会发生的物理变化与对应的机器人执行动作,一套权重即可适配平行夹爪、五指灵巧手、人形机器人多种硬件本体,解决过去机器人 “换一台机器就要重新采集大量示范数据” 的痛点。
海量混合预训练数据集,人类第一视角视频成为核心
GR00T 2 预训练集合三类大规模数据,总规模超 43 万小时:402730 小时人类第一视角工作视频、10184 小时手持 UMI 夹爪示范(覆盖 2897 项任务)、23500 小时机器人遥操作数据,涵盖 YAM、Franka、Sharpa 灵巧手、Wuji、Unitree G1 人形机器人多款平台。其中 10 万小时人类第一视角数据集Human‑1M‑100K已经在 Hugging Face 开源,可供研究者直接使用。
测试显示,随着人类视频数据占比提升,下游任务性能持续上涨;在真实机器人测试集上,任务完成度从 50% 提升至 70%,证明人类视频是机器人获取物理常识的关键来源。
三大核心能力:跨本体迁移、少样本快速适配、智能体协同控制
1.X‑Adapt 跨本体迁移:看人类演示,机器人直接干活
GR00T 2 最大突破是X‑Adaptability(跨本体适配):技能仅在人类或者其他设备上演示过,目标机器人没有见过该任务示范,也可以直接复用技能,英伟达给出三组验证:
1. 人类→机器人:仅观看人类化学实验视频,双臂灵巧机器人完成滤纸铺放,65% 试验成功,无需机器人端示范数据。
2. 手持 UMI 夹爪→YAM 机械臂:仅用手持设备完成玩具自卸卡车组装示范,YAM 机械臂自主完成这项最长 4 分钟长时序任务,成功率 60%。
3. 穿戴 DexUMI 外骨骼→机器人灵巧手:人类佩戴可穿戴外骨骼演示,双手机器人可以制作香蕉酸奶、舀麦片早餐,甚至完成划火柴点灯这类高动态精细操作。
2. 少样本快速学习:5 次演示,单卡 30 分钟微调冲到 95% 成功率
针对 50 项目标机器人从未见过的任务,GR00T 2 零样本即可达到40% 平均成功率;仅提供每项任务 5 段示范,合计不到 3 分钟机器人原始数据,在单张 RTX5090 显卡上做 30 分钟 LoRA 微调,任务平均成功率直接提升至95%,50 项任务中有 37 项实现 100% 试验成功。
针对内存插槽安装、玩具组装等高难度灵巧任务,搭配真实机器人上的 GRPO 强化学习自模仿,三项高接触插入类任务成功率被提升至 88‑96%。
3.Agentic 智能体模式:大模型做规划,GR00T 2 负责物理操作
GR00T 2 提供 WAM API,可以接入大语言推理智能体,形成 “大模型做任务拆解、校验纠错;GR00T2 完成复杂接触操作” 的分工模式。
在 YAM 机械臂玩具组装测试,智能体 + GR00T2 组合,三款玩具各做 100 轮连续试验,合计 292 次组装成功;其中玩具飞机组装成功率 98%。
新增视觉引导(Visual Steering)功能:推理智能体直接在相机画面标记抓取点、放置点,模型自主生成接近、抓取、搬运全套运动。该功能让 YAM 机械臂短指令任务成功率从 40% 提升到 92%;20 轮垃圾分拣长时序任务完成 17 轮,大幅缓解杂乱环境下语言指令指代模糊的难题。
GR00T 2 Turbo:人形机器人板载实时推理,Unitree G1 实现全身操作
英伟达同步推出轻量化版本GR00T 2 Turbo,参数量 2B,通过高压缩视频编码器降低计算开销,可以直接部署在 Unitree G1 人形机器人板载 Jetson‑Thor 硬件上。
- G1 板载端单次预测延迟124ms;RTX5090 环境推理仅需 38ms。
- 配合 SONIC 全身控制器,机器人可以边行走、弯腰移动身体,边完成双臂作业。测试中爆米花舀取服务 48 次全部成功,桌面杂物清理任务成功率 93.3%。
加入仿真数据混合训练后,Turbo 在分布外未知任务的真实世界成功率从 6.7% 暴涨至 63.3%,仿真评估与真机结果皮尔逊相关系数达到 0.92,仿真环境可以有效预筛选策略,减少真机调试成本。
过去人形、灵巧机器人高度依赖针对每个任务大量采集机器人示范数据,成本高、迭代慢。GR00T 2 验证了大规模人类视频 + 跨本体迁移 + 智能体编排的技术路线:把物理常识从人类行为里蒸馏给机器人,用极少量真机示范就适配全新任务。
英伟达表示完整代码将于 2026 年 12 月放出,Human‑1M 部分数据集已经开源,为整个具身智能社区提供新的基准方案。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.