郭震 AI公众号:郭震AI

实时 AI 消息

看3秒演示就能学会新动作,Generalist AI发布机器人基础模型GEN-1.5

机器人公司Generalist AI发布新一代机器人基础模型GEN-1.5:机器人只需观看3-12秒动作示范,无需梯度更新或微调即可学会新任务。该模型还能把多段演示拼接成连续任务,并将模拟器中的虚拟示范迁移到真实世界,被业界视为机器人领域的GPT-3时刻。

发布时间
看3秒演示就能学会新动作,Generalist AI发布机器人基础模型GEN-1.5
图源: qbitai.com

机器人公司Generalist AI发布新一代机器人基础模型GEN-1.5,主打One-shot Learning:机器人只需观看一段3-12秒的动作示范,无需任何梯度更新或微调,就能立即上手执行全新任务。

除了单任务模仿,GEN-1.5还能把两段不同的教学演示拼接成一个连续任务,中间从未被演示过的衔接动作——重新定位、调整抓法、切换姿势,甚至出错后的继续执行——都由模型自行补全。

更特别的是,示范来源不必是真人:脚本策略生成的动作、强化学习智能体的演示、人类在模拟器中的遥操作,都能作为物理提示(Physical Prompt)进入模型上下文;模型看过模拟器里的虚拟演示后,可以直接在真实世界1:1复现,而该任务此前在模拟器和真实环境中都未曾专门训练过。

在10种任务的测试中,只给一次Physical Prompt、0次梯度更新的情况下,GEN-1.5平均成功率达到59%;如果每个任务补充5分钟数据并进行10步梯度更新,成功率可提升至83%。团队也承认,现阶段测试任务大多属于短程、相对原子化的操作,通过上下文临时习得的技能在稳定性上还赶不上真正微调后的模型。

最让研究圈兴奋的是,Generalist表示并未为One-shot Learning设计专门的模型架构、元学习循环或额外目标函数,这一能力是在长达8个多月的大规模物理数据预训练过程中自发涌现的——预训练期间团队发现,新任务所需数据从几百步微调一路降到几十步、10步,最后甚至只需1分钟数据和1个梯度步。

这正是它被比作机器人界GPT-3时刻的原因:GPT-3当年用In-Context Learning让模型不用重新训练就能学会新任务,GEN-1.5把同样的逻辑搬进了物理世界,示范动作取代文字提示,成为机器人理解任务的上下文。

接下来值得关注的是,这种零训练习得的能力能否在更长程、更复杂的任务上保持稳定,以及看一遍就会是否会成为机器人基础模型的标配范式。

为什么重要

一次性学习能力若在更长任务上保持稳定,将显著降低机器人技能获取成本,推动看一遍就会成为机器人基础模型的新范式。

微博邮件

Generalist AIGEN-1.5Robotics
返回实时消息

附近消息

全部