郭震 AI公众号:郭震AI

实时 AI 消息

银河通用发布全球首个具身智能后训练框架WAM-TTT,仅需人类视频即可部署机器人

银河通用正式发布全球首个面向具身智能大模型的测试时后训练框架WAM-TTT,首次将Test-Time Training范式从大语言模型迁移至物理世界的机器人控制。该框架仅需未标注的人类视频即可让机器人在部署阶段快速适应新场景,无需昂贵的遥操作数据。

发布时间

银河通用(Galaxy General)今日正式发布全球首个面向具身智能大模型的测试时后训练框架WAM-TTT(World-Action Model Test-Time Training),首次将Test-Time Training(TTT)范式从NLP和大语言模型迁移至物理世界的机器人控制。

这一突破意味着机器人能够在部署阶段持续学习和适应,而不只是依赖预训练阶段的知识。在此之前,整个具身智能行业都受困于同一核心痛点:一个机器人在训练场里学会了搬箱子,精度和成功率都拉满,但一旦换个环境或者换批箱子,它就立刻失效。

WAM-TTT的核心创新在于,它不要求机器人在部署阶段重新收集大量机器人轨迹数据或进行人工动作标注,而是仅凭一段未标注的人类RGB视频就能完成场景适应。框架底座是一个预训练的世界动作模型(WAM),内含视频专家和动作专家两部分,二者通过联合注意力维系通信。

更关键的是,WAM的主体权重在整套流程中全程保持冻结,所有学习操作都在一个轻量化的快速权重记忆模块(fast-weight memory)中完成。这相当于让机器人把新场景信息写到一张"便签"上,然后调用自己已有的能力,照着便签把任务完成。

在实验中,WAM-TTT的表现引人注目。当训练数据由100条机器人轨迹加100条人类视频组成时,任务平均成功率达到74.1%,与全部使用机器人轨迹训练的效果基本相当。这意味着在某些条件下,一段普通人视频几乎可以1:1替代一段昂贵的机器人遥操作数据。

相比之下,使用人体姿态估计和动作重定向传统方法的对照组,四个任务平均完成度仅为28.9%,比原始WAM-TTT低了43.4个百分点。而在未知的真实家庭环境中,WAM-TTT的能力保持率约75.6%,而仅通过上下文学习(ICL)提供信息的对照组则从48.4%骤降至7.1%。

这一框架的实现难度远超大模型领域的TTT。机器人的动作空间是高维连续的,一个抓取角度差之毫厘结果可能天差地别,且物理交互一旦发生就不可逆。WAM-TTT的成功意味着具身智能行业找到了一条不同于"不断采集更多机器人数据"的高效路径。

银河通用的这一发布也与AI行业的大趋势高度一致:从o1等推理模型开始,新的共识是模型能力不仅来自预训练,也越来越来自推理和部署阶段的持续学习。WAM-TTT将这一范式扩展到了物理世界。

为什么重要

WAM-TTT首次将Test-Time Training范式引入机器人领域,大幅降低具身智能的部署成本,有望推动机器人从实验室走向真实场景的规模化应用。

微博邮件

具身智能Embodied AI银河通用机器人RoboticsTest-Time Training
返回AI日报

附近消息

全部