实时 AI 消息
银河通用发布全球首个具身智能后训练框架WAM-TTT,仅需人类视频即可部署机器人
银河通用正式发布全球首个面向具身智能大模型的测试时后训练框架WAM-TTT,首次将Test-Time Training范式从大语言模型迁移至物理世界的机器人控制。该框架仅需未标注的人类视频即可让机器人在部署阶段快速适应新场景,无需昂贵的遥操作数据。
银河通用(Galaxy General)今日正式发布全球首个面向具身智能大模型的测试时后训练框架WAM-TTT(World-Action Model Test-Time Training),首次将Test-Time Training(TTT)范式从NLP和大语言模型迁移至物理世界的机器人控制。
这一突破意味着机器人能够在部署阶段持续学习和适应,而不只是依赖预训练阶段的知识。在此之前,整个具身智能行业都受困于同一核心痛点:一个机器人在训练场里学会了搬箱子,精度和成功率都拉满,但一旦换个环境或者换批箱子,它就立刻失效。
WAM-TTT的核心创新在于,它不要求机器人在部署阶段重新收集大量机器人轨迹数据或进行人工动作标注,而是仅凭一段未标注的人类RGB视频就能完成场景适应。框架底座是一个预训练的世界动作模型(WAM),内含视频专家和动作专家两部分,二者通过联合注意力维系通信。
更关键的是,WAM的主体权重在整套流程中全程保持冻结,所有学习操作都在一个轻量化的快速权重记忆模块(fast-weight memory)中完成。这相当于让机器人把新场景信息写到一张"便签"上,然后调用自己已有的能力,照着便签把任务完成。
在实验中,WAM-TTT的表现引人注目。当训练数据由100条机器人轨迹加100条人类视频组成时,任务平均成功率达到74.1%,与全部使用机器人轨迹训练的效果基本相当。这意味着在某些条件下,一段普通人视频几乎可以1:1替代一段昂贵的机器人遥操作数据。
相比之下,使用人体姿态估计和动作重定向传统方法的对照组,四个任务平均完成度仅为28.9%,比原始WAM-TTT低了43.4个百分点。而在未知的真实家庭环境中,WAM-TTT的能力保持率约75.6%,而仅通过上下文学习(ICL)提供信息的对照组则从48.4%骤降至7.1%。
这一框架的实现难度远超大模型领域的TTT。机器人的动作空间是高维连续的,一个抓取角度差之毫厘结果可能天差地别,且物理交互一旦发生就不可逆。WAM-TTT的成功意味着具身智能行业找到了一条不同于"不断采集更多机器人数据"的高效路径。
银河通用的这一发布也与AI行业的大趋势高度一致:从o1等推理模型开始,新的共识是模型能力不仅来自预训练,也越来越来自推理和部署阶段的持续学习。WAM-TTT将这一范式扩展到了物理世界。
为什么重要
WAM-TTT首次将Test-Time Training范式引入机器人领域,大幅降低具身智能的部署成本,有望推动机器人从实验室走向真实场景的规模化应用。
附近消息
全部07/16 17:29
中国移动战略投资友机技术,工业母机进入"计算化时代"
中国移动链长基金战略投资工业智能企业友机技术,标志着工业AI基础设施竞争从模型能力转向工业系统理解能力。友机技术深耕机床智能化,将传统加工设备转变为具备感知、学习和优化能力的智能系统。
07/16 16:57
AI Skill 和 AI Agent,到底差在哪? 53AI
据 news.google.com 消息,AI Skill 和 AI Agent,到底差在哪? 53AI。AI Skill 和 AI Agent,到底差在哪? 53AI
07/16 21:17
Apple Intelligence获准在中国上线,联手阿里巴巴通义千问与百度
Apple Intelligence正式获得中国监管批准,将与阿里巴巴的通义千问(Qwen)及百度合作,在中国市场推出AI功能。这笔此前传闻已久的交易标志着苹果在其关键市场的AI野心迈出了重要一步。
07/16 21:25
浙江发布文旅行业高质量数据集共创平台,加速构建AI文旅产业数据基础设施
浙江省正式发布文旅行业高质量数据集共创平台,旨在加快构建人工智能文旅产业的数据基础设施。该平台将推动文旅行业数据的标准化、高质量汇聚与开放共享,为AI应用提供坚实基础。