英伟达开源 Cosmos 3 四个世界模型检查点，瞄准机器人操作与自动驾驶仿真

11月5日，英伟达在 Hugging Face 博客上发布了 Cosmos 3 系列的四个开放权重检查点，全部由 Cosmos 3 Nano 后训练而来。与只演示一段生成视频的做法不同，这次放出的是一组面向交互式世界仿真的可下载模型，配套公开了技术报告、推理 notebook 和完整的后训练配方。

四个检查点各有明确分工。Cosmos3-Nano-Transfer-Auto 用于离线合成驾驶数据，可生成最多 11 路相机（含鱼眼）的同步视频，并支持 RGB 与激光雷达联合生成；Cosmos3-Nano-Sim-Auto 是它的因果蒸馏流式版本，用少量去噪步就输出下一段相机与雷达观测，配合仿真运行时可以闭环长时推演。

另外两个面向仿真与机器人。Cosmos3-Nano-Sim-Transfer 把物理仿真器输出的深度、分割、边缘、模糊等空间控制信号加上文本提示，渲染成策略网络可用的彩色画面，物理与真值状态仍留在仿真器一侧；Cosmos3-Nano-Sim-Bimanual 则直接根据双臂机器人的动作预测下一帧观测，支持 YAM 与 AgiBot 两种本体，可由策略或人手摇杆驱动。

按博客说法，四个模型都拥有 16B 可训练参数，采用 OpenMDW 1.1 许可，允许商业与非商业使用。推理侧要求 Linux、NVIDIA GPU、Docker 与 NVIDIA Container Toolkit，官方给出的 vLLM-Omni 配置在一张 GB200 上完成测试——博客特别注明这不是最低显存要求。

技术路线上，Cosmos 3 用 Mixture-of-Transformers 主干把文本处理网络与视觉生成网络通过注意力连接起来。生成器按提示、控制信号与已生成历史预测下一个短片段，时间因果注意力只允许读取历史、屏蔽未来目标；压缩后的 latent 中每个时间步代表四帧 RGB，键值缓存把注意力信息留给下一次预测。

更值得关注的是那套四阶段训练配方：先在完整录制片段上做双向适配，再用教师强制学习分块预测，接着用冻结教师做一致性蒸馏，把每块压缩到四步去噪，最后用自强制（self-forcing）让学生模型在自己生成的历史上训练。博客解释得很直白——一个轻微预测错误的物体将成为后续帧的上下文，误差会累积。

英伟达把这批权重视为共享起点，而不是终局答案。博客承认难点仍在：需要衡量模型在多大程度上真正支撑策略学习与评估，理解它们的失效边界，并在不足处继续改进。对做机器人、自动驾驶仿真的团队来说，接下来的看点是这些检查点在自有传感器配置上的后训练成本，以及流式版本能否撑住真实的闭环交互频率。