NVIDIA发布Cosmos-H-Dreams：实时生成式仿真技术进入手术机器人领域

NVIDIA今日在Hugging Face平台发布了Cosmos-H-Dreams，这是一款面向手术机器人领域的实时生成式仿真工具，标志着物理AI在医疗应用中的重要突破。

手术机器人正从远程操作快速迈向视觉-语言-行动策略，但训练和评估这些系统仍然面临巨大挑战。物理机器人平台运行成本高昂，实验难以复现，操作失误可能损坏器械或生物组织。传统仿真器虽然更安全，但手术场景中变形组织、精细器械交互、镜面表面、缝合线、烟雾和遮挡等因素使其极难建模。

Cosmos-H-Dreams走了一条不同的路。它基于NVIDIA的Cosmos-Predict2.5-2B世界基础模型，在Open-H-Embodiment多体手术数据集上微调而成。其教师模型Cosmos-H-Surgical-Simulator曾证明，通过从初始画面和机器人动作序列生成未来手术视频，可以大幅降低对物理机器人的依赖。

Cosmos-H-Dreams将这一能力推向了实时场景。研究团队针对达芬奇研究套件（dVRK）桌面缝合任务对模型进行专门优化，通过自强制蒸馏等训练管道将其蒸馏为因果学生模型，能够以自回归方式逐块生成下一帧画面。系统接收初始RGB帧和实时机器人运动学数据流，随后生成下一段视频帧。

在推理侧，NVIDIA的FlashDreams加速流式推理库扮演了关键角色。整套系统在单张NVIDIA RTX PRO 6000 GPU上即可运行，实现了人类或学习策略可以闭环控制的交互式环境。

NVIDIA还展示了Cosmos-H-Dreams的跨平台能力，与CMR Surgical和Cambridge Consultants合作，将其集成至Versius手术机器人控制器，实现了在Versius平台上的实时运行。

从行业视角看，Cosmos-H-Dreams的意义超越了单款产品。它展示了世界基础模型从离线评估走向实时交互的可行路径。如果生成式仿真能够在手术机器人领域落地，同样的技术范式也有望推广到更广泛的物理AI场景——从工业机械臂到自动驾驶，从仓储物流到服务机器人。

值得关注的是，NVIDIA将Cosmos-H-Dreams以开源形式发布在GitHub上，这意味着全球手术机器人研究机构和创业公司都可以在此基础上构建自己的应用。下一步，它能否在真实临床环境中加速手术AI策略的训练和验证，将是整个医疗AI社区密切关注的焦点。