郭震 AI公众号:郭震AI

实时 AI 消息

谷歌 DeepMind 发布 Genie 4:世界模型加入实时音频与实时操控

谷歌 DeepMind 发布新一代世界模型 Genie 4,在更逼真的可交互场景之上加入实时音频,并允许用户在模拟过程中用文字提示随时改写画面。该模型目前以研究预览形式向受信任测试者开放,未来数周将逐步向 Google AI Ultra 订阅者和 Gemini API 早期伙伴开放。

发布时间
谷歌 DeepMind 发布 Genie 4:世界模型加入实时音频与实时操控
图源: techcrunch.com

谷歌 DeepMind 发布最新世界模型 Genie 4,以研究预览的形式向受信任测试者开放。按照 TechCrunch 的报道,这一版本生成的可交互世界比前代更接近照片级真实,用户还可以在模拟进行中直接输入文字提示来改变场景。

音频是这次最直观的补充。Genie 4 能生成与模拟世界匹配的实时声音,包括音乐、环境噪声和可交互的对话。谷歌同时放宽了编辑自由度:天气和机位可以实时调整,也能随时加入新的人物或物体,而不再局限于预设动作。

一致性上限也被拉长。Genie 4 可以把同一场景维持约两分钟,是前代 Genie 3 的两倍。物理表现更自然,角色的动作也更接近真人。Genie 3 以研究预览形式发布至今已有一年多,谷歌此番明显是在补上“看起来更真、玩起来更顺”这两块短板。

模型之外,更值得注意的是与 Gemini 的配合方式。Gemini 在系统中扮演“导演”,负责规划步骤、检查画面,Genie 负责把画面生成出来。在一个与 Gemini Robotics 相关的研究实验中,一个 Gemini 4 Argon 模型把任务拆解成若干步骤,再由 Genie 4 实时模拟出来,这提供了一条先在仿真中验证机器人操作、再迁移到现实的路径。

谷歌研究总监 Tejas Kulkarni 在简报会上把方向概括为“混合世界模型”:由 Gemini 负责写代码与文本,Genie 实时接收并模拟不同抽象层级的现实。这一分工意味着世界模型不再只是视频生成器,而更像是可以调用工具、接受指令的仿真内核。

商业场景仍集中在游戏、互动学习和机器人。谷歌给出的一个想象是让用户走进一幅历史画作,与画中人讨论画中的事件。不过更早落地的可能是影视前期:受信任测试者反馈,实时反馈在创意构思和分镜阶段最有价值,因为此时最需要保持创作的心流。DeepMind 工程师 Diego Rivas 提到,未来用户或许能借助多模态模型 Gemini Omni 把原型转成可用的素材,但这类能力“还有距离”。

局限也很明确。谷歌团队承认,模拟时间越长,细节和物体会漂移,音频的准确性以及场景内文字的可读性也还没有完全解决。Rivas 反复强调 Genie 4 仍处于早期,端到端的产品形态尚未定型。

竞争正在升温。Runway 两个月前发布了带音频的第二代世界模型 GWM Worlds 2;World Labs 正被 AMD 收购,亚马逊在与 Decart 洽谈收购,Rivian 则刚收购 Third Dimension,把仿真能力收入内部用于自动驾驶测试。Genie 4 目前仅向受信任测试者开放,未来数周将随 Project Genie 向 Google AI Ultra 订阅者开放,并向 Gemini API 与 AI Studio 的早期访问伙伴开放。真正的考验是,这些“可玩的世界”能否变成可用的生产工具。

为什么重要

世界模型正从演示视频走向可交互的仿真基础设施,谷歌把 Gemini 放在“导演”位置,等于让它成为驱动仿真、进而驱动机器人训练的调度层。若两分钟一致性与音频可靠性继续改善,游戏、影视预演和机器人测试会是最先被改写的场景。

微博邮件

Google DeepMindGenie 4World ModelRobotics
返回实时消息

附近消息

全部