代码造世界、扩散绘现实：AgentGarten 让智能体在实时试炼场里边玩边进化

推开一块挡板，通道就此封闭；搬来一段坡道，高墙便有了翻越的可能。每一次行动都会改变世界，而改变后的世界，又成为智能体下一次决策的起点。MirroS 团队最新发布的 AgentGarten，正是想给 AI 造一座可以反复探索的"试炼场"。

它的核心思路可以概括为一句话：物理交给代码，光影交给神经模型。智能体给出动作指令后，代码环境立即计算物理碰撞与状态更新，并从第一人称视角导出深度或表面法线这样的"几何草图"；随后神经渲染器读取草图，结合此前的视觉记忆，实时生成下一帧拟真画面递回给智能体。

团队认为当前两条主流路径都有短板。传统游戏引擎状态精准、规则透明，但画面往往只有粗糙几何白模和重复贴图，要扩展到成百上千个逼真场景，美术与工程成本难以承受；以视频生成为核心的世界模型画面惊艳，可物理信息完全隐式藏在网络记忆里，无法提供可查询、可干预的明确状态。AgentGarten 试图让两者各司其职，从而既保住物理确定性，又拿到写实光影。

这种分工带来两点变化：一是物理规则始终确定可控，场景布局、接触判定与胜负都由代码裁决，不产生"幻觉物理"；二是搭建新世界变得极快，任何能输出简单三维深度和法线轮廓的极简代码场景，都能直接套用同一套神经渲染器。翼装飞行、机械臂操作、厨房烹饪、多车竞速，共用同一个视觉接口，虚拟环境的扩充成本第一次从"美术劳动密集型"转向"代码程序化扩展型"。

世界搭好后，团队用经典的捉迷藏实验检验智能体能否自己越做越好。躲藏者先布置场景封堵入口，随后搜寻者进场，双方通过写 Python 代码控制移动与抓取，全凭眼前生成的画面决策，对空间坐标和对手位置一无所知。双方从空白手册起步，各自维护由单篇技能组成的策略库，每轮对战十局、战罢复盘，下一轮随机抽取部分技能应用。

结果出现得很快：躲藏者在第 4 轮学会搬动挡板搭建掩体，搜寻者在第 10 轮掌握借坡道翻墙；一次跳跃失败后，搜寻者还会主动推近坡道、调整位置再试。作为对照，OpenAI 2019 年那项著名研究中，AI 依靠从零开始的强化学习，摸索出掩体搭建约经历 2500 万局，学会借坡道翻墙约经历 1 亿局。

推动策略演化的，是智能体自己写下的"实验手册"。每轮结束它们复盘尝试、记录发现、标注疑问，并严格区分"看到的实况"与"脑补的猜测"，还会给后继者留下防坑指南；经受住考验的经验被沿用，失效的教训则促使它们尝试新的策略分支。团队把这套演练拆成四个递进环节，并在另外四个截然不同的世界里各跑了四轮，验证闭环可以跨场景复用。

要支撑"边看边行动"，神经渲染器还得跨过三座大山：跟得上突发动作、稳得住超长交互、跑得足够快。团队基于全模态模型提出 Adversarial Forcing 训练方法，把整段离线生成改造成流式逐块渲染，设计精确重放机制以抑制长序列的外观漂移，并引入真实视频判别器构建对抗信号避免画面退化。工程上则手写 Triton 融合算子、用 CUDA Graph 消除调度开销，搭配延迟不到 10 毫秒的轻量解码器，最终以 480p 分辨率、30 fps 以上的吞吐稳定支撑闭环交互。

团队把这一理念称为 Physical RSI，即物理世界的递归自我改进。可执行的代码让训练世界被无尽生成，学习得到的渲染器让世界拥有可感知的物理反馈，沉淀下来的实验手册让每次摸索都成为下一轮的台阶。项目代码已在 GitHub 开源，同时提供技术报告与项目主页。在团队看来，语言模型的 Scaling 正进行得如火如荼，而物理世界中智能的 Scaling 才刚刚拉开序幕。