AgentGarten把游戏规则交给代码，画面交给神经渲染器

Agent训练环境 / 世界模型 · 8.4/10 · 持续观察

《AgentGarten》于10月8日17:32 UTC提交，早于本期窗口。它要解决的难点是：只用游戏引擎，世界的动作与碰撞规则清楚，却要不断制作逼真的场景资产；只用视频生成模型，画面自然，物体状态与规则却难检查，也不容易保证连续几步的结果一致。作者把两部分拆开：模拟器或游戏引擎保存状态、执行程序写好的交互规则；共享神经渲染器根据深度和表面法线，生成Agent看到的第一视角画面。

Agent只能通过画面做任务，不能偷看模拟器的内部坐标。每轮结束，它把尝试、失败原因和下一步计划写成一份playbook，下一轮Agent读完再玩。论文展示了捉迷藏，以及牧羊、单车道会车、推土车搬石等任务中的策略改进。这条路的价值在于：研究者可以改代码来改世界规则，仍让Agent在有一定视觉真实感的环境里练习，不必把“物体到底怎样移动”全压在视频模型隐状态上。

论文摘要说，有些行为在几轮内出现，而传统强化学习实验要数千万局。这个对比不能直接算成“效率提高几百万倍”：论文自己说明，传统自博弈从随机权重学起；AgentGarten用的Agent已有大规模预训练，观察方式和实验设置也不同。更实际的复现限制是，官方仓库目前公开了神经渲染器的训练与推理代码，代码世界和Agent练习循环仍写着待发布。因此，眼下能独立试的是渲染部分，不能把论文里整套持续学习环境当成已完整开源。