OpenWAM：视频里的常识，怎样变成机器人的动作
机器人 / 世界模型 · 8.5/10｜建议深挖
OpenWAM 团队在 9 月 9 日的项目更新中公布论文，代码和模型早在 9 月 6 日已开放。它想解决一个很实际的研究问题：机器人模型同时更换视频底座、动作网络和训练数据后，即使分数提高，也很难知道究竟是哪一步起了作用。OpenWAM 把这些选择拆成模块，在同一套训练和评测流程里逐项比较。
其中一个结果是，视频知识要帮助行动，需要给动作预测足够的独立能力，并让它读到世界模型的信息。在最终模型里，预测未来画面与预测动作共同迭代：画面会怎样变，与机械臂该怎样动，在生成过程中相互参照。约 6,400 小时的训练数据包含机器人轨迹和人类第一视角视频，分别提供动作监督与更广的场景经验。
值得读的是这些对照实验，而不只是榜单名次。作者发现，预训练对未见场景的帮助更明显；这对收集下一批机器人数据很有参考价值。但仿真成绩、特定机械臂和灵巧手实验，还不能直接推到家庭环境中的长期可靠运行。论文 9 月 7 日已提交，本期报道的是新公布的系统研究说明，不把代码开放日期改成昨天。