Juju Radar
返回 2026-09-17 完整精选

机器人规划动作,未必需要先“拍”一段逼真视频

2026-09-17 收录 · 机器人 / 世界动作模型

机器人 / 世界动作模型 · 8.5/10 · 建议深挖

不少机器人世界模型先预测“接下来会看到什么”,再决定怎么动。ModAR 问得更细:为了抓取、折叠和摆放,真的需要把未来画面的颜色与纹理也生成出来吗?它依次预测点的运动轨迹、视觉语义特征和深度,再据此生成动作,让前一步的预测给后一步提供条件。

在作者的仿真实验里,运动、语义和几何信息带来了收益,额外预测 RGB 图像却没有稳定改善。与经过视频模型预训练的 Flex-π 相比,约 3010 万参数的 ModAR 取得 75% 的平均成功率,对方为 72%;该组实验使用的训练计算量约为对方的二十分之一。

这里不能读成“小模型全面胜过大模型”。这是特定任务内的系统比较,双方的模型规模、预训练、目标模态和训练方案都不同,不是只换一个架构的公平消融。实机部分只有三个双臂任务,每项 30 次测试;模型使用离散任务标签,尚未证明能听懂任意指令、应对陌生场景,顺序生成也会增加推理延迟。

有价值的启发是:机器人需要的是对行动有用的预测,画面逼真未必是最好的训练目标。论文 9 月 15 日提交、16 日公告;项目页已有演示,代码仍标注即将开放。