ModAR：机器人规划需要怎样的未来预测
Modality-Autoregressive World-Action Models
依次预测运动轨迹、语义特征与深度，再生成动作；额外生成RGB在限定实验中没有稳定收益。实机仅三个任务，代码尚待开放，未证明广泛泛化。
相关期次：2026-09-17 精选
阅读笔记
Juju Radar · 2026-09-17
不少机器人世界模型先预测“接下来会看到什么”，再决定怎么动。ModAR 问得更细：为了抓取、折叠和摆放，真的需要把未来画面的颜色与纹理也生成出来吗？它依次预测点的运动轨迹、视觉语义特征和深度，再据此生成动作，让前一步的预测给后一步提供条件。
在作者的仿真实验里，运动、语义和几何信息带来了收益，额外预测 RGB 图像却没有稳定改善。与经过视频模型预训练的 Flex-π 相比，约 3010 万参数的 ModAR 取得 75% 的平均成功率，对方为 72%；该组实验使用的训练计算量约为对方的二十分之一。
这里不能读成“小模型全面胜过大模型”。这是特定任务内的系统比较，双方的模型规模、预训练、目标模态和训练方案都不同，不是只换一个架构的公平消融。实机部分只有三个双臂任务，每项 30 次测试；模型使用离散任务标签，尚未证明能听懂任意指令、应对陌生场景，顺序生成也会增加推理延迟。
有价值的启发是：机器人需要的是对行动有用的预测，画面逼真未必是最好的训练目标。论文 9 月 15 日提交、16 日公告；项目页已有演示，代码仍标注即将开放。
入选理由：ModAR用运动轨迹、视觉特征和深度依次预测未来，再预测动作；对世界模型是否必须生成RGB提供受控实验。
重要度：8.5/10。
原始提交：2026-09-15T17:56:24+00:00；arXiv公告：2026-09-16。
原文：https://arxiv.org/abs/2609.17524
本期资料：https://www.asteronline.cn/juju-radar/2026-09-17/
AI辅助整理，尚未独立复现；PDF为链接附件。
笔记记录收录当期的判断。阅读一手材料不等于独立复现；后续进展请以原始来源为准。