机器人先在世界模型里试错,再决定向人学哪一步
机器人 / 世界模型 / 论文 · 8.2/10 · 值得读实验
RoboCoach论文于9月30日晚提交,已超出本期严格窗口。它解决一个很实际的机器人训练问题:一串动作做不完时,研究者究竟该让人再示范完整任务,还是只补最容易失败的那一步?RoboCoach让不同技能专家先在一个根据动作预测后续画面的世界模型里执行任务,进度判别器找出最先卡住的子任务,再向人收集针对这一步的示范,只更新对应技能的LoRA模块。
这套“路线—想象—诊断—改进”流程的价值不在于机器人完全靠想象学会动作。世界模型负责把有限的真实示范分到更需要的地方。作者报告,在22组任务与策略中,想象成功率与实际部署成功率的相关系数为0.840;每个平台新增150条子任务示范后,Franka平台完整任务成功率从13.3%升至75%,AgileX从40%升至83.8%。论文也给出了同预算、均匀收集示范并更新共享模块的对照。
这仍是作者在两个实机平台和限定任务上的结果。预测模型若把失败位置判断错,随后的人力分配也会错;四组未见组合的成功率虽有提升,平均仍只有35%。它提出的更普遍问题是:世界模型能否从“生成看起来像未来的画面”,进到“帮人决定下一小时该收集什么经验”。