换个机位就不会干活,机器人可能学错了线索
机器人 / 泛化训练 · 8.5/10 · 建议深挖
机器人在训练场景里表现不错,换一盏灯、换一个摄像头位置,成功率却明显下降。LIT 的解释是:模型可能把无关的视觉细节也当成了动作线索。看得多,未必意味着学到了该看的东西。
它分两步训练。先不给图像,只用语言、机器人状态和示范动作的终点学习怎么运动;再加入视觉,但让视觉信息经过一组中间表示,才传给动作模块。训练时还要求这组表示能还原目标位置和姿态,鼓励它保留与动作有关的空间信息。实际运行时,不需要人额外提供终点坐标。
作者在四种机器人模型架构上做了实验,真实机器人部分只有三个任务。换机位后,三个任务合计成功率从 30.0% 升到 46.7%;有改善,但远谈不上可靠。相关代码、实机模型权重和数据已公开,尚未独立复现。这篇适合继续追:它尝试改变视觉信息进入动作模块的方式,而非单纯增加训练图片。论文 9 月 11 日提交,14 日进入 arXiv 公告。