Long-WAM让机器人学会使用更长的历史
机器人 / 世界动作模型 · 8.8/10 · 建议看论文与演示
NVIDIA团队的Long-WAM论文于10月7日17:58 UTC提交,早于本期窗口;项目仓库将论文列为10月8日可读,并提供代码与检查点,所以放在这里补看。机器人做长任务时,只有眼前一帧常常分不清自己刚才拿起了什么、杯子往哪边动;但不断塞进过去的视频又会拖慢动作。Long-WAM先用机器人和第一视角视频做自回归预测预训练,再在动作任务中保留“由过去推测未来”的结构,同时用流式编码与异步执行控制延迟。
论文最有价值的对照是:在RoboCasa GR-1上,作者报告把历史从0延长到19.2秒,成功率由63.3%升到78.7%;换成双向预训练底座,延长历史却没有净收益。这说明“给模型更长上下文”不等于“模型会利用上下文”。团队还报告RTX 5090上每段动作含未来视频预测约107.4毫秒,以及真机动态叠杯任务的95%成功率。后两项都属于作者在指定硬件与任务上的测试,尚不能推断普通家庭环境的可靠程度。代码和权重开放,让后续独立复测比只看演示视频更可行。