Show-Harness:给机器人一组模型看得懂的动作
Show-Harness: Just a VLM Agent Can Play Robots
离散语义动作接口打通示范采集与机器人控制;实机评估和代码均可检查。
相关期次:2026-09-11 精选
阅读笔记
这篇 9 月 9 日提交、9 月 10 日进入 HF 每日论文列表的研究,尝试把机器人动作变成视觉语言模型能直接选择的选项,例如向左移动一小步、下降、抓取和松开。与机器人对应的解释器,再把选项落实成幅度受限的实际动作。每走一步,模型重新接收相机画面和执行反馈。
它同时支持两种用法:调用前沿模型直接操作,或用少量示范微调小模型。研究者还提供 GUMI 图形界面,让人通过键盘和浏览器收集示范。论文、代码、训练流程及适配器文件均已可见;这种统一接口值得参考,因为它让示范采集、模型决策和机器人执行使用同一套动作表达。
实验以 Franka 和 AgileX 的单、双臂夹爪操作为主;基本测试包含十种物体与容器组合,每项通常十次试验,并设步数上限。作者报告的泛化优势还不能推广到人形机器人、灵巧手或复杂接触任务。它也不是“给任何机器人装个聊天模型就能干活”:相机、动作解释器和反馈规则仍是系统的一部分。
重要度:8.5/10;离散语义动作接口打通示范采集与机器人控制;实机评估和代码均可检查。
原始链接:https://arxiv.org/abs/2609.10522
代码:https://github.com/showlab/Show-Harness
本期资料:https://www.asteronline.cn/juju-radar/2026-09-11/
AI辅助整理。
笔记记录收录当期的判断。阅读一手材料不等于独立复现;后续进展请以原始来源为准。