Juju Radar
返回 2026-09-11 完整精选

Show-Harness:给机器人一组模型看得懂的动作

2026-09-11 收录 · 机器人 / 论文与开源

机器人 / 论文与开源 · 8.5/10|建议深挖

这篇 9 月 9 日提交、9 月 10 日进入 HF 每日论文列表的研究,尝试把机器人动作变成视觉语言模型能直接选择的选项,例如向左移动一小步、下降、抓取和松开。与机器人对应的解释器,再把选项落实成幅度受限的实际动作。每走一步,模型重新接收相机画面和执行反馈。

它同时支持两种用法:调用前沿模型直接操作,或用少量示范微调小模型。研究者还提供 GUMI 图形界面,让人通过键盘和浏览器收集示范。论文、代码、训练流程及适配器文件均已可见;这种统一接口值得参考,因为它让示范采集、模型决策和机器人执行使用同一套动作表达。

实验以 Franka 和 AgileX 的单、双臂夹爪操作为主;基本测试包含十种物体与容器组合,每项通常十次试验,并设步数上限。作者报告的泛化优势还不能推广到人形机器人、灵巧手或复杂接触任务。它也不是“给任何机器人装个聊天模型就能干活”:相机、动作解释器和反馈规则仍是系统的一部分。

论文正文 · 代码 · 模型适配器