不打开软件，也能造出训练电脑 Agent 的操作轨迹？

Agent / GUI世界模型 / 论文 · 8.4/10 · 值得看失败项

电脑 Agent 需要大量“看见界面—点击—看见结果”的训练样本，但装好不同版本的软件、准备账号与文件、恢复每一步状态，成本很高。腾讯混元团队 10 月 1 日提交的 AutoGUIWorld 论文（全文）换了一个做法：规划器先规定操作与预期后果，图像生成器再把当前截图编辑成下一步画面，经过动作定位和质量过滤后，得到 79,266 个带空间标注的训练步骤，覆盖多个操作系统与 Chrome。

团队用这些轨迹微调 Qwen3.5-35B-A3B，报告 OSWorld 平均任务分从 33.0 提高到 40.8，ScienceBoard 成功率从 14.0% 提高到 32.2%。这里的成绩是在真实任务评测上取得，并非只看生成图片像不像软件，因此值得关注。它给 GUI Agent 训练增加了一条路线：一部分环境变化可以先在合成数据里学习，再去真实应用检验。

但它也清楚地暴露了边界。论文表格中的 Chrome 子项反而下降；一张合成截图即使看起来合理，也可能不是实际软件执行该操作会出现的状态。作者自己的过滤检查仍发现少量动作和画面不一致。生成轨迹适合补充训练分布，能否代替真实软件交互，还需要更严格的跨应用验证。