Learn2Play测Agent会不会从试错里学到规则

Agent评测 / 经验学习 · 8.3/10 · 持续观察

常见Agent测试把任务规则写进说明书，模型可能只是把会做的题又做了一遍。《Learn2Play Bench》换成20种新设计的文字游戏：规则藏起来，有些还故意违背直觉。Agent要玩几轮，从动作与反馈中推断规则，再拿后来几轮验证。论文10月6日有初稿，10月8日修订；公开仓库提供20个游戏模板，读者可自己玩，但它目前是匿名评审用的代码快照，不含全部人类玩家记录。

有意思的结果是，“把经验总结成几条心得”不一定比留下原始试错记录好。作者在相同模型下比较多种记忆方式：完整保留以前的行动和反馈，在Kimi K3的比较中领先；另一些总结式方法会把尚不确定的猜测当成规则。论文举的宝石组合游戏里，一次失败被归纳成“许多组合都不该再试”，其中恰有本来能成功的组合。记录原始证据，会给Agent推翻自己旧判断的机会；过早压缩则可能把误判固定下来。但完整历史也更占上下文，不能因此断定它总是最好的记忆方案。

这篇论文还提醒我们，模型能力与Agent外壳都影响表现。同一底座换不同运行框架，成绩和成本都会变；有些模型分数高，未必最会随练习进步。人类Top-1选手的最高分高于测试Agent，但Agent在某些平均分指标上更高，不能概括为谁全面胜出。更稳妥的用法，是拿这20种游戏检查自己的Agent：它失败后是否换了假设，还是只会把第一轮的猜测写成一条永远不改的规则。