客服能跑起来，不代表能处理好客户的问题
Agent / Coding Agent · 9/10｜建议深挖
Sierra 与普林斯顿大学的 τ^τ-Bench，把“开发一个客服 Agent”本身做成了测试。模型拿到的不是整理好的需求文档，而是业务记录、旧代码、生产接口和一个可以追问的模拟客户。它要先弄清规则，再在模型选择和服务成本限制内做出产品，最后接受未见过的模拟用户测试。
在覆盖四个领域的 53 项构建任务上，论文中最好的配置是 Claude Opus 5 配合 Claude Code，最终通过率为 23.9%；专家编写的参考方案为 82.2%。这个差距不能简单归结为“代码写得差”。作者检查执行记录后发现，模型常常搜索几下就开始实现，很少向客户追问，也很少认真比较不同架构。
分项比总分更有意思：同一配置在零售领域达到 72.8%，在银行领域却只有 5.9%。后者的规则材料复杂得多。这提醒我们，评估一个 Agent 能否上线，应该把遗漏的需求、接口边界和业务例外也放进验收。只看它自己的测试全部通过，容易高估交付质量。
这些都是作者在特定任务、预算与模拟用户下的结果，不能解释成现实中所有 AI 客服只有四分之一能用。代码库已于 9 月 4 日公开；论文进入 9 月 7 日的 arXiv 公告，本期重点读它披露的失败分析。