τ^τ-Bench：评测 Agent 能否完成客服系统交付
τ^τ-Bench: An Environment for End-To-End, Realistic Agent Construction
把业务理解、工具配置、部署和预算限制放进同一套任务，检查模型能否交付可用的客服系统。
作者
相关期次：2026-09-08 精选
阅读笔记
以下为2026-09-08期已核验稿件的阅读笔记，保留当时的证据与判断，不代表后续研究已确认。
🛠️ 客服能跑起来，不代表能处理好客户的问题
Agent / Coding Agent · 9/10｜建议深挖
Sierra 与普林斯顿大学的 τ^τ-Bench，把“开发一个客服 Agent”本身做成了测试。模型拿到的不是整理好的需求文档，而是业务记录、旧代码、生产接口和一个可以追问的模拟客户。它要先弄清规则，再在模型选择和服务成本限制内做出产品，最后接受未见过的模拟用户测试。
在覆盖四个领域的 53 项构建任务上，论文中最好的配置是 Claude Opus 5 配合 Claude Code，最终通过率为 23.9%；专家编写的参考方案为 82.2%。这个差距不能简单归结为“代码写得差”。作者检查执行记录后发现，模型常常搜索几下就开始实现，很少向客户追问，也很少认真比较不同架构。
分项比总分更有意思：同一配置在零售领域达到 72.8%，在银行领域却只有 5.9%。后者的规则材料复杂得多。这提醒我们，评估一个 Agent 能否上线，应该把遗漏的需求、接口边界和业务例外也放进验收。只看它自己的测试全部通过，容易高估交付质量。
这些都是作者在特定任务、预算与模拟用户下的结果，不能解释成现实中所有 AI 客服只有四分之一能用。代码库已于 9 月 4 日公开；论文进入 9 月 7 日的 arXiv 公告，本期重点读它披露的失败分析。
[论文与完整实验](https://arxiv.org/html/2609.04611v1)) · [代码与任务](https://github.com/sierra-research/hyper-tau-bench))
入选理由：新公告论文披露真实构建任务与失败机制；开源已在9/4，不当成9/7新代码。
论文原始日期：2026-09-04；本期归档日期：2026-09-08。
本期资料：https://www.asteronline.cn/juju-radar/2026-09-08/
AI辅助整理。
笔记记录收录当期的判断。阅读一手材料不等于独立复现；后续进展请以原始来源为准。