TY  - UNPB
TI  - τ^τ-Bench: An Environment for End-To-End, Realistic Agent Construction
UR  - https://arxiv.org/abs/2609.04611
DA  - 2026-09-04
AU  - Shi, Quan
AU  - Dhandhania, Keshav
AU  - Narasimhan, Karthik
AU  - Barres, Victor
KW  - Agent/Coding
KW  - 待阅读
N1  - 以下为2026-09-08期已核验稿件的阅读笔记，保留当时的证据与判断，不代表后续研究已确认。  🛠️ 客服能跑起来，不代表能处理好客户的问题  Agent / Coding Agent · **9/10｜建议深挖**  Sierra 与普林斯顿大学的 τ^τ-Bench，把“开发一个客服 Agent”本身做成了测试。模型拿到的不是整理好的需求文档，而是业务记录、旧代码、生产接口和一个可以追问的模拟客户。它要先弄清规则，再在模型选择和服务成本限制内做出产品，最后接受未见过的模拟用户测试。  在覆盖四个领域的 53 项构建任务上，论文中最好的配置是 Claude Opus 5 配合 Claude Code，最终通过率为 **23.9%**；专家编写的参考方案为 82.2%。这个差距不能简单归结为“代码写得差”。作者检查执行记录后发现，模型常常搜索几下就开始实现，很少向客户追问，也很少认真比较不同架构。  分项比总分更有意思：同一配置在零售领域达到 72.8%，在银行领域却只有 5.9%。后者的规则材料复杂得多。这提醒我们，评估一个 Agent 能否上线，应该把遗漏的需求、接口边界和业务例外也放进验收。只看它自己的测试全部通过，容易高估交付质量。  这些都是作者在特定任务、预算与模拟用户下的结果，不能解释成现实中所有 AI 客服只有四分之一能用。代码库已于 9 月 4 日公开；论文进入 9 月 7 日的 arXiv 公告，本期重点读它披露的失败分析。  [论文与完整实验](https://arxiv.org/html/2609.04611v1) · [代码与任务](https://github.com/sierra-research/hyper-tau-bench)  入选理由：新公告论文披露真实构建任务与失败机制；开源已在9/4，不当成9/7新代码。  论文原始日期：2026-09-04；本期归档日期：2026-09-08。 本期资料：https://www.asteronline.cn/juju-radar/2026-09-08/ AI辅助整理。
ER  -