依据 2026 年 9 月原论文与作者项目；本评测不同于 τ-bench 和 τ²-bench。
开发者拿到什么
开发者面对业务资料、模拟客户、已有代码与生产 API；需求需要通过阅读证据和访谈恢复，而非直接获得完整说明。
Original paper: methods and Table 2 · Authors’ executable environment and task definitions
怎样评估交付物
交付物是可执行的客服 Agent，构建后以隐藏的模拟客户对话评估行为。构建耗时、构建费用与服务费用属于不同测量项。
任务覆盖
发布题集共 53 道构建任务：航空、零售、通信各 6 道，银行 35 道。总成绩按任务平均，因此银行任务占比最大。
论文报告结果：表 2
总体通过率：GPT-5.6-sol / Codex 22.0%；GPT-5.6-terra / Codex 18.0%；Claude Opus 5 / Claude Code 23.9%；Claude Sonnet 5 / Claude Code 14.9%；Kimi K3 / Kimi Code 16.1%；Kimi K3 / OpenCode 17.9%。专家编写的参考 Agent 为 82.2%。以上来自论文，不是本站复测。
怎样理解比较
成绩属于开发模型、运行框架与预算的组合。专家参考实现代表参考上限，不是另一个开发模型。模拟客户与领域占比差异限制了结论对真实部署的外推。
查看或复现任务
可从作者仓库查看构建资料包与评估运行环境。构建需要 Docker 及模型访问配置；比较新实验与论文前，应先核对具体任务和服务限制。
论文中的构建与部署成绩
每行对应开发模型及其运行框架；专家参考实现为单独编写的 Agent，不是另一个开发模型。
| 运行框架 | 开发模型／参考实现 | 总体 % | 航空 %（6） | 零售 %（6） | 通信 %（6） | 银行 %（35） | 构建分钟数 | 构建费用（美元） | 服务积分／预算 |
|---|---|---|---|---|---|---|---|---|---|
| Codex | GPT-5.6-sol (xhigh) | 22.0 | 49.8 | 59.2 | 32.9 | 9.0 | 47.9 | 18.2 | 0.45 |
| Codex | GPT-5.6-terra (xhigh) | 18.0 | 44.5 | 46.6 | 27.2 | 6.9 | 30.0 | 7.0 | 0.38 |
| Claude Code | Claude Opus 5 (max) | 23.9 | 55.9 | 72.8 | 48.2 | 5.9 | 216.3 | 42.0 | 0.58 |
| Claude Code | Claude Sonnet 5 (max) | 14.9 | 41.9 | 50.2 | 21.1 | 3.2 | 235.5 | 30.0 | 0.76 |
| Kimi Code | Kimi K3 (max) | 16.1 | 42.3 | 49.1 | 24.9 | 4.4 | 205.7 | 13.5 | 0.72 |
| OpenCode | Kimi K3 (max) | 17.9 | 43.8 | 52.1 | 27.6 | 6.0 | 360.3 | 15.1 | 0.61 |
| — | Expert-authored reference | 82.2 | 82.3 | 84.0 | 93.8 | 79.8 | — | — | 0.96 |
总体成绩对 53 道任务等权平均，并非四个领域等权。专家参考实现可访问真值。服务开销为积分预算比例，不是美元费用；未报告的参考构建数据保留为空。