Terminal-Bench 4 · AI Benchmark Radar

智能体需要理解工作环境、完成修改，并交付能够通过程序验收的结果。

Benchmark Radar · 核对于 2026-10-20

对应公开的 v4.0.0 版本。旧版 Terminal-Bench 保留独立记录。

它测量什么

Terminal-Bench 4 评测智能体通过终端完成计算机任务的能力。v4.0.0 清单包含 66 道任务，每道题结合初始环境、任务说明和程序验收。它观察的是模型在智能体中的实际表现，包括调查问题、使用工具和完成交付。

任务覆盖软件、科学、机器学习、业务运营、安全、硬件和媒体。例如，修复数据库恢复逻辑，或让批量模型评测保持逐条评测的语义。分类依据是主要考查能力；使用 Python 并不自动归为软件工程。子类别可以扩展。

官方榜单使用任务完成率（resolution rate）。验证程序检查交付行为或产物并给出 reward；本次核对的任务配置使用独立验证环境。仅在最终回答中声称完成并不足够，实现还必须满足验收。理解成绩时需要同时查看模型、智能体和运行配置。

如果你关心智能体能否在不熟悉的环境中把工作做完，而不只是提出补丁，可以参考这项评测。选择评测前应先阅读相关题目；软件修复、机器学习基础设施和专业科学任务考查的能力并不相同。

必须固定版本：Terminal-Bench 持续演进，2.x、3.0、Hard 和 4.0 的成绩不能混用。第 4 版包含 GPU 与多容器任务，基础设施会影响复现。任务源码和验证代码公开；运行时隔离验证内容不等于数据集不公开。