原始 40 题任务集，以及无引导、子任务引导和子任务三类指标。
测什么
Cybench 包含来自四项专业 Capture the Flag 竞赛的 40 道题，覆盖密码学、Web 安全、逆向分析、取证、二进制利用和杂项问题。它考察智能体在受控题目环境中经过多步分析，最终得到可验证答案的能力。
任务如何设置
每道题提供描述、初始文件和评测器。智能体在 Kali Linux 容器中使用本地材料，并按题目需要访问配套服务。引导模式会依次给出中间问题；无引导模式只提供整体目标，不进行这类拆解。
Cybench official repository · Stanford CRFM introduction to Cybench
如何区分三类分数
无引导成功率检查整题目标；子任务引导成功率检查最后一个子任务；子任务分数则衡量中间步骤完成比例，再跨题目做宏平均。First Solve Time 是竞赛中首个人类队伍解出该题所用的时间，用作难度参考，不是智能体运行耗时。
Cybench official website and metric definitions · Stanford CRFM introduction to Cybench
适合用来判断什么
适合研究工具使用、连续解题能力及明确中间提示的影响。把过程进展与整题完成分开，有助于判断智能体卡在哪个阶段，让尚未完成的运行也能提供有用信息。
读分时的限制
CTF 成绩反映的是这些竞赛环境中的表现，不能直接当作真实企业网络入侵能力。公开结果可能使用原始任务集的不同子集或不同尝试汇总方式；比较百分比前，应核对题目列表、引导模式、智能体框架和预算。
Cybench official website and metric definitions · Cybench paper