CyBench · AI Benchmark Radar

Cybench 使用专业 CTF 竞赛题评估智能体，并通过可选子任务观察最终答案之前的解题进展。

Benchmark Radar · 核对于 2026-10-20

原始 40 题任务集，以及无引导、子任务引导和子任务三类指标。

测什么

Cybench 包含来自四项专业 Capture the Flag 竞赛的 40 道题，覆盖密码学、Web 安全、逆向分析、取证、二进制利用和杂项问题。它考察智能体在受控题目环境中经过多步分析，最终得到可验证答案的能力。

每道题提供描述、初始文件和评测器。智能体在 Kali Linux 容器中使用本地材料，并按题目需要访问配套服务。引导模式会依次给出中间问题；无引导模式只提供整体目标，不进行这类拆解。

无引导成功率检查整题目标；子任务引导成功率检查最后一个子任务；子任务分数则衡量中间步骤完成比例，再跨题目做宏平均。First Solve Time 是竞赛中首个人类队伍解出该题所用的时间，用作难度参考，不是智能体运行耗时。

适合研究工具使用、连续解题能力及明确中间提示的影响。把过程进展与整题完成分开，有助于判断智能体卡在哪个阶段，让尚未完成的运行也能提供有用信息。

CTF 成绩反映的是这些竞赛环境中的表现，不能直接当作真实企业网络入侵能力。公开结果可能使用原始任务集的不同子集或不同尝试汇总方式；比较百分比前，应核对题目列表、引导模式、智能体框架和预算。