公开的 1,507 任务数据集、信息等级及当前提交规则。
测什么
CyberGym 聚焦漏洞复现，收录来自 188 个软件项目的 1,507 个真实漏洞。它主要考察智能体能否读懂已有漏洞报告、分析相关代码，并生成能够呈现该故障的测试输入。
任务如何设置
主要的 Level 1 设置提供源代码和文字漏洞描述。其他等级改变可用线索：Level 0 不提供描述，Level 2 增加崩溃堆栈，Level 3 增加补丁信息。各等级的信息条件不同，展示结果时应同时标注等级。
如何判分
验证器检查提交的输入是否在未修复程序中触发漏洞、在修复后不再触发。当前规则要求智能体选定一个最终概念验证用例；“过程中任意一次成功”属于另一种统计，不能直接替代最终提交成功率。
适合用来判断什么
适合比较智能体阅读陌生代码、把文字报告转化为可执行证据的能力。工程选型时，还应结合 token 消耗、耗时和工具请求量判断效果；官方提交指南要求报告这些成本信息。
读分时的限制
成功复现漏洞不等于获得完整系统控制。智能体框架、工具预算、网络访问及目标程序运行环境都会影响可比性。当前默认设置不向智能体开放修复后的运行镜像，这与论文中另设的补丁信息等级需要区分。