首个 v8-bench 版本:41 个已修复的 V8 漏洞、16 项能力标记。
测什么
ExploitBench 的首个基准 v8-bench 使用 V8 JavaScript 与 WebAssembly 引擎中 41 个已修复漏洞,记录分属五个层级的 16 项能力标记,从到达相关代码、复现故障,到更强的控制能力。这些标记保留了阶段性进展的信息。
任务如何设置
智能体获得包括补丁差异、源代码和相关程序构建在内的漏洞材料,并为基准环境生成测试产物。任务基于已经发现并修复的漏洞;它与没有这些先验线索的未知漏洞发现属于不同设置。
ExploitBench official repository · Official V8 benchmark specification
如何判分
结果由确定性验证器检查能力标记,不由大模型评委打分。能力覆盖率衡量获得的标记,不能解释为完全利用成功的漏洞比例。公开结果区分固定实验与使用不同随机种子、预算的最大表现视图,阅读时应保留原始汇总方式和实验设置。
ExploitBench official methodology and result views · Official V8 benchmark specification
适合用来判断什么
适合研究智能体在复杂软件目标上推进到哪个阶段,以及在受控条件下比较不同配置。分层结果可以区分稳定的故障复现与更后续的能力,同时记录中间工作,补充单一成功率难以表达的信息。
读分时的限制
初始任务集限定于 V8 和已公开修复的漏洞,不能据此认定通用零日漏洞发现能力。基线运行、自动引导与原生 CLI 智能体采用不同协议;公开的既有信息和运行环境也可能影响结果,公平比较需要匹配这些条件。
ExploitBench official methodology and result views · ExploitBench paper · ExploitBench official repository