Benchmark Radar

ExploitBench

ExploitBench 对已知 V8 漏洞上的不同能力分别验证,呈现阶段性进展,而非仅给出单一成败结果。

首个 v8-bench 版本:41 个已修复的 V8 漏洞、16 项能力标记。

测什么

ExploitBench 的首个基准 v8-bench 使用 V8 JavaScript 与 WebAssembly 引擎中 41 个已修复漏洞,记录分属五个层级的 16 项能力标记,从到达相关代码、复现故障,到更强的控制能力。这些标记保留了阶段性进展的信息。

ExploitBench paper · Official V8 benchmark specification

任务如何设置

智能体获得包括补丁差异、源代码和相关程序构建在内的漏洞材料,并为基准环境生成测试产物。任务基于已经发现并修复的漏洞;它与没有这些先验线索的未知漏洞发现属于不同设置。

ExploitBench official repository · Official V8 benchmark specification

如何判分

结果由确定性验证器检查能力标记,不由大模型评委打分。能力覆盖率衡量获得的标记,不能解释为完全利用成功的漏洞比例。公开结果区分固定实验与使用不同随机种子、预算的最大表现视图,阅读时应保留原始汇总方式和实验设置。

ExploitBench official methodology and result views · Official V8 benchmark specification

适合用来判断什么

适合研究智能体在复杂软件目标上推进到哪个阶段,以及在受控条件下比较不同配置。分层结果可以区分稳定的故障复现与更后续的能力,同时记录中间工作,补充单一成功率难以表达的信息。

ExploitBench paper · ExploitBench official repository

读分时的限制

初始任务集限定于 V8 和已公开修复的漏洞,不能据此认定通用零日漏洞发现能力。基线运行、自动引导与原生 CLI 智能体采用不同协议;公开的既有信息和运行环境也可能影响结果,公平比较需要匹配这些条件。

ExploitBench official methodology and result views · ExploitBench paper · ExploitBench official repository

Sources & attribution / 数据来源与署名