AI EVALUATION, IN CONTEXT.BY EQUALITY MACHINE

LLM Stats

ExploitBench

ExploitBench 对已知 V8 漏洞上的不同能力分别验证,呈现阶段性进展,而非仅给出单一成败结果。

首个 v8-bench 版本:41 个已修复的 V8 漏洞、16 项能力标记。

测什么

ExploitBench 的首个评测 v8-bench 使用 V8 JavaScript 与 WebAssembly 引擎中 41 个已修复漏洞,记录分属五个层级的 16 项能力标记,从到达相关代码、复现故障,到更强的控制能力。这些标记保留了阶段性进展的信息。

ExploitBench paper · Official V8 benchmark specification

任务如何设置

智能体获得包括补丁差异、源代码和相关程序构建在内的漏洞材料,并为评测环境生成测试产物。任务基于已经发现并修复的漏洞;它与没有这些先验线索的未知漏洞发现属于不同设置。

ExploitBench official repository · Official V8 benchmark specification

如何判分

结果由确定性验证器检查能力标记,不由大模型评委打分。能力覆盖率衡量获得的标记,不能解释为完全利用成功的漏洞比例。公开结果区分固定实验与使用不同随机种子、预算的最大表现视图,阅读时应保留原始汇总方式和实验设置。

ExploitBench official methodology and result views · Official V8 benchmark specification

适合用来判断什么

适合研究智能体在复杂软件目标上推进到哪个阶段,以及在受控条件下比较不同配置。分层结果可以区分稳定的故障复现与更后续的能力,同时记录中间工作,补充单一成功率难以表达的信息。

ExploitBench paper · ExploitBench official repository

读分时的限制

初始任务集限定于 V8 和已公开修复的漏洞,不能据此认定通用零日漏洞发现能力。基线运行、自动引导与原生 CLI 智能体采用不同协议;公开的既有信息和运行环境也可能影响结果,公平比较需要匹配这些条件。

ExploitBench official methodology and result views · ExploitBench paper · ExploitBench official repository

数据来源与署名:LLM Stats

已收录的评测资料

这条来源记录收录了 5 条数值成绩。来源区分了 5 个模型身份或配置。同一模型可能有多条记录;比较前请核对具体版本、工具和运行预算。 查看成绩及逐条证据 →

指标方向
数值越高越好

从这些资料开始

引用文档及日期(1)

目录采集于 2026-08-17,资料入口与字段反映当时保存的来源。

关注度快照

观测日期:2026-10-13

GitHub 星标
429
Hugging Face 论文点赞
0

exploitbench/exploitbench · 查看来源快照

这是注明日期的关注度观测,不是实时计数或评测分数。

评测信息与证据

来源
LLM Stats
发布者
未收录
评测发布日期
未收录
采集日期
2026-08-17
模态
text

本站保留来源报告的结果,不代表独立复测。请先核对任务版本、评测协议、分数单位和报告日期;不同运行条件不能直接合并为统一排名。

报告成绩 5

按来源中的观察顺序展示,顺序不代表排名。日期保留原始精度。

模型数值单位协议报告日期与口径来源
Claude Fable 50.78未收录未收录2026-06-09 · model_announcementLLM Stats
GPT-5.6 Sol0.735未收录未收录2026-07-09 · model_announcementLLM Stats
GLM-5.30.544未收录未收录2026-08-14 · model_announcementLLM Stats
GPT-5.6 Terra0.529未收录未收录2026-07-09 · model_announcementLLM Stats
GPT-5.6 Luna0.332未收录未收录2026-07-09 · model_announcementLLM Stats