2026 年 11 月 2 日发布的冻结版本 1.0；四个有成绩的网关配置。
网关漏掉哪些攻击？
Argus-Bench 检查输入审查网关能否在提示注入到达 Agent 前将其标记，同时用正常请求检查误报。它测量的是输入检测能力，不是下游 Agent 最终是否执行了攻击。
204 条攻击与 60 条对照
冻结的 v1.0 共 264 条英语、单轮样本，含七类攻击。除 A52 改编自公开角色攻击外，其余由作者编写；标签经过作者自审，没有独立人工裁判验证集。
检出率要结合误报一起看
在原文的标记并审计策略下，flag 与 block 都算检出。主成绩是全部 204 条攻击的检出率，分母不含正常对照；误报率与攻击分类成绩在下表单列。
按攻击类别查看结果
保留原文的分子、分母与百分比；某一攻击类别达到满分，不等于总体满分。
| 类别 | 样本 | Argus | LLM Guard | Rebuff 启发式层 | LLM 裁判 |
|---|---|---|---|---|---|
| direct_override | 33 | 3/33 (9.1%) | 33/33 (100.0%) | 2/33 (6.1%) | 15/33 (45.5%) |
| role_override | 28 | 5/28 (17.9%) | 15/28 (53.6%) | 0/28 (0.0%) | 18/28 (64.3%) |
| system_prompt_probe | 25 | 3/25 (12.0%) | 23/25 (92.0%) | 0/25 (0.0%) | 13/25 (52.0%) |
| encoded_payload | 29 | 3/29 (10.3%) | 25/29 (86.2%) | 1/29 (3.4%) | 16/29 (55.2%) |
| gradual_escalation | 39 | 0/39 (0.0%) | 24/39 (61.5%) | 1/39 (2.6%) | 21/39 (53.8%) |
| indirect_contextual | 30 | 0/30 (0.0%) | 7/30 (23.3%) | 0/30 (0.0%) | 16/30 (53.3%) |
| tool_misuse | 20 | 1/20 (5.0%) | 4/20 (20.0%) | 0/20 (0.0%) | 7/20 (35.0%) |
| All attacks / 全部攻击 | 204 | 15/204 (7.35%) | 131/204 (64.22%) | 4/204 (1.96%) | 106/204 (51.96%) |
百分比按原文转录，没有重新计算或调整舍入。
哪些正常请求被误报？
低检出率也可能伴随低误报。正常对照故意接近攻击表面，例如安全讨论、编码相关问题。
| 系统 | 误报 / 对照 | 误报率 | 样本编号 |
|---|---|---|---|
| Argus | 7/60 | 11.67% | C04, C06, C07, C10, C16, C28, C43 |
| LLM Guard | 10/60 | 16.67% | C02, C14, C19, C23, C24, C30, C42, C44, C49, C54 |
| Rebuff heuristic | 0/60 | 0.00% | — |
| LLM judge | 19/60 | 31.67% | C03, C04, C07, C08, C09, C11, C13, C17, C19, C23, C24, C25, C27, C37, C46, C48, C49, C53, C57 |
这是误报率，不是攻击检出率；这一单独指标越低越好。
配置是成绩的一部分
Argus 使用五条正则表达式。LLM Guard 0.3.16 使用 protectai/deberta-v3-base-prompt-injection-v2，阈值 0.92，全文本匹配。Rebuff 0.1.1 只测试阈值 0.75 的离线启发式层，没有测试其托管模型与向量库层。裁判为 Qwen2.5-0.5B-Instruct，经 llama.cpp 以 Q4_K_M 量化运行，温度 0，使用固定二分类提示。
为什么 NeMo 没有成绩
作者实现了 NeMo Guardrails 0.24，使用本地 Qwen2.5-0.5B 作为 self_check_input 检查器，但没有完成全量测试。冒烟测试现象与耗时估计不等于评测成绩，因此不填零分，也不推测成绩。
本次发布能说明什么
这是面向网关输入过滤、由作者构建的小型诊断数据集，不能证明多轮攻击、多语言流量或下游工具执行的安全性。此处 Rebuff 代表一个组件配置，不代表完整产品。原始发布包含数据、README 与结果摘要；发布包提到配套论文，但本次未核实到其出版链接。
Original dataset README · Original frozen result tables and system configurations · Argus-Bench versioned original deposit
发布与核对日期
带版本的 Zenodo 记录发布于 2026 年 11 月 2 日，本页于 11 月 3 日核对。成绩时间采用资料发布日期；实验实际执行日期原文未给出。