AI EVALUATION, IN CONTEXT.BY EQUALITY MACHINE

五个新评测详情:Agent 安全、云运维与视频理解

新增五个独立评测详情页,补齐原始来源、任务说明与已发表成绩,覆盖 Argus-Bench、CloudOpsBench 等项目。

这一批覆盖网关安全、全景视频、施工区感知、生物模型重建和真实云运维。先按要评估的任务选择,再进入独立详情页核对来源与实验条件。

按任务选择评测

每个入口都能打开完整评测详情,包括中英文说明、原始发布链接与已发表成绩。不同指标衡量不同任务,比较模型前先看实验协议。

评测任务读成绩时要看
Argus-Bench网关提示注入检测总检出率与单列的误报率
PanoVideoBench全景视频理解全题集准确率与输入、训练协议
WorkIng施工区感知与规划白天 NDS;夜间、仿真与规划另看
Morpheus Agent Benchmark科学模型重建四模式生物学分、裁判与重复次数
CloudOpsBench云运维完成任务数与实时试验解决率分开

Argus-Bench · original publication · PanoVideoBench · original publication · WorkIng · original publication · Morpheus Agent Benchmark · original publication · CloudOpsBench · original publication

Argus-Bench:Agent 网关能否检出恶意指令,又不过度误报正常请求?

四个网关配置测试 204 条攻击,60 条正常对照另报误报率。应结合攻击类别和误报一起看;其中 Rebuff 仅测试离线启发式层。

Argus-Bench · original publication

PanoVideoBench:视频模型能否追踪初始视野之外的事件?

用 1,000 道题检查全景视频中的外观、空间、动作、追踪与事件理解。论文给出不同模型及输入、训练变体的全题集准确率;公开标注包不附带视频本体。

PanoVideoBench · original publication

WorkIng:感知与规划能否应对高速公路施工区?

结合真实施工路段记录与可配置的 CARLA 场景。主成绩是 15 个训练配置在真实白天测试集上的 NDS。夜间、仿真检测和规划结果分表展示,当前作者仓库仍为占位内容。

WorkIng · original publication

Morpheus Agent Benchmark:编程 Agent 能否重建论文中的多细胞模型?

围绕 15 项已发表研究,每个任务限时四小时,按论文专属标准评价生物学复现结果。Morpheus 模式汇总不含仅使用 Python/网页的基线;模型重复次数不同,结果由 LLM 裁判评分。

Morpheus Agent Benchmark · original publication

CloudOpsBench:Agent 能否修复真实云基础设施?

提供 45 道 AWS 运维任务,通过命令行操作,每次限时 40 分钟。带日期的作者分析给出两条完成任务数;另表保留实时榜单 18 个配置的模型、思考强度、运行框架与解决率,实际运行日期未公开。

CloudOpsBench · original publication

今天上架,保留原始发布日期

11 月 3 日是这批 Radar 页面上架与核对的日期。PanoVideoBench、WorkIng 论文提交于 10 月 30 日;Argus 数据集与带日期的 CloudOps 分析发布于 11 月 2 日。Morpheus 分别保留评测版本、代码发布版本与原文实验设置。数字均从引用资料转录,Radar 没有重新运行这些实验。

Argus-Bench · original publication · PanoVideoBench · original publication · WorkIng · original publication · Morpheus Agent Benchmark · original publication · CloudOpsBench · original publication

参考资料

  1. Argus-Bench · original publication
  2. PanoVideoBench · original publication
  3. WorkIng · original publication
  4. Morpheus Agent Benchmark · original publication
  5. CloudOpsBench · original publication