四个新 Agent 评测：适应变化、安全执行与视频交付

AI Benchmark Radar / Equality Machine · 发布于 2026-10-27 · 复核于 2026-10-27

这批发现中，四个新发表的 Agent 评测分别追问：工具变了能否恢复、网站变了技能是否还能用、能否安全完成工作，以及能否交付可用视频。通知统计的是新发现的资源，不代表每条都是独立的新评测。本文核对原始发布内容，没有重新运行模型实验。

先看你要测哪一种失败

同一项工作可能因为工具改版、界面变化、执行越界，或最终交付缺失而失败。这四个评测把问题拆到了不同环节。下面按实际需求选择证据，不把它们合成一个总榜。

评测	核心问题	先看什么
Δτ-Bench	工具演化后能否调整流程？	任务成功与路径效率
SkillShift-Bench	旧技能能否应对网站变化？	各变化条件下的成功与失败
V³AST-Bench	有能力完成任务，也能避免伤害吗？	能力对照与安全结果一起看
VibeVideoBench	能否按时交付可用视频？	分别看交付、需求达标和质量

Δτ-Bench — original paper, v1 · SkillShift-Bench — original paper, v1 · V³AST-Bench — original paper, v1; evaluation and limitations · VibeVideoBench — original paper, v1; protocol and limitations

Δτ-Bench：以前可行的流程，会过时

它包含 42 个领域的 1,588 项任务与六轮工具状态，目标仍可完成，但可用接口和路径会变化。发布划分为 1,191 项训练任务、每个版本 397 项测试任务。SR 看最终环境状态是否满足要求；成功加权的路径效率还看用了多少步骤或工具成本。

先核对数据版本：官方仓库说明，发布数据比论文实验版本多了一轮校验修正，重新运行的数字可能不同。适合检查工具更新后的恢复与效率，不能把论文分数直接当作当前数据版本的成绩。

Δτ-Bench — original paper, v1 · ZJUNLP — Δτ-Bench code, data scope and metrics

SkillShift-Bench：学会技能，只是起点

它在自托管的 GitLab、Magento、WordPress 上设置 355 个任务族，每个采用六种条件，分别观察调用上下文、界面识别和执行可行性的变化。除成功率外，还看交互成本、技能使用与失败，适合检验网站改版后旧技能还能否执行。

官网公开任务、环境、复现说明和汇总结果，但不公开逐任务判定与运行轨迹。榜单存在不同底层模型的实验组，比较时要保留各自配置，不能只按方法名称排高低。

SkillShift-Bench — original paper, v1 · SkillShift-Bench — official project and leaderboard · SkillShift-Bench — official code and release scope

V³AST-Bench：没有造成伤害，不一定代表安全完成

V³AST 为 212 项风险任务配上 212 项正常能力对照，覆盖九类风险和两种攻击来源，用可执行检查确认后果与任务结果。安全指标结合能力对照，避免把“根本没做成工作”误判成“会做，而且做得安全”。

论文测的是模型与执行框架的组合。Codex 和 Claude Code 实验在专用任务容器内采用宽松自主设置，结果不能外推到限制更严格的安全模式。正常对照失败也可能来自过度拒绝，应同时看能力覆盖率。

V³AST-Bench — original paper, v1; evaluation and limitations · Alibaba-AAIG — VAST-Bench official tasks and code

VibeVideoBench：视频必须真的交付出来

它有 12 类、239 项任务，其中英文 209 项、中文 30 项。Agent 限时一小时用代码生成视频与可编辑源文件，并满足任务各自的声音要求；不能调用图像或视频生成服务。程序检查交付，逐项规则检查需求，质量维度另外评分。

只看已交付视频的质量，会漏掉根本没交片的运行。应同时看交付率、严格任务成功，或把未交付计零的口径。每个系统每项任务只运行一次，评审对单个视频的一致性有限；它主要测需求遵循，并非单独测创造力。

VibeVideoBench — original paper, v1; protocol and limitations

通知里还有三条，不能按标题直接计数

DeepSeek V4.1 Flash-1017 条目是一份安全评估报告，包含 34 项评估，其中五个是自建套件。不能因此把整篇报告算成 34 个新评测。

SegDeep 是带版本的数据集记录：Zenodo 元数据写的发布日期为 2026 年 8 月 24 日，记录创建于 10 月 26 日 20:50 UTC（北京时间 10 月 27 日 04:50）。尾号 22086397 的概念 DOI 与 22086398 的版本 DOI 对应同一个数据集系列，今天发现记录或多出一个标识，都不等于数据集今天新发布。

VPR-Space 从既有 SLAM 数据整理出新的评测任务，但论文标注为预发布，作者仓库核查时不可访问。因此保留论文入口，暂不宣称完整可运行版本已经开放下载。这些区别也解释了：通知中的首次发现数量，与核实后的独立新 benchmark 数量并不相同。

DeepSeek V4.1 Flash-1017 — safety evaluation report · SegDeep — version 1.0 record, dates and concept DOI · VPR-Space — original paper and preliminary release scope