Navers Lab / Einsia：六个评测分别测什么

AI Benchmark Radar / Equality Machine · 发布于 2026-10-27 · 复核于 2026-10-27

研究索引同时包含评测、方法与工具。这里梳理六个评测项目，说明各自适合观察哪类工作，并连接已核对的详情和成绩。

六个评测，六种不同工作

先看你需要 Agent 交付什么。这些项目分别覆盖工程优化、学习算法、仓库迁移、可编辑图解、视频物理和量化研究。它们的分数衡量不同结果，需要结合各自任务定义阅读。

评测	检验什么	怎样阅读结果
Frontier-Engineering	在可执行约束下改进工程方案	修正版奖牌分；v1 与 v1-lite 分开
AI4AI-Bench	在固定研究代码库中改进训练方法	结合任务归一化方式与协议版本阅读
SWE Refactor Bench	迁移整个仓库，并保留原有行为	综合分与完整通过率不同
PPTBench (Einsia)	将科学流程图重建为可编辑幻灯片	先检查文件与语义，再评价视觉细节
World Models’ Last Exam in Physics	生成视频中的物理行为是否一致	结合任务评分与采样条件阅读
Quant-Arena	研究并冻结策略，再在封存年度评估	总分不是金融收益率

Frontier-Engineering 用领域验证器衡量候选方案的改进；AI4AI-Bench 要求 Agent 在训练和评估约束下修改研究代码库；SWE Refactor Bench 从本已可运行的仓库出发，检查迁移是否保留行为。某一项得分高，不等于另外两项也能做好。

Frontier 修正版奖牌结果同时包含重新评分的旧提交和较短重跑，旧论文平均名次回答的是另一个问题。详情页保留版本和出处，避免将这次更新当成一次统一的新实验。

Einsia 的 PPTBench 指包含 500 道题的科学流程图重建评测，需要与更早的同名项目区分。输出必须由可编辑的 PowerPoint 原生元素组成，除了外观，还要保留图解语义。

World Models’ Last Exam in Physics 以物理任务及对应测量评价生成视频。研究索引将其标为 Research Preview，具体采样条件仍属于证据范围；看起来逼真并不能单独证明物理行为正确。

Quant-Arena 将研究期与封存评估年度分开，总分结合两个时期的评分。本次保留迭代、单次生成和各个推理档位，并单独说明发布方的专有 Kepler-1 参照策略。

详情页解释了一个重要区别：按各模型的最高总分选择配置，不等于选择最高年化收益的配置。这些交易假设下的历史结果不能证明未来投资表现。