AI EVALUATION, IN CONTEXT.BY EQUALITY MACHINE

六个新评测详情:上下文、Agent 与可执行任务

六个新上架的独立评测详情页,包含任务解读、已发表成绩和原始发布资料。

这六个评测分别检查推理、个性化、视觉细节、谈判、检索与软件迁移。论文提交于 10 月 29–30 日,11 月 2 日是 Radar 页面上架日期。先找到你要评估的任务,再进入详情阅读完整方法和成绩。

按要检验的任务选择评测

每个详情页分别保留自己的指标、实验条件和来源。下方入口可打开完整评测记录,不把不同任务的分数拼成一个总榜。

评测任务读成绩时要看
GraphNIAH长上下文图推理按题型与图配置查看准确率
P-ContextBench个人情境与行动边界分项能力与运行一致性
CompoSET受控视觉组合理解匹配协议与编辑类型
TradeWar落实到执行的谈判结算结果与适应设置
ProSearch科学实验方案检索nDCG@10 与检索流程
ROSTrans机器人软件迁移运行成功与修复预算

GraphNIAH · original paper and version history · P-ContextBench · original paper and version history · CompoSET · original paper and version history · TradeWar · original paper and version history · ProSearch · original paper and version history · ROSTrans · original paper and version history

GraphNIAH:长上下文里,能否沿引用关系连续推理?

把科学论文的引用图转成问题,所有必要事实都在给定上下文中。阅读结果时要区分题型、图规模和路径深度;找到一个孤立事实,与完成一条推理链是不同任务。

GraphNIAH · original paper and version history

P-ContextBench:个人 Agent 能否理解情境,并尊重个人约束?

把个人事实分散在持续变化的合成应用记录中,检查事实恢复、状态变化、生活规律和违反个人约束的请求。除了总准确率,也应看分项能力与多次运行的一致性。

P-ContextBench · original paper and version history

CompoSET:只改一个细节,模型能看出含义变了吗?

配对图像保持场景近似,只控制性地改变颜色、数量或空间关系等一个细节,减少利用整幅场景差异猜答案的捷径。论文实验针对双编码器视觉语言模型,不能直接泛化为所有多模态模型的结论。

CompoSET · original paper and version history

TradeWar:谈成的协议,执行后真的有效吗?

在多国模拟环境中,把谈判落实为关税与贸易配置,结算受到产能和网络约束。达成协议不等于执行结果好;应结合经济健康指数、Agent 记忆与适应机制、冲击条件阅读结果。

TradeWar · original paper and version history

ProSearch:检索能否同时满足多项实验约束?

根据含有多项关联要求的查询检索实验方案,要求包括数值条件与排除项,覆盖六类实验科学领域。阅读 nDCG@10 时,需要区分首阶段检索与重排序配置。

ProSearch · original paper and version history

ROSTrans:机器人代码迁移后,编译通过就够了吗?

要求模型把 ROS1 代码迁入固定的 ROS2 工程,再启动节点并调用接口,用不可由候选代码改写的参考测试检查运行行为。首次生成、多样本通过率与依据反馈修复属于不同实验条件。

ROSTrans · original paper and version history

参考资料

  1. GraphNIAH · original paper and version history
  2. P-ContextBench · original paper and version history
  3. CompoSET · original paper and version history
  4. TradeWar · original paper and version history
  5. ProSearch · original paper and version history
  6. ROSTrans · original paper and version history