六个新评测详情:上下文、Agent 与可执行任务
六个新上架的独立评测详情页,包含任务解读、已发表成绩和原始发布资料。
这六个评测分别检查推理、个性化、视觉细节、谈判、检索与软件迁移。论文提交于 10 月 29–30 日,11 月 2 日是 Radar 页面上架日期。先找到你要评估的任务,再进入详情阅读完整方法和成绩。
按要检验的任务选择评测
每个详情页分别保留自己的指标、实验条件和来源。下方入口可打开完整评测记录,不把不同任务的分数拼成一个总榜。
| 评测 | 任务 | 读成绩时要看 |
|---|---|---|
| GraphNIAH | 长上下文图推理 | 按题型与图配置查看准确率 |
| P-ContextBench | 个人情境与行动边界 | 分项能力与运行一致性 |
| CompoSET | 受控视觉组合理解 | 匹配协议与编辑类型 |
| TradeWar | 落实到执行的谈判 | 结算结果与适应设置 |
| ProSearch | 科学实验方案检索 | nDCG@10 与检索流程 |
| ROSTrans | 机器人软件迁移 | 运行成功与修复预算 |
- GraphNIAHModel reports
- P-ContextBenchModel reports
- CompoSETModel reports
- TradeWarModel reports
- ProSearchModel reports
- ROSTransModel reports
GraphNIAH · original paper and version history · P-ContextBench · original paper and version history · CompoSET · original paper and version history · TradeWar · original paper and version history · ProSearch · original paper and version history · ROSTrans · original paper and version history
GraphNIAH:长上下文里,能否沿引用关系连续推理?
把科学论文的引用图转成问题,所有必要事实都在给定上下文中。阅读结果时要区分题型、图规模和路径深度;找到一个孤立事实,与完成一条推理链是不同任务。
- GraphNIAHModel reports
P-ContextBench:个人 Agent 能否理解情境,并尊重个人约束?
把个人事实分散在持续变化的合成应用记录中,检查事实恢复、状态变化、生活规律和违反个人约束的请求。除了总准确率,也应看分项能力与多次运行的一致性。
- P-ContextBenchModel reports
CompoSET:只改一个细节,模型能看出含义变了吗?
配对图像保持场景近似,只控制性地改变颜色、数量或空间关系等一个细节,减少利用整幅场景差异猜答案的捷径。论文实验针对双编码器视觉语言模型,不能直接泛化为所有多模态模型的结论。
- CompoSETModel reports
TradeWar:谈成的协议,执行后真的有效吗?
在多国模拟环境中,把谈判落实为关税与贸易配置,结算受到产能和网络约束。达成协议不等于执行结果好;应结合经济健康指数、Agent 记忆与适应机制、冲击条件阅读结果。
- TradeWarModel reports
ProSearch:检索能否同时满足多项实验约束?
根据含有多项关联要求的查询检索实验方案,要求包括数值条件与排除项,覆盖六类实验科学领域。阅读 nDCG@10 时,需要区分首阶段检索与重排序配置。
- ProSearchModel reports
ROSTrans:机器人代码迁移后,编译通过就够了吗?
要求模型把 ROS1 代码迁入固定的 ROS2 工程,再启动节点并调用接口,用不可由候选代码改写的参考测试检查运行行为。首次生成、多样本通过率与依据反馈修复属于不同实验条件。
- ROSTransModel reports