四个新评测详情：协作、规则遵守与视觉 Agent
新增 Collaborative Intelligence、ARCBench、Shotwell-Bench 和 LOLPlay 详情页，补齐任务说明、原始发布链接和按版本保留的成绩。
这一批覆盖 Agent 团队合作、上下文压缩后的规则遵守、视频动作标注和实时游戏操作。进入独立详情页，可继续核对原始来源、指标和实验设置。
按要评估的行为选择
每个入口都有任务说明、按版本保留的成绩和原始发布链接。四项评测衡量不同的行为，下表列出读成绩时需要关注的条件。
| 评测 | 任务 | 读成绩时要看 |
|---|---|---|
| Collaborative Intelligence Benchmark | 作为团队成员合作 | 有效题目、八种能力维度和推理设置 |
| ARCBench | 上下文压缩后的规则遵守 | 违规率、重复次数与压缩协议 |
| Shotwell-Bench | 视频动作切分与描述 | 两项 F1、输入格式与评分器 |
| LOLPlay | 实时视觉游戏操作 | 完整任务与子目标、推理强度和时间预算 |
- Collaborative Intelligence BenchmarkModel reports
- ARCBenchModel reports
- Shotwell-BenchModel reports
- LOLPlayModel reports
Collaborative Intelligence Benchmark · original publication · ARCBench · original publication · Shotwell-Bench · original publication · LOLPlay · original publication
Collaborative Intelligence Benchmark：独立会做的任务，合作时还能做好吗？
通过 240 项任务检查八种协作能力。评分只纳入每个模型独立能够完成的任务，因此模型之间的有效题目集合可能不同。详情页分别保留默认与高推理设置，并链接原始任务和评分资料。
- Collaborative Intelligence BenchmarkModel reports
ARCBench：摘要中保留了规则，Agent 就会遵守吗？
主对比检查三次有效重复中是否至少发生一次违规。完整历史与压缩历史采用不同协议，违规率越低越好。补充表格分开呈现规则传递方式、压缩方法、预算和对抗条件。
- ARCBenchModel reports
Shotwell-Bench：视频模型能否切准动作边界并描述动作？
当前对比覆盖 11 个精选视频，早期五视频试验单独保留。综合 F1 是动作切分和描述 F1 的乘积。原生视频与图像拼图的输入不同，描述评分器也属于被测模型之一，因此需要结合分项成绩和设置阅读。
- Shotwell-BenchModel reports
LOLPlay：游戏持续运行时，Agent 能否及时行动？
通过截图和鼠标键盘操作完成 36 项英雄专属《英雄联盟》任务。九组模型与推理强度配置分别记录完整任务成功率和局部进展。它们是可执行检查的限时任务，不是整局胜率或与真人对战成绩。
- LOLPlayModel reports
今天上架，保留来源日期
11 月 4 日是本批页面上架与核对的日期。Collaborative Intelligence 和 ARCBench 保留论文的 11 月 2 日日期；Shotwell 引用带日期的作者仓库版本，不推定实验日期；LOLPlay 保留 arXiv 原始记录展示的 10 月 25 日提交日期。Radar 转录已发表的结果，没有重跑这些评测。
Collaborative Intelligence Benchmark · original publication · ARCBench · original publication · Shotwell-Bench · original publication · LOLPlay · original publication