评测专题

按能力和领域理解 AI 评测。一个 benchmark 可以有多个分类，分类相同不表示分数可直接比较。

编程评测

分清代码生成、仓库修复与软件工程任务，再比较模型成绩。

199 条来源记录

了解界面元素定位、浏览器操作，以及完整桌面或移动端工作流的评测。

18 条来源记录

区分正确调用工具与完成多步工作，并把成绩理解为特定系统配置的评测结果。

301 条来源记录

看清评测实际使用了哪些图像、文字、音频或视频组合。

372 条来源记录

从题目类型、允许使用的工具和正确答案的定义来理解推理成绩。

674 条来源记录

区分“能接收长输入”和“能可靠检索、整合、总结其中的信息”。

81 条来源记录

结合被测试的语言和任务，理解翻译、指令遵循与文本质量成绩。

164 条来源记录

阅读安全评测时，区分对有害请求的配合、不必要的拒绝和可靠性失败。

64 条来源记录

分清 CTF 解题、漏洞复现、利用能力和安全代码生成的评测结果。

10 条来源记录

理解财务文档问答、数值推理与证据检索，避免把它们等同于投资表现。

32 条来源记录

区分医学知识问答、临床文书、沟通和决策支持的评测。

56 条来源记录

选择评测时，分清科学知识、定量推理与科研代码。

88 条来源记录

理解评测，做出选择

先明确你要观察的能力，再阅读任务定义、评分方式与运行条件。编程、网络安全、电脑操作和专业领域评测回答的问题各不相同；分数需要和出处一起阅读。

分清评测基准、一次评测运行与排行榜，用它们回答各自适合的问题。

按顺序核对任务版本、指标、工具、预算、不确定性和报告来源的实用方法。

先把智能体的工作对应到可验证结果，再选择一组覆盖不同失败方式的评测。