AI EVALUATION, IN CONTEXT.BY EQUALITY MACHINE
Benchmark Radar.Benchmarks. Model results. Original sources.
/

推理与数学评测

从题目类型、允许使用的工具和正确答案的定义来理解推理成绩。

推理评测检验系统能否联系信息，得到有依据的答案。数学任务可能涉及计算、代数或类似证明的解题过程；其他任务可能依赖科学知识或逻辑约束。MATH 使用竞赛题，GPQA 则提出专家级科学问题。它们都需要推理，但考查的知识和输出并不相同。

这些评测测量什么

  • 题目结构很重要：选择选项、计算答案和构造证明的失败方式不同。
  • 知识密集型问题同时考查记忆与推理；答错本身不能确定是哪一部分出了问题。
  • 即使只评分最终答案，多步任务也可能要求中间决策保持一致。

如何阅读结果

  • 核对所用子集、学科构成，以及题目是选择题还是开放作答。
  • 核对是否可使用计算器、代码执行、搜索和提示中的示例。
  • 在相近的推理与采样预算下比较，并区分一次作答与多次尝试后选答案。

需要留意的限制

  • 最终答案正确，不代表解释或每一步推导都正确。
  • 在固定题集上的高表现，不能证明系统在陌生领域中具备普遍推理能力。

参考资料

  1. Measuring Mathematical Problem Solving With the MATH Dataset
  2. GPQA — A Graduate-Level Google-Proof Q&A Benchmark
  3. Open LLM Leaderboard benchmark documentation

浏览此类评测 674 条来源记录

搜索并筛选这些评测

相关专题

科学评测编程评测长上下文评测