AI EVALUATION, IN CONTEXT.BY EQUALITY MACHINE
Benchmark Radar.Benchmarks. Model results. Original sources.
/

科学评测

选择评测时，分清科学知识、定量推理与科研代码。

科学评测既可以考查领域知识，也可以考查在该领域中完成工作的能力。选出正确的物理答案，与实现行为正确的数值方法，是不同任务。GPQA 提供专家级科学问题，SciCode 评估科学编程任务。两者都与科学助手有关，但其中一个的成功不能替代另一个的证据。

这些评测测量什么

  • 学科问题结合专业知识，以及对给定条件的推理。
  • 科学编程任务把数学或物理要求转化为可执行实现。
  • 多部分任务可以检查系统能否把子问题的解法组合成可运行的整体。

如何阅读结果

  • 核对学科覆盖，以及是否提供背景说明、方程或中间解法。
  • 如果产物需要执行，应检查数值误差范围、测试环境与依赖。
  • 区分组件成功与完整任务成功，也要区分知识问答与实验或计算工作流。

需要留意的限制

  • 实现通过测试，本身不能验证科学假说或证明产生了新发现。
  • 领域平均分可能掩盖不同专业方向的差异；应判断评测是否接近实际研究任务。

参考资料

  1. SciCode official project
  2. GPQA research paper

浏览此类评测 88 条来源记录

搜索并筛选这些评测

相关专题

编程评测推理与数学评测医疗评测