AI EVALUATION, IN CONTEXT.BY EQUALITY MACHINE
Benchmark Radar.Benchmarks. Model results. Original sources.
/

编程评测

分清代码生成、仓库修复与软件工程任务，再比较模型成绩。

编程评测检验模型能否生成或修改符合要求的软件。首先要看工作单位：补全一个小函数，与在陌生仓库中定位文件、修改代码并通过回归测试，是不同的任务。HumanEval 代表函数补全，SWE-bench 代表根据问题描述修改仓库。应先选择接近实际工作的任务，再检查结果如何验收。

这些评测测量什么

  • 函数补全检查生成代码能否通过可执行的示例与隐藏测试。
  • 仓库任务还涉及代码定位、依赖处理和开发环境中的操作。
  • 编程语言、仓库和任务类型的覆盖范围，决定成绩能说明哪些工程场景。

如何阅读结果

  • 核对数据集版本与划分；经过复核的子集和完整集合应分别比较。
  • 同时记录智能体框架、可用工具、重试次数，以及时间或 token 预算。
  • 看指标统计的是首次尝试成功、任意一次尝试成功，还是提交补丁后解决的任务。

需要留意的限制

  • 通过测试不能证明代码易维护、设计安全，或在测试范围之外仍然正确。
  • 已广泛公开的任务，对新工程工作的代表性可能有限；应检查训练数据污染控制和出题方法。

参考资料

  1. Evaluating Large Language Models Trained on Code
  2. SWE-bench official benchmark and leaderboards

浏览此类评测 199 条来源记录

搜索并筛选这些评测

相关专题

工具与智能体评测网络安全评测科学评测