LLM Stats

HumanEval

HumanEval 要求模型根据说明实现一个较小的 Python 函数，再执行测试检查行为。阅读成绩时需要区分 pass@1 与 pass@k。

收录来源

AI Benchmark Radar / Equality Machine · 核对于 2026-10-25

对应原版 164 道 Python HumanEval 题及原始测试；HumanEval+、多语言版和代码补全变体保留独立口径。

按说明完成函数

提示提供函数签名和文档说明。原题集包含 164 道人工编写的编程题及测试，涉及语言理解、算法和基础数学；模型需要给出符合要求的代码。

Evaluating Large Language Models Trained on Code · HumanEval and pass@k

通过执行判定正确性

评测程序将生成代码放入相应任务测试，记录通过或失败。无需与参考代码逐字一致；在既定配置下，运行错误或超时会造成失败。

OpenAI HumanEval · Official evaluation harness · HumanEval · Functional evaluation and pass@k implementation

pass@k 测量什么

pass@k 估计生成 k 份候选时至少一份通过的概率。官方估计器使用每题总样本数与通过样本数。pass@100 很高，不意味着用户第一次就能拿到正确代码。

HumanEval · Functional evaluation and pass@k implementation

对齐采样与测试版本

比较时应对齐 k、采样温度、代码截取方式和测试集。论文显示，不同 k 对应的合适温度会变化；使用额外测试或其他语言的成绩应保留变体标签。

Evaluating Large Language Models Trained on Code · HumanEval and pass@k · OpenAI HumanEval · Official evaluation harness

短函数能力的观察窗口

通过有限测试只能证明覆盖用例的表现，不能证明所有输入都正确。短函数题也不覆盖仓库维护或长期项目。官方仓库目前已将原评测框架标注为停止维护的历史资料。

OpenAI HumanEval · Official evaluation harness · Evaluating Large Language Models Trained on Code · HumanEval and pass@k

数据来源与署名：LLM Stats

已收录的评测资料

这条来源记录收录了 66 条数值成绩。来源区分了 66 个模型身份或配置。同一模型可能有多条记录；比较前请核对具体版本、工具和运行预算。查看成绩及逐条证据 →

指标方向: 数值越高越好

从这些资料开始

引用文档及日期（1）

HumanEval

目录采集于 2026-08-17，资料入口与字段反映当时保存的来源。

关注度快照

观测日期：2026-10-12

GitHub 星标: 3,402
Hugging Face 论文点赞: 12

openai/human-eval · 查看来源快照

这是注明日期的关注度观测，不是实时计数或评测分数。

评测信息与证据

来源: LLM Stats
发布者: 未收录
评测发布日期: 2021-07-08
采集日期: 2026-08-17
模态: text

本站保留来源报告的结果，不代表独立复测。请先核对任务版本、评测协议、分数单位和报告日期；不同运行条件不能直接合并为统一排名。

报告成绩 66

按来源中的观察顺序展示，顺序不代表排名。日期保留原始精度。

模型	数值	单位	协议	报告日期与口径	来源
MiniCPM-SALA	0.9512	未收录	未收录	2026-02-11 · model_announcement	LLM Stats
Kimi K2 0905	0.945	未收录	未收录	2025-09-05 · model_announcement	LLM Stats
Claude 3.5 Sonnet	0.937	未收录	未收录	2024-10-22 · model_announcement	LLM Stats
GPT-5	0.934	未收录	未收录	2025-08-07 · model_announcement	LLM Stats
Kimi K2 Instruct	0.933	未收录	未收录	2025-07-11 · model_announcement	LLM Stats
Qwen2.5-Coder 32B Instruct	0.927	未收录	未收录	2024-09-19 · model_announcement	LLM Stats
o1-mini	0.924	未收录	未收录	2024-09-12 · model_announcement	LLM Stats
Sarvam-30B	0.921	未收录	未收录	2026-03-06 · model_announcement	LLM Stats
Mistral Large 2	0.92	未收录	未收录	2024-07-24 · model_announcement	LLM Stats
Claude 3.5 Sonnet	0.92	未收录	未收录	2024-06-21 · model_announcement	LLM Stats
Qwen2.5 VL 32B Instruct	0.915	未收录	未收录	2025-02-28 · model_announcement	LLM Stats
GPT-4o	0.902	未收录	未收录	2024-05-13 · model_announcement	LLM Stats
Granite 3.3 8B Instruct	0.8973	未收录	未收录	2025-04-16 · model_announcement	LLM Stats
Granite 3.3 8B Base	0.8973	未收录	未收录	2025-04-16 · model_announcement	LLM Stats
Gemini Diffusion	0.896	未收录	未收录	2025-05-20 · model_announcement	LLM Stats
Nova Pro	0.89	未收录	未收录	2024-11-20 · model_announcement	LLM Stats
Llama 3.1 405B Instruct	0.89	未收录	未收录	2024-07-23 · model_announcement	LLM Stats
DeepSeek-V2.5	0.89	未收录	未收录	2024-05-08 · model_announcement	LLM Stats
LongCat-Flash-Chat	0.8841	未收录	未收录	2025-08-29 · model_announcement	LLM Stats
Mistral Small 3.1 24B Instruct	0.8841	未收录	未收录	2025-03-17 · model_announcement	LLM Stats
Llama 3.3 70B Instruct	0.884	未收录	未收录	2024-12-06 · model_announcement	LLM Stats
Qwen2.5-Coder 7B Instruct	0.884	未收录	未收录	2024-09-19 · model_announcement	LLM Stats
Qwen2.5 32B Instruct	0.884	未收录	未收录	2024-09-19 · model_announcement	LLM Stats
Grok-2	0.884	未收录	未收录	2024-08-13 · model_announcement	LLM Stats
o1	0.881	未收录	未收录	2024-12-17 · model_announcement	LLM Stats
Claude 3.5 Haiku	0.881	未收录	未收录	2024-10-22 · model_announcement	LLM Stats
GPT-4.5	0.88	未收录	未收录	2025-02-27 · model_announcement	LLM Stats
Gemma 3 27B	0.878	未收录	未收录	2025-03-12 · model_announcement	LLM Stats
GPT-4o mini	0.872	未收录	未收录	2024-07-18 · model_announcement	LLM Stats
GPT-4 Turbo	0.871	未收录	未收录	2024-04-09 · model_announcement	LLM Stats
Qwen2.5 72B Instruct	0.866	未收录	未收录	2024-09-19 · model_announcement	LLM Stats
Qwen2 72B Instruct	0.86	未收录	未收录	2024-07-23 · model_announcement	LLM Stats
Grok-2 mini	0.857	未收录	未收录	2024-08-13 · model_announcement	LLM Stats
Gemma 3 12B	0.854	未收录	未收录	2025-03-12 · model_announcement	LLM Stats
Nova Lite	0.854	未收录	未收录	2024-11-20 · model_announcement	LLM Stats
Claude 3 Opus	0.849	未收录	未收录	2024-02-29 · model_announcement	LLM Stats
Mistral Small 3 24B Instruct	0.848	未收录	未收录	2025-01-30 · model_announcement	LLM Stats
Qwen2.5 7B Instruct	0.848	未收录	未收录	2024-09-19 · model_announcement	LLM Stats
Gemini 1.5 Pro	0.841	未收录	未收录	2024-05-01 · model_announcement	LLM Stats
Qwen2.5 14B Instruct	0.835	未收录	未收录	2024-09-19 · model_announcement	LLM Stats
Phi 4	0.826	未收录	未收录	2024-12-12 · model_announcement	LLM Stats
IBM Granite 4.0 Tiny Preview	0.824	未收录	未收录	2025-05-02 · model_announcement	LLM Stats
Nova Micro	0.811	未收录	未收录	2024-11-20 · model_announcement	LLM Stats
Codestral-22B	0.811	未收录	未收录	2024-05-29 · model_announcement	LLM Stats
Llama 3.1 70B Instruct	0.805	未收录	未收录	2024-07-23 · model_announcement	LLM Stats
Qwen2 7B Instruct	0.799	未收录	未收录	2024-07-23 · model_announcement	LLM Stats
Qwen2.5-Omni-7B	0.787	未收录	未收录	2025-03-27 · model_announcement	LLM Stats
Claude 3 Haiku	0.759	未收录	未收录	2024-03-13 · model_announcement	LLM Stats
Gemma 3n E4B Instructed	0.75	未收录	未收录	2025-06-26 · model_announcement	LLM Stats
Gemma 3n E4B Instructed LiteRT Preview	0.75	未收录	未收录	2025-05-20 · model_announcement	LLM Stats
Gemini 1.5 Flash	0.743	未收录	未收录	2024-05-01 · model_announcement	LLM Stats
Grok-1.5	0.741	未收录	未收录	2024-03-28 · model_announcement	LLM Stats
Claude 3 Sonnet	0.73	未收录	未收录	2024-02-29 · model_announcement	LLM Stats
Llama 3.1 8B Instruct	0.726	未收录	未收录	2024-07-23 · model_announcement	LLM Stats
Pixtral-12B	0.72	未收录	未收录	2024-09-17 · model_announcement	LLM Stats
Gemma 3 4B	0.713	未收录	未收录	2025-03-12 · model_announcement	LLM Stats
Phi-3.5-MoE-instruct	0.707	未收录	未收录	2024-08-23 · model_announcement	LLM Stats
GPT-3.5 Turbo	0.68	未收录	未收录	2023-03-21 · model_announcement	LLM Stats
GPT-4	0.67	未收录	未收录	2023-06-13 · model_announcement	LLM Stats
Gemma 3n E2B Instructed	0.665	未收录	未收录	2025-06-26 · model_announcement	LLM Stats
Gemma 3n E2B Instructed LiteRT (Preview)	0.665	未收录	未收录	2025-05-20 · model_announcement	LLM Stats
Phi-3.5-mini-instruct	0.628	未收录	未收录	2024-08-23 · model_announcement	LLM Stats
Gemma 2 27B	0.518	未收录	未收录	2024-06-27 · model_announcement	LLM Stats
Gemma 3 1B	0.415	未收录	未收录	2025-03-12 · model_announcement	LLM Stats
Gemma 2 9B	0.402	未收录	未收录	2024-06-27 · model_announcement	LLM Stats
Ministral 8B Instruct	0.348	未收录	未收录	2024-10-16 · model_announcement	LLM Stats

其他来源中的相关记录

HumanEval

按说明完成函数

通过执行判定正确性

pass@k 测量什么

对齐采样与测试版本

短函数能力的观察窗口

已收录的评测资料

从这些资料开始

关注度快照

评测信息与证据

报告成绩 66

相关评测探索

继续阅读

Navers Lab / Einsia：六个评测分别测什么

AI 评测与排行榜，分别告诉你什么

怎样比较 AI 评测成绩，避免混用评测口径

四个新 Agent 评测：适应变化、安全执行与视频交付

继续探索

其他来源中的相关记录