LLM Stats

MMLU-Pro

MMLU-Pro 综合考查多个学科的知识与推理，扩充了选项并调整题库，因此不能把它的正确率当成原始 MMLU 的同一项测试。

收录来源

AI Benchmark Radar / Equality Machine · 核对于 2026-10-25

对应原版 MMLU-Pro 与官方评测资料，不等同于原始 MMLU、MMLU-ProX 或多语言衍生版本。

更有挑战的选择题

相比 MMLU 的四选一，该评测扩展至十个选项，并强调需要推理的题目。它清理简单或有噪声的问题，加入考试与教材材料，同时改变题目组成和猜测难度。

MMLU-Pro paper · Construction, prompts and limitations

总分之外还要看学科

官方发布包含超过 12,000 道题，覆盖数学、法律、健康、工程等 14 个领域。数据提供学科字段，因此可在总体平均之外，检查与你的应用相关的具体领域。

TIGER AI Lab · MMLU-Pro evaluation and answer extraction · TIGER Lab · Official MMLU-Pro dataset and schema

从生成文字到选项判定

评测从生成文本中提取选项，再与参考答案比较。官方仓库提供正确率计算及不同的提取方式。复现成绩时，应保留对应的提取器和提示设置。

TIGER AI Lab · MMLU-Pro evaluation and answer extraction

推理提示属于评测协议

论文研究直接作答和思维链提示，也比较多种提示风格。更稳健并不等于提示词没有影响。解释分差前，应确保示例和答案格式一致。

MMLU-Pro paper · Construction, prompts and limitations

广泛知识考试仍有任务边界

选对一个答案，比交付有用的专业成果范围更窄。分学科结果与错误样例能提供比单一总分更多的信息；不同语言或不同题库的后续变体也应分开记录。

TIGER Lab · Official MMLU-Pro dataset and schema · MMLU-Pro paper · Construction, prompts and limitations

数据来源与署名：LLM Stats

已收录的评测资料

这条来源记录收录了 134 条数值成绩。来源区分了 134 个模型身份或配置。同一模型可能有多条记录；比较前请核对具体版本、工具和运行预算。查看成绩及逐条证据 →

指标方向: 数值越高越好

从这些资料开始

论文 · 任务设计与实验 · arxiv.org
代码 · 实现与使用说明 · github.com
数据集 · 文件与说明 · huggingface.co
收录来源 · api.zeroeval.com

引用文档及日期（1）

MMLU-Pro

目录采集于 2026-08-17，资料入口与字段反映当时保存的来源。

关注度快照

观测日期：2026-10-12

GitHub 星标: 430
Hugging Face 论文点赞: 56

tiger-ai-lab/mmlu-pro · 查看来源快照

这是注明日期的关注度观测，不是实时计数或评测分数。

评测信息与证据

来源: LLM Stats
发布者: University of Waterloo
评测发布日期: 2024-06-03
采集日期: 2026-08-17
模态: text

本站保留来源报告的结果，不代表独立复测。请先核对任务版本、评测协议、分数单位和报告日期；不同运行条件不能直接合并为统一排名。

报告成绩 134

按来源中的观察顺序展示，顺序不代表排名。日期保留原始精度。

模型	数值	单位	协议	报告日期与口径	来源
Sakana Namazu	0.9033	未收录	未收录	2026-08-03 · model_announcement	LLM Stats
Qwen3.7 Max	0.896	未收录	未收录	2026-05-19 · model_announcement	LLM Stats
Qwen3.7-Plus	0.885	未收录	未收录	2026-05-31 · model_announcement	LLM Stats
Qwen3.6 Plus	0.885	未收录	未收录	2026-04-02 · model_announcement	LLM Stats
MiniMax M2.1	0.88	未收录	未收录	2025-12-23 · model_announcement	LLM Stats
Qwen3.5-397B-A17B	0.878	未收录	未收录	2026-02-16 · model_announcement	LLM Stats
DeepSeek-V4-Pro-Max	0.875	未收录	未收录	2026-04-23 · model_announcement	LLM Stats
Kimi K2.5	0.871	未收录	未收录	2026-01-27 · model_announcement	LLM Stats
ERNIE 5.0	0.87	未收录	未收录	2026-01-22 · model_announcement	LLM Stats
Nemotron 3 Ultra (550B A55B)	0.868	未收录	未收录	2026-06-04 · model_announcement	LLM Stats
Qwen3.5-122B-A10B	0.867	未收录	未收录	2026-02-24 · model_announcement	LLM Stats
DeepSeek-V4-Flash-0423	0.864	未收录	未收录	2026-04-23 · model_announcement	LLM Stats
Solar Pro 4	0.863	未收录	未收录	2026-08-06 · model_announcement	LLM Stats
DeepSeek-V4-Flash-Max	0.862	未收录	未收录	2026-04-23 · model_announcement	LLM Stats
Qwen3.6-27B	0.862	未收录	未收录	2026-04-21 · model_announcement	LLM Stats
Qwen3.5-27B	0.861	未收录	未收录	2026-02-24 · model_announcement	LLM Stats
Qwen3.5-35B-A3B	0.853	未收录	未收录	2026-02-24 · model_announcement	LLM Stats
Qwen3.6-35B-A3B	0.852	未收录	未收录	2026-04-16 · model_announcement	LLM Stats
Gemma 4 31B	0.852	未收录	未收录	2026-04-02 · model_announcement	LLM Stats
MAI-Thinking-1	0.85	未收录	未收录	2026-06-02 · model_announcement	LLM Stats
DeepSeek-V3.2 (Thinking)	0.85	未收录	未收录	2025-12-01 · model_announcement	LLM Stats
DeepSeek-V3.2	0.85	未收录	未收录	2025-12-01 · model_announcement	LLM Stats
DeepSeek-V3.2-Exp	0.85	未收录	未收录	2025-09-29 · model_announcement	LLM Stats
DeepSeek-R1-0528	0.85	未收录	未收录	2025-05-28 · model_announcement	LLM Stats
MiMo-V2-Flash	0.849	未收录	未收录	2025-12-16 · model_announcement	LLM Stats
Kimi K2-Thinking-0905	0.846	未收录	未收录	2025-09-05 · model_announcement	LLM Stats
GLM-4.5	0.846	未收录	未收录	2025-07-28 · model_announcement	LLM Stats
Qwen3-235B-A22B-Thinking-2507	0.844	未收录	未收录	2025-07-25 · model_announcement	LLM Stats
GLM-4.7	0.843	未收录	未收录	2025-12-22 · model_announcement	LLM Stats
K-EXAONE-236B-A23B	0.838	未收录	未收录	2025-12-31 · model_announcement	LLM Stats
Qwen3 VL 235B A22B Thinking	0.838	未收录	未收录	2025-09-22 · model_announcement	LLM Stats
Nemotron 3 Super (120B A12B)	0.8373	未收录	未收录	2026-03-11 · model_announcement	LLM Stats
DeepSeek-V3.1	0.837	未收录	未收录	2025-01-10 · model_announcement	LLM Stats
Qwen3-235B-A22B-Instruct-2507	0.83	未收录	未收录	2025-07-22 · model_announcement	LLM Stats
Qwen3-Next-80B-A3B-Thinking	0.827	未收录	未收录	2025-09-10 · model_announcement	LLM Stats
LongCat-Flash-Chat	0.8268	未收录	未收录	2025-08-29 · model_announcement	LLM Stats
Gemma 4 26B-A4B	0.826	未收录	未收录	2026-04-02 · model_announcement	LLM Stats
LongCat-Flash-Thinking	0.826	未收录	未收录	2025-09-22 · model_announcement	LLM Stats
Qwen3.5-9B	0.825	未收录	未收录	2026-03-02 · model_announcement	LLM Stats
Kimi K2 0905	0.825	未收录	未收录	2025-09-05 · model_announcement	LLM Stats
Qwen3 VL 32B Thinking	0.821	未收录	未收录	2025-09-22 · model_announcement	LLM Stats
MiniMax M2	0.82	未收录	未收录	2025-10-27 · model_announcement	LLM Stats
Nemotron 3.5 Lightning (30B A3B)	0.8194	未收录	未收录	2026-08-11 · model_announcement	LLM Stats
Qwen3 VL 235B A22B Instruct	0.818	未收录	未收录	2025-09-22 · model_announcement	LLM Stats
Sarvam-105B	0.817	未收录	未收录	2026-03-06 · model_announcement	LLM Stats
Nova 2 Pro	0.816	未收录	未收录	2025-12-02 · model_announcement	LLM Stats
GLM-4.5-Air	0.814	未收录	未收录	2025-07-28 · model_announcement	LLM Stats
DeepSeek-V3 0324	0.812	未收录	未收录	2025-03-25 · model_announcement	LLM Stats
Kimi K2-Instruct-0905	0.811	未收录	未收录	2025-09-05 · model_announcement	LLM Stats
Kimi K2 Instruct	0.811	未收录	未收录	2025-07-11 · model_announcement	LLM Stats
MiniMax M1 80K	0.811	未收录	未收录	2025-06-16 · model_announcement	LLM Stats
Nova 2 Lite	0.809	未收录	未收录	2025-12-02 · model_announcement	LLM Stats
Nova 2 Omni	0.807	未收录	未收录	2025-12-02 · model_announcement	LLM Stats
GPT OSS 120B High	0.807	未收录	未收录	2025-08-05 · model_announcement	LLM Stats
Qwen3-Next-80B-A3B-Instruct	0.806	未收录	未收录	2025-09-10 · model_announcement	LLM Stats
MiniMax M1 40K	0.806	未收录	未收录	2025-06-16 · model_announcement	LLM Stats
Qwen3 VL 30B A3B Thinking	0.805	未收录	未收录	2025-09-22 · model_announcement	LLM Stats
Llama 4 Maverick	0.805	未收录	未收录	2025-04-05 · model_announcement	LLM Stats
Sarvam-30B	0.8	未收录	未收录	2026-03-06 · model_announcement	LLM Stats
Qwen3.5-4B	0.791	未收录	未收录	2026-03-02 · model_announcement	LLM Stats
Qwen3 VL 32B Instruct	0.786	未收录	未收录	2025-09-22 · model_announcement	LLM Stats
Nemotron 3 Nano (30B A3B)	0.783	未收录	未收录	2025-12-15 · model_announcement	LLM Stats
LongCat-Flash-Lite	0.7829	未收录	未收录	2026-02-05 · model_announcement	LLM Stats
Mistral Small 4	0.78	未收录	未收录	2026-03-16 · model_announcement	LLM Stats
Qwen3 VL 30B A3B Instruct	0.778	未收录	未收录	2025-09-22 · model_announcement	LLM Stats
DiffusionGemma 26B-A4B	0.776	未收录	未收录	2026-06-10 · model_announcement	LLM Stats
Claude 3.5 Sonnet	0.776	未收录	未收录	2024-10-22 · model_announcement	LLM Stats
Qwen3 VL 8B Thinking	0.773	未收录	未收录	2025-09-22 · model_announcement	LLM Stats
Gemma 4 12B	0.772	未收录	未收录	2026-05-23 · model_announcement	LLM Stats
Gemini 2.0 Flash	0.764	未收录	未收录	2024-12-01 · model_announcement	LLM Stats
Claude 3.5 Sonnet	0.761	未收录	未收录	2024-06-21 · model_announcement	LLM Stats
Phi 4 Reasoning Plus	0.76	未收录	未收录	2025-04-30 · model_announcement	LLM Stats
DeepSeek-V3	0.759	未收录	未收录	2024-12-25 · model_announcement	LLM Stats
Gemini 1.5 Pro	0.758	未收录	未收录	2024-05-01 · model_announcement	LLM Stats
Grok-2	0.755	未收录	未收录	2024-08-13 · model_announcement	LLM Stats
GPT-4o	0.747	未收录	未收录	2024-08-06 · model_announcement	LLM Stats
Phi 4 Reasoning	0.743	未收录	未收录	2025-04-30 · model_announcement	LLM Stats
Llama 4 Scout	0.743	未收录	未收录	2025-04-05 · model_announcement	LLM Stats
Qwen3 VL 4B Thinking	0.736	未收录	未收录	2025-09-22 · model_announcement	LLM Stats
Llama 3.1 405B Instruct	0.733	未收录	未收录	2024-07-23 · model_announcement	LLM Stats
GPT-4o	0.726	未收录	未收录	2024-05-13 · model_announcement	LLM Stats
Grok-2 mini	0.72	未收录	未收录	2024-08-13 · model_announcement	LLM Stats
Qwen3 VL 8B Instruct	0.716	未收录	未收录	2025-09-22 · model_announcement	LLM Stats
Gemini 2.0 Flash-Lite	0.716	未收录	未收录	2025-02-05 · model_announcement	LLM Stats
Qwen2.5 72B Instruct	0.711	未收录	未收录	2024-09-19 · model_announcement	LLM Stats
Phi 4	0.704	未收录	未收录	2024-12-12 · model_announcement	LLM Stats
Gemma 4 E4B	0.694	未收录	未收录	2026-04-02 · model_announcement	LLM Stats
Kimi K2 Base	0.692	未收录	未收录	2025-07-11 · model_announcement	LLM Stats
Mistral Small 3.2 24B Instruct	0.6906	未收录	未收录	2025-06-20 · model_announcement	LLM Stats
Qwen2.5 32B Instruct	0.69	未收录	未收录	2024-09-19 · model_announcement	LLM Stats
Llama 3.3 70B Instruct	0.689	未收录	未收录	2024-12-06 · model_announcement	LLM Stats
Qwen2.5 VL 32B Instruct	0.688	未收录	未收录	2025-02-28 · model_announcement	LLM Stats
MiMo-V2.5-Pro	0.685	未收录	未收录	2026-04-27 · model_announcement	LLM Stats
Claude 3 Opus	0.685	未收录	未收录	2024-02-29 · model_announcement	LLM Stats
Qwen3 235B A22B	0.6818	未收录	未收录	2025-04-29 · model_announcement	LLM Stats
Gemma 3 27B	0.675	未收录	未收录	2025-03-12 · model_announcement	LLM Stats
Gemini 1.5 Flash	0.673	未收录	未收录	2024-05-01 · model_announcement	LLM Stats
Qwen3 VL 4B Instruct	0.671	未收录	未收录	2025-09-22 · model_announcement	LLM Stats
MiniCPM-SALA	0.6704	未收录	未收录	2026-02-11 · model_announcement	LLM Stats
Mistral Small 3.1 24B Instruct	0.6676	未收录	未收录	2025-03-17 · model_announcement	LLM Stats
Qwen3.5-2B	0.665	未收录	未收录	2026-03-02 · model_announcement	LLM Stats
Llama 3.1 70B Instruct	0.664	未收录	未收录	2024-07-23 · model_announcement	LLM Stats
Mistral Small 3 24B Instruct	0.663	未收录	未收录	2025-01-30 · model_announcement	LLM Stats
Claude 3.5 Haiku	0.65	未收录	未收录	2024-10-22 · model_announcement	LLM Stats
Qwen2 72B Instruct	0.644	未收录	未收录	2024-07-23 · model_announcement	LLM Stats
Qwen2.5 14B Instruct	0.637	未收录	未收录	2024-09-19 · model_announcement	LLM Stats
Gemma 3 12B	0.606	未收录	未收录	2025-03-12 · model_announcement	LLM Stats
Gemma 4 E2B	0.6	未收录	未收录	2026-04-02 · model_announcement	LLM Stats
Gemini 1.5 Flash 8B	0.587	未收录	未收录	2024-03-15 · model_announcement	LLM Stats
Claude 3 Sonnet	0.568	未收录	未收录	2024-02-29 · model_announcement	LLM Stats
Qwen2.5 7B Instruct	0.563	未收录	未收录	2024-09-19 · model_announcement	LLM Stats
Mistral Small 3.1 24B Base	0.5603	未收录	未收录	2025-03-17 · model_announcement	LLM Stats
Mistral Small 3 24B Base	0.5437	未收录	未收录	2025-01-30 · model_announcement	LLM Stats
Jamba 1.5 Large	0.535	未收录	未收录	2024-08-22 · model_announcement	LLM Stats
Phi 4 Mini	0.528	未收录	未收录	2025-02-01 · model_announcement	LLM Stats
Grok-1.5	0.51	未收录	未收录	2024-03-28 · model_announcement	LLM Stats
Gemma 3n E4B Instructed	0.506	未收录	未收录	2025-06-26 · model_announcement	LLM Stats
Gemma 3n E4B Instructed LiteRT Preview	0.506	未收录	未收录	2025-05-20 · model_announcement	LLM Stats
Qwen2.5-Coder 32B Instruct	0.504	未收录	未收录	2024-09-19 · model_announcement	LLM Stats
Llama 3.1 8B Instruct	0.483	未收录	未收录	2024-07-23 · model_announcement	LLM Stats
Phi-3.5-mini-instruct	0.474	未收录	未收录	2024-08-23 · model_announcement	LLM Stats
Hermes 3 70B	0.4724	未收录	未收录	2024-08-15 · model_announcement	LLM Stats
Qwen2.5-Omni-7B	0.47	未收录	未收录	2025-03-27 · model_announcement	LLM Stats
Phi-3.5-MoE-instruct	0.453	未收录	未收录	2024-08-23 · model_announcement	LLM Stats
Qwen2 7B Instruct	0.441	未收录	未收录	2024-07-23 · model_announcement	LLM Stats
Gemma 3 4B	0.436	未收录	未收录	2025-03-12 · model_announcement	LLM Stats
Jamba 1.5 Mini	0.425	未收录	未收录	2024-08-22 · model_announcement	LLM Stats
Qwen3.5-0.8B	0.423	未收录	未收录	2026-03-02 · model_announcement	LLM Stats
Gemma 3n E2B Instructed	0.405	未收录	未收录	2025-06-26 · model_announcement	LLM Stats
Gemma 3n E2B Instructed LiteRT (Preview)	0.405	未收录	未收录	2025-05-20 · model_announcement	LLM Stats
Qwen2.5-Coder 7B Instruct	0.401	未收录	未收录	2024-09-19 · model_announcement	LLM Stats
North Micro Vision Instruct	0.307	未收录	未收录	2026-08-12 · model_announcement	LLM Stats
ERNIE 4.5	0.16	未收录	未收录	2025-06-25 · model_announcement	LLM Stats
Gemma 3 1B	0.147	未收录	未收录	2025-03-12 · model_announcement	LLM Stats

其他来源中的相关记录

MMLU-Pro

更有挑战的选择题

总分之外还要看学科

从生成文字到选项判定

推理提示属于评测协议

广泛知识考试仍有任务边界

已收录的评测资料

从这些资料开始

关注度快照

评测信息与证据

报告成绩 134

相关评测探索

继续阅读

Navers Lab / Einsia：六个评测分别测什么

AI 评测与排行榜，分别告诉你什么

怎样比较 AI 评测成绩，避免混用评测口径

四个新 Agent 评测：适应变化、安全执行与视频交付

继续探索

其他来源中的相关记录