AI EVALUATION, IN CONTEXT.BY EQUALITY MACHINE

Model reports

MMLU-Pro

Static closed-set multiple choice; contamination risk rises over time.

评测信息与证据

来源
Model reports
发布者
未收录
评测发布日期
2024-06-03
采集日期
未收录
模态
未收录

本站保留来源报告的结果,不代表独立复测。请先核对任务版本、评测协议、分数单位和报告日期;不同运行条件不能直接合并为统一排名。

原始资料

报告成绩 8

按来源中的观察顺序展示,顺序不代表排名。日期保留原始精度。

模型数值单位协议报告日期与口径来源
DeepSeek-R184.0percentEM2025-01-22 · document_publicationDeepSeek-R1
DeepSeek-V375.9percentEM, 8K output limit2024-12-27 · document_publicationDeepSeek-V3
DeepSeek-V4-Pro82.9percentnon-think2026-04-22 · document_publicationDeepSeek-V4-Pro
DeepSeek-V4-Pro87.1percentthink high2026-04-22 · document_publicationDeepSeek-V4-Pro
DeepSeek-V4-Pro87.5percentthink max2026-04-22 · document_publicationDeepSeek-V4-Pro
DeepSeek-V4-Flash87.5percentthink max2026-06-25 · document_publicationDeepSeek-V4
Gemma 4 (31B)85.2percentas reported2026-03-11 · document_publicationGemma 4 (31B)
Qwen3.5-397B-A17B87.8percentthinking (temp 0.6, top_p 0.95, top_k 20)2026-02-16 · document_publicationQwen3.5-397B-A17B