MMLU-Redux

Error-corrected MMLU subset; reported mainly by open-weight cards.

评测信息与证据

本站保留来源报告的结果，不代表独立复测。请先核对任务版本、评测协议、分数单位和报告日期；不同运行条件不能直接合并为统一排名。

按来源中的观察顺序展示，顺序不代表排名。日期保留原始精度。

模型	数值	单位	协议	报告日期与口径	来源
DeepSeek-R1	92.9	percent	EM	2025-01-22 · document_publication	DeepSeek-R1
DeepSeek-V3	89.1	percent	EM, 8K output limit	2024-12-27 · document_publication	DeepSeek-V3
Qwen3.5-397B-A17B	94.9	percent	thinking (temp 0.6, top_p 0.95, top_k 20)	2026-02-16 · document_publication	Qwen3.5-397B-A17B
Qwen3-235B-A22B (Thinking)	92.7	percent	thinking mode	2025-05-14 · document_publication	Qwen3