AI EVALUATION, IN CONTEXT.BY EQUALITY MACHINE

Model reports

MMMU-Pro

Harder vision-required subset of MMMU. Input image ordering changes the result, so the protocol has to travel with the number.

评测信息与证据

来源
Model reports
发布者
未收录
评测发布日期
2024-09-04
采集日期
未收录
模态
未收录

本站保留来源报告的结果,不代表独立复测。请先核对任务版本、评测协议、分数单位和报告日期;不同运行条件不能直接合并为统一排名。

原始资料

报告成绩 5

按来源中的观察顺序展示,顺序不代表排名。日期保留原始精度。

模型数值单位协议报告日期与口径来源
Gemini 3.1 Pro80.5percentThinking (High), No tools2026-02-19 · document_publicationGemini 3.1 Pro
Gemma 4 (31B)76.9percentas reported2026-03-11 · document_publicationGemma 4 (31B)
Kimi K383.4percentreasoning=max, with Python2026-06-13 · document_publicationKimi K3
Kimi K381.6percentreasoning=max, without tools2026-06-13 · document_publicationKimi K3
Qwen3.5-397B-A17B79.0percentthinking (temp 0.6, top_p 0.95, top_k 20)2026-02-16 · document_publicationQwen3.5-397B-A17B