AI EVALUATION, IN CONTEXT.BY EQUALITY MACHINE
Benchmark Radar.Benchmarks. Model results. Original sources.
/

多模态评测

看清评测实际使用了哪些图像、文字、音频或视频组合。

多模态评测关注需要利用多种信息形式的任务。读图表既要识别视觉标记，也要把它们与问题联系起来；理解视频还可能需要追踪事件随时间的变化。仅有“多模态”标签，并不能说明使用了哪些模态。例如，MMMU 关注多个学科中文字与图像结合的问题，不能替代语音或视频评测。

这些评测测量什么

  • 感知任务询问看到了或听到了什么；推理任务询问这些证据能够推出什么。
  • 文档和图解任务可能依赖版面、小字、空间关系或专业符号。
  • 交互任务在理解视觉输入之外，还增加了动作与状态变化。

如何阅读结果

  • 核对输入模态与预处理，包括图像分辨率、裁剪、OCR 和视频抽帧方式。
  • 如果评测提供错误分类，应区分感知错误和推理错误。
  • 核对答案格式与评分器；选择题准确率、自由文本评分和动作成功率衡量的是不同结果。

需要留意的限制

  • 综合分数可能掩盖某种模态或某个学科上的弱点。
  • 额外提供提取后的文字或界面元数据，会显著改变任务；不能默认所有运行都只看像素。

参考资料

  1. MMMU official project
  2. OSWorld input settings and task environment

浏览此类评测 372 条来源记录

搜索并筛选这些评测

相关专题

电脑操作评测推理与数学评测科学评测