OpenCompass Hub

MMSI-Bench

MMSI-Bench 是一个全新的多模态空间智能视觉问答（VQA）基准数据集，专为评估多图像空间推理能力而设计。与专注于单图像关系推理的传统数据集不同，MMSI-Bench 更贴近现实世界，聚焦于需在多张图像之间进行逻辑推理的复杂场景。该数据集由六位三维视觉专家耗时超过300小时构建，精心整理出包含1,000个高质量选择题的问题集，题目来自12万余张图像，并附有精心设计的误导选项与逐步推理过程。对34个主流开源和闭源多模态大语言模型的实证评估显示：最先进的模型准确率仅为30%至40%，而人类表现高达97%，揭示该任务的巨大挑战性与模型发展空间。此外，MMSI-Bench 配套提供自动化错误分析