OpenCompass Hub

IQBench

IQBench是一个新基准测试，旨在通过标准化视觉智商测试评估视觉语言模型（VLMs）的流体智力。该基准包含500个手动收集和注释的视觉智商问题，涵盖模式识别、类比推理、视觉算术、空间理解等多个领域。与以往仅关注最终答案准确性的基准不同，IQBench强调对模型推理能力的评估，采用双重评估框架：准确性评分和推理评分。实验表明，即使是性能最高的模型（如o4mini、gemini2.5flash和claude3.7sonnet），在3D空间和字母重组任务上也表现出明显不足，凸显了当前VLMs在通用推理能力上的局限性。IQBench为开发更透明、更具认知能力的多模态系统奠定了基础。