OpenCompass Hub

GMAIMMBench

GMAI-MMBench 是目前最全面、结构化最完善的通用医学人工智能（GMAI）基准数据集，专为评估大规模视觉语言模型（LVLMs）在医疗领域中的表现而设计。针对现有医学基准通常局限于特定学科、感知粒度单一的问题，GMAI-MMBench 从285个真实医学数据集构建而成，涵盖39种医学影像模态、18个临床任务、18个医学科室，以及4种不同的感知粒度。所有任务采用视觉问答（VQA）形式组织，具备良好的交互性和通用性。其独特的词汇树结构允许用户针对具体研究需求灵活定制评估路径，支持多样化的评测场景。我们对50个主流LVLMs进行了系统测试，发现即使是目前最先进的 GPT-4o，其准确率也仅为5