OpenCompass Hub

MMAR

MMAR是一个全新评测基准，旨在评估音频-语言模型（ALMs）的深度推理能力。该基准包含1,000个精心构建的音频与问答，并经过多轮纠错与质量校验以确保高标准。与现有局限于特定声音、音乐或语音领域的评测体系不同，MMAR覆盖现实场景中的混合模态，并采用四级分层分类体系（信号层、感知层、语义层与文化层）。该基准中的每个题目都需要超越表层理解的多层次深度推理，部分问题更要求研究生级别的专业领域知识与感知能力。我们在MMAR上评估了多类模型，测试结果表明该基准具有显著挑战性，分析结果进一步揭示了当前模型在理解与推理能力上的关键局限。我们期待MMAR能推动这个重要但尚未充分探索的研究领域的发展。