OpenCompass Hub

MORSE-500

当前多模态推理基准存在三大不足：依赖静态图像、偏重数学解题、易饱和。为此，我们提出MORSE-500视频基准：包含500个脚本化视频片段，涵盖抽象、物理、规划、空间、时间、数学六类推理问题。其核心在于程序化生成（使用Manim、Matplotlib等），可精确控制视觉复杂度、干扰物密度和时序动态，从而系统化提升难度。与易过时的静态基准不同，MORSE-500具备可持续演进能力，其可控生成流程能无限创建新挑战实例。在顶尖模型（Gemini 2.5 Pro、OpenAI o3等）上的测试揭示了显著性能差距，尤其在抽象和规划任务上。我们开源数据集、生成脚本及评估工具，以促进透明、可复现的前沿研究。