AI EVALUATION, IN CONTEXT.BY EQUALITY MACHINE

OpenCompass Hub

VisualPuzzles

LLM 能考公务员吗?我们做了个测试… 近年来,大模型(LLM)的能力突飞猛进,似乎“越来越聪明”了。但有一个关键问题仍然摆在眼前: 🤔 它们真的会“推理”吗? 🚀 我们设计了一个名为 VisualPuzzles 🧩 的全新数据集,专门用来回答这个问题: 脱离专业知识的支持,大模型能靠逻辑本身解题吗? 我们从多个来源精心挑选或改编了 1168 道图文逻辑题,其中一个重要来源便是中国国家公务员考试行测中的逻辑推理题(没错,真·考公难度)🎯

评测信息与证据

来源
OpenCompass Hub
发布者
Carnegie Mellon University
评测发布日期
2025-04-16
采集日期
2026-08-18
模态
multimodal

本站保留来源报告的结果,不代表独立复测。请先核对任务版本、评测协议、分数单位和报告日期;不同运行条件不能直接合并为统一排名。

原始资料

报告成绩 0

本来源记录尚未收录数值成绩。这不表示模型得分为零,也不表示该评测没有公开成绩;请查阅原始资料。