VKnowU

尽管多模态大型语言模型（MLLMs）在识别物体方面已相当熟练，但它们往往缺乏对世界潜在物理和社会原则的直觉的、类似人类的理解。这种高级的、基于视觉的语义，我们称之为视觉知识，其构成了感知与推理之间的桥梁。为了系统地评估这种能力，我们提出了 VKnowU，一个包含 1,249 个视频、1,680 个问题的综合基准，涵盖了 8 种核心类型的视觉知识，既包括以世界为中心的（例如直觉物理），也包括以人类为中心的任务（例如主观意图）。