OpenCompass Hub

ArtifactsBench

rtifactsBench 是一个专注于弥合传统代码评测中“视觉-交互”鸿沟的新型基准。它旨在全面评估大语言模型（LLM）生成动态可视化与交互式代码的能力，而非仅仅考核算法正确性。 该基准包含1825个真实世界的任务，并开创了一套自动化多模态评估流程：系统会自动渲染代码、捕捉其视觉与交互行为，再由一个多模态大模型（MLLM）依据详细清单进行评分。该流程与人类专家判断的一致性高达94.4%，证明了其高度可靠性。 ArtifactsBench 已将数据集、评估框架及工具链完全开源，为社区提供了一个可扩展且精准的工具，以推动能创造丰富用户体验的新一代生成模型的发展。