AI 评测与排行榜,分别告诉你什么
分清评测基准、一次评测运行与排行榜,用它们回答各自适合的问题。
OpenCompass Hub
SWE-bench-Live 是一个面向大语言模型(LLMs)和智能体的实时可更新评测基准,专注于真实世界软件开发中的问题修复任务。 该基准从 2024 年以来的 GitHub 活跃仓库中自动收集了 1,319 个问题修复任务,涵盖 93 个项目,并为每个任务提供可复现的 Docker 执行环境。
本站保留来源报告的结果,不代表独立复测。请先核对任务版本、评测协议、分数单位和报告日期;不同运行条件不能直接合并为统一排名。
本来源记录尚未收录数值成绩。这不表示模型得分为零,也不表示该评测没有公开成绩;请查阅原始资料。