OpenCompass Hub

SWE-Factory

SWE-Factory 是一个面向大型语言模型的软件问题修复评测基准，旨在提升构建效率与评估准确性。该基准集成多智能体系统 SWE-Builder 自动搭建任务环境，采用退出码自动评分，并通过 fail2pass 流程验证修复有效性，确保评测可靠。SWE-Factory 覆盖四种语言共 671 个问题，支持高效、自动化、可扩展的 LLM 评估流程。