OpenCompass Hub

OSS-Bench

OSS-Bench，这是一个基准生成器，它可以从真实的开源软件中自动构建大规模的实时评估任务。OSS-Bench 将函数替换为 LLM 生成的代码，并使用三个自然指标（可编译性、功能正确性和内存安全性）对其进行评估，并利用编译失败、测试套件违规和Sanitizer警报等稳健信号作为基准事实。