OpenCompass Hub
BigCodeBench用于评估LLM的代码生成能力,包含1140个可以调用139个库和7个域的多个函数来完成的细粒度任务。
本站保留来源报告的结果,不代表独立复测。请先核对任务版本、评测协议、分数单位和报告日期;不同运行条件不能直接合并为统一排名。
本来源记录尚未收录数值成绩。这不表示模型得分为零,也不表示该评测没有公开成绩;请查阅原始资料。
分清评测基准、一次评测运行与排行榜,用它们回答各自适合的问题。
按顺序核对任务版本、指标、工具、预算、不确定性和报告来源的实用方法。
先把智能体的工作对应到可验证结果,再选择一组覆盖不同失败方式的评测。