AI EVALUATION, IN CONTEXT.BY EQUALITY MACHINE

LLM Stats

Natural2Code

NaturalCodeBench (NCB) is a challenging code benchmark designed to mirror the complexity and variety of real-world coding tasks. It comprises 402 high-quality problems in Python and Java, selected from natural user queries from online coding services, covering 6 different domains.

评测信息与证据

来源
LLM Stats
发布者
未收录
评测发布日期
未收录
采集日期
2026-08-17
模态
text

本站保留来源报告的结果,不代表独立复测。请先核对任务版本、评测协议、分数单位和报告日期;不同运行条件不能直接合并为统一排名。

原始资料

报告成绩 8

按来源中的观察顺序展示,顺序不代表排名。日期保留原始精度。

模型数值单位协议报告日期与口径来源
Gemini 2.0 Flash0.929未收录未收录2024-12-01 · model_announcementLLM Stats
Gemini 1.5 Pro0.854未收录未收录2024-05-01 · model_announcementLLM Stats
Gemma 3 27B0.845未收录未收录2025-03-12 · model_announcementLLM Stats
Gemma 3 12B0.807未收录未收录2025-03-12 · model_announcementLLM Stats
Gemini 1.5 Flash0.798未收录未收录2024-05-01 · model_announcementLLM Stats
Gemini 1.5 Flash 8B0.755未收录未收录2024-03-15 · model_announcementLLM Stats
Gemma 3 4B0.703未收录未收录2025-03-12 · model_announcementLLM Stats
Gemma 3 1B0.56未收录未收录2025-03-12 · model_announcementLLM Stats