AI 评测与排行榜,分别告诉你什么
分清评测基准、一次评测运行与排行榜,用它们回答各自适合的问题。
LLM Stats
A coding benchmark that evaluates LLMs on 225 challenging Exercism programming exercises across C++, Go, Java, JavaScript, Python, and Rust. Models receive two attempts to solve each problem, with test error feedback provided after the first attempt if it fails. The benchmark measures both initial problem-solving ability and capacity to edit code based on error feedback, providing an end-to-end evaluation of code generation and editing capabilities across multiple programming languages.
本站保留来源报告的结果,不代表独立复测。请先核对任务版本、评测协议、分数单位和报告日期;不同运行条件不能直接合并为统一排名。
按来源中的观察顺序展示,顺序不代表排名。日期保留原始精度。
| 模型 | 数值 | 单位 | 协议 | 报告日期与口径 | 来源 |
|---|---|---|---|---|---|
| GPT-5 | 0.88 | 未收录 | 未收录 | 2025-08-07 · model_announcement | LLM Stats |
| Gemini 2.5 Pro Preview 06-05 | 0.822 | 未收录 | 未收录 | 2025-06-05 · model_announcement | LLM Stats |
| o3 | 0.813 | 未收录 | 未收录 | 2025-04-16 · model_announcement | LLM Stats |
| Gemini 2.5 Pro | 0.765 | 未收录 | 未收录 | 2025-05-20 · model_announcement | LLM Stats |
| DeepSeek-V3.2-Exp | 0.745 | 未收录 | 未收录 | 2025-09-29 · model_announcement | LLM Stats |
| DeepSeek-R1-0528 | 0.716 | 未收录 | 未收录 | 2025-05-28 · model_announcement | LLM Stats |
| o4-mini | 0.689 | 未收录 | 未收录 | 2025-04-16 · model_announcement | LLM Stats |
| DeepSeek-V3.1 | 0.684 | 未收录 | 未收录 | 2025-01-10 · model_announcement | LLM Stats |
| o3-mini | 0.667 | 未收录 | 未收录 | 2025-01-30 · model_announcement | LLM Stats |
| Gemini 2.5 Flash | 0.619 | 未收录 | 未收录 | 2025-05-20 · model_announcement | LLM Stats |
| Qwen3-Coder 480B A35B Instruct | 0.618 | 未收录 | 未收录 | 2025-01-31 · model_announcement | LLM Stats |
| Kimi K2-Instruct-0905 | 0.6 | 未收录 | 未收录 | 2025-09-05 · model_announcement | LLM Stats |
| Kimi K2 Instruct | 0.6 | 未收录 | 未收录 | 2025-07-11 · model_announcement | LLM Stats |
| Qwen3-235B-A22B-Instruct-2507 | 0.573 | 未收录 | 未收录 | 2025-07-22 · model_announcement | LLM Stats |
| GPT-4.1 | 0.516 | 未收录 | 未收录 | 2025-04-14 · model_announcement | LLM Stats |
| Qwen3-Next-80B-A3B-Instruct | 0.498 | 未收录 | 未收录 | 2025-09-10 · model_announcement | LLM Stats |
| DeepSeek-V3 | 0.496 | 未收录 | 未收录 | 2024-12-25 · model_announcement | LLM Stats |
| Magistral Medium | 0.471 | 未收录 | 未收录 | 2025-06-10 · model_announcement | LLM Stats |
| GPT-4.1 mini | 0.347 | 未收录 | 未收录 | 2025-04-14 · model_announcement | LLM Stats |
| GPT-4o | 0.307 | 未收录 | 未收录 | 2024-08-06 · model_announcement | LLM Stats |
| Gemini 2.5 Flash-Lite | 0.267 | 未收录 | 未收录 | 2025-06-17 · model_announcement | LLM Stats |
| GPT-4.1 nano | 0.098 | 未收录 | 未收录 | 2025-04-14 · model_announcement | LLM Stats |