AI 评测与排行榜,分别告诉你什么
分清评测基准、一次评测运行与排行榜,用它们回答各自适合的问题。
LLM Stats
A challenging multi-language coding benchmark that evaluates models' code editing abilities across C++, Go, Java, JavaScript, Python, and Rust. Contains 225 of Exercism's most difficult programming problems, selected as problems that were solved by 3 or fewer out of 7 top coding models. The benchmark focuses on code editing tasks and measures both correctness of solutions and proper edit format usage. Designed to re-calibrate evaluation scales so top models score between 5-50%.
本站保留来源报告的结果,不代表独立复测。请先核对任务版本、评测协议、分数单位和报告日期;不同运行条件不能直接合并为统一排名。
按来源中的观察顺序展示,顺序不代表排名。日期保留原始精度。
| 模型 | 数值 | 单位 | 协议 | 报告日期与口径 | 来源 |
|---|---|---|---|---|---|
| DeepSeek-V3 | 0.797 | 未收录 | 未收录 | 2024-12-25 · model_announcement | LLM Stats |
| Gemini 2.5 Pro | 0.727 | 未收录 | 未收录 | 2025-05-20 · model_announcement | LLM Stats |
| o3-mini | 0.604 | 未收录 | 未收录 | 2025-01-30 · model_announcement | LLM Stats |
| o4-mini | 0.582 | 未收录 | 未收录 | 2025-04-16 · model_announcement | LLM Stats |
| Gemini 2.5 Flash | 0.567 | 未收录 | 未收录 | 2025-05-20 · model_announcement | LLM Stats |
| GPT-4.1 | 0.529 | 未收录 | 未收录 | 2025-04-14 · model_announcement | LLM Stats |
| GPT-4.5 | 0.449 | 未收录 | 未收录 | 2025-02-27 · model_announcement | LLM Stats |
| GPT-4.1 mini | 0.316 | 未收录 | 未收录 | 2025-04-14 · model_announcement | LLM Stats |
| GPT-4o | 0.182 | 未收录 | 未收录 | 2024-08-06 · model_announcement | LLM Stats |
| GPT-4.1 nano | 0.062 | 未收录 | 未收录 | 2025-04-14 · model_announcement | LLM Stats |