AI 评测与排行榜，分别告诉你什么
分清评测基准、一次评测运行与排行榜，用它们回答各自适合的问题。
LLM Stats
SimpleQA
SimpleQA is a factuality benchmark developed by OpenAI that measures the short-form factual accuracy of large language models. The benchmark contains 4,326 short, fact-seeking questions that are adversarially collected and designed to have single, indisputable answers. Questions cover diverse topics from science and technology to entertainment, and the benchmark also measures model calibration by evaluating whether models know what they know.
评测信息与证据
- 来源
- LLM Stats
- 发布者
- OpenAI
- 评测发布日期
- 2024-10-30
- 采集日期
- 2026-08-17
- 模态
- text
本站保留来源报告的结果，不代表独立复测。请先核对任务版本、评测协议、分数单位和报告日期；不同运行条件不能直接合并为统一排名。
原始资料
报告成绩 47
按来源中的观察顺序展示，顺序不代表排名。日期保留原始精度。
| 模型 | 数值 | 单位 | 协议 | 报告日期与口径 | 来源 |
|---|---|---|---|---|---|
| DeepSeek-V3.2-Exp | 0.971 | 未收录 | 未收录 | 2025-09-29 · model_announcement | LLM Stats |
| Grok 4 Fast | 0.95 | 未收录 | 未收录 | 2025-08-28 · model_announcement | LLM Stats |
| DeepSeek-V3.1 | 0.934 | 未收录 | 未收录 | 2025-01-10 · model_announcement | LLM Stats |
| DeepSeek-R1-0528 | 0.923 | 未收录 | 未收录 | 2025-05-28 · model_announcement | LLM Stats |
| ERNIE 5.0 | 0.75 | 未收录 | 未收录 | 2026-01-22 · model_announcement | LLM Stats |
| Gemini 3 Pro | 0.721 | 未收录 | 未收录 | 2025-11-18 · model_announcement | LLM Stats |
| Gemini 3 Flash | 0.687 | 未收录 | 未收录 | 2025-12-17 · model_announcement | LLM Stats |
| GPT-4.5 | 0.625 | 未收录 | 未收录 | 2025-02-27 · model_announcement | LLM Stats |
| DeepSeek-V4-Pro-Max | 0.579 | 未收录 | 未收录 | 2026-04-23 · model_announcement | LLM Stats |
| Qwen3 VL 32B Thinking | 0.554 | 未收录 | 未收录 | 2025-09-22 · model_announcement | LLM Stats |
| Qwen3-235B-A22B-Instruct-2507 | 0.543 | 未收录 | 未收录 | 2025-07-22 · model_announcement | LLM Stats |
| Gemini 2.5 Pro Preview 06-05 | 0.54 | 未收录 | 未收录 | 2025-06-05 · model_announcement | LLM Stats |
| Qwen3 VL 235B A22B Instruct | 0.519 | 未收录 | 未收录 | 2025-09-22 · model_announcement | LLM Stats |
| Gemini 2.5 Pro | 0.508 | 未收录 | 未收录 | 2025-05-20 · model_announcement | LLM Stats |
| Qwen3 VL 8B Thinking | 0.496 | 未收录 | 未收录 | 2025-09-22 · model_announcement | LLM Stats |
| Qwen3 VL 4B Instruct | 0.48 | 未收录 | 未收录 | 2025-09-22 · model_announcement | LLM Stats |
| o1 | 0.47 | 未收录 | 未收录 | 2024-12-17 · model_announcement | LLM Stats |
| Qwen3 VL 235B A22B Thinking | 0.444 | 未收录 | 未收录 | 2025-09-22 · model_announcement | LLM Stats |
| Gemini 3.1 Flash-Lite | 0.433 | 未收录 | 未收录 | 2026-03-03 · model_announcement | LLM Stats |
| o1-preview | 0.424 | 未收录 | 未收录 | 2024-09-12 · model_announcement | LLM Stats |
| GPT-4o | 0.382 | 未收录 | 未收录 | 2024-08-06 · model_announcement | LLM Stats |
| Kimi K2 Base | 0.353 | 未收录 | 未收录 | 2025-07-11 · model_announcement | LLM Stats |
| DeepSeek-V4-Flash-Max | 0.341 | 未收录 | 未收录 | 2026-04-23 · model_announcement | LLM Stats |
| Kimi K2-Instruct-0905 | 0.31 | 未收录 | 未收录 | 2025-09-05 · model_announcement | LLM Stats |
| Kimi K2 Instruct | 0.31 | 未收录 | 未收录 | 2025-07-11 · model_announcement | LLM Stats |
| DeepSeek-V4-Flash-0423 | 0.289 | 未收录 | 未收录 | 2026-04-23 · model_announcement | LLM Stats |
| Qwen3 VL 30B A3B Instruct | 0.27 | 未收录 | 未收录 | 2025-09-22 · model_announcement | LLM Stats |
| Gemini 2.5 Flash | 0.269 | 未收录 | 未收录 | 2025-05-20 · model_announcement | LLM Stats |
| DeepSeek-V3 | 0.249 | 未收录 | 未收录 | 2024-12-25 · model_announcement | LLM Stats |
| Qwen3 VL 30B A3B Thinking | 0.239 | 未收录 | 未收录 | 2025-09-22 · model_announcement | LLM Stats |
| Mistral Large 3 (675B Instruct 2512 Eagle) | 0.238 | 未收录 | 未收录 | 2025-12-04 · model_announcement | LLM Stats |
| Mistral Large 3 (675B Instruct 2512 NVFP4) | 0.238 | 未收录 | 未收录 | 2025-12-04 · model_announcement | LLM Stats |
| Mistral Large 3 (675B Base) | 0.238 | 未收录 | 未收录 | 2025-12-04 · model_announcement | LLM Stats |
| Mistral Large 3 (675B Instruct 2512) | 0.238 | 未收录 | 未收录 | 2025-12-04 · model_announcement | LLM Stats |
| Gemini 2.0 Flash-Lite | 0.217 | 未收录 | 未收录 | 2025-02-05 · model_announcement | LLM Stats |
| MiniMax M1 80K | 0.185 | 未收录 | 未收录 | 2025-06-16 · model_announcement | LLM Stats |
| MiniMax M1 40K | 0.179 | 未收录 | 未收录 | 2025-06-16 · model_announcement | LLM Stats |
| o3-mini | 0.15 | 未收录 | 未收录 | 2025-01-30 · model_announcement | LLM Stats |
| Mistral Small 3.2 24B Instruct | 0.121 | 未收录 | 未收录 | 2025-06-20 · model_announcement | LLM Stats |
| Gemini 2.5 Flash-Lite | 0.107 | 未收录 | 未收录 | 2025-06-17 · model_announcement | LLM Stats |
| Mistral Small 3.1 24B Instruct | 0.1043 | 未收录 | 未收录 | 2025-03-17 · model_announcement | LLM Stats |
| Gemma 3 27B | 0.1 | 未收录 | 未收录 | 2025-03-12 · model_announcement | LLM Stats |
| Gemma 3 12B | 0.063 | 未收录 | 未收录 | 2025-03-12 · model_announcement | LLM Stats |
| Gemma 3 4B | 0.04 | 未收录 | 未收录 | 2025-03-12 · model_announcement | LLM Stats |
| Phi 4 | 0.03 | 未收录 | 未收录 | 2024-12-12 · model_announcement | LLM Stats |
| Gemma 3 1B | 0.022 | 未收录 | 未收录 | 2025-03-12 · model_announcement | LLM Stats |
| ERNIE 4.5 | 0.018 | 未收录 | 未收录 | 2025-06-25 · model_announcement | LLM Stats |