AI EVALUATION, IN CONTEXT.BY EQUALITY MACHINE

LLM Stats

SWE-Lancer

A benchmark for evaluating large language models on real-world freelance software engineering tasks from Upwork. Contains over 1,400 tasks valued at $1 million USD total, ranging from $50 bug fixes to $32,000 feature implementations. Includes both independent engineering tasks graded via end-to-end tests and managerial tasks assessed against original engineering managers' choices.

评测信息与证据

来源
LLM Stats
发布者
未收录
评测发布日期
未收录
采集日期
2026-08-17
模态
text

本站保留来源报告的结果,不代表独立复测。请先核对任务版本、评测协议、分数单位和报告日期;不同运行条件不能直接合并为统一排名。

原始资料

报告成绩 4

按来源中的观察顺序展示,顺序不代表排名。日期保留原始精度。

模型数值单位协议报告日期与口径来源
GPT-5.1 Codex0.663未收录未收录2025-11-19 · model_announcementLLM Stats
GPT-4.50.373未收录未收录2025-02-27 · model_announcementLLM Stats
GPT-4o0.326未收录未收录2024-08-06 · model_announcementLLM Stats
o3-mini0.18未收录未收录2025-01-30 · model_announcementLLM Stats