Datacurve 的 DeepSWE v1 / v1.1。两版使用同一批任务，但 v1.1 调整了验证流程；比较成绩时须确认版本。
Agent 实际要做什么
Datacurve 的题集包含 113 道任务，覆盖 91 个仓库和五种编程语言。Agent 从固定版本的代码出发，自行探索并实现需求。例如，HTTPX 题目要求增量解析 JSON 流，同时支持同步与异步接口。
Datacurve · DeepSWE introduction and methodology · Official task · HTTPX streaming JSON
怎样才算通过
v1.1 只提取已提交的补丁，在全新的验证容器中执行测试。判分依据是功能行为和指定的回归测试，而非代码与参考解的相似度。要求的测试必须通过；部分测试通过可用于分析失败，但不等于任务获得部分分数。
Datacurve · DeepSWE v1.1 verification changes · Official verifier · Required behavior and regression tests
区分 pass@1 与 pass@4
论文中的 pass@1 先计算每道题多次独立尝试的通过比例，再对所有题取平均；pass@4 则看每题最多四次尝试中是否至少成功一次。比较时应对齐版本、Agent 框架与预算，并结合误差区间理解小幅分差。
适合用来观察什么
结合题面与执行轨迹，可以观察仓库探索、功能集成和需求遗漏。官方采用 mini-swe-agent，为模型提供共同的 bash 接口；这并不能完整代表各模型在原生编程产品中的体验。
通过评测仍不能说明什么
二元测试不能覆盖可维护性与正确性的所有方面。论文将 LLM 辅助复审视为补充判断，而非真值。原创任务减少了对既有公开补丁的依赖，但题目公开后仍可能进入后续训练资料。
结合验证器审计阅读榜单
独立评审指出 v1.1 仍有验证器问题，包括隐藏测试与 Agent 自写测试发生冲突。这些属于特定版本的审计发现，不能直接换算成新的模型排名。遇到低分时，应同时检查失败的测试和提交的代码。
Independent audit · DeepSWE v1.1 issue #52 · Samaritan Research · DeepSWE v1.1 benchmark review