对应 arXiv v1 的 20 题、520 次运行实验。模型与推理强度的组合分别保留；跨配置汇总使用不同分母。
迁移整个仓库
20 个固定版本的开源仓库包含七项语言重写、七项框架重写、三项平台移植与三项构建工具迁移，每次尝试预算 6–30 小时。原 API、交付产物与可观察行为要保持一致，旧技术栈则应从交付实现中退出。
SWE Refactor Bench paper v1 · protocol and validity analysis · Official tasks · budgets and corpus coverage
三道验收关
首先通过源码审计判断迁移是否发生，每项条件由三次判定多数表决。然后要求题目适用的固定检查全部通过，全题集共 130,118 项。最后六个编程 Agent 各用一小时寻找原版通过、提交版失败且可重复三次的测试。
SWE Refactor Bench paper v1 · protocol and validity analysis · Official repository · scoring and pinned clients
综合分不等于验收通过率
迁移门槛或任一必要固定检查失败，任务得零分；否则先得 40 分，每有一个验证 Agent 找不到反例再得 10 分。榜单对各题的 0–100 综合分求平均。完全验收更严格：必须抵御全部六个验证 Agent。
SWE Refactor Bench paper v1 · protocol and validity analysis · Official repository · scoring and pinned clients
完整推理配置成绩
论文表 3 包含全部 26 个配置。行为检查通过率与成本属于不同指标，不能替代综合分。
| 模型 | 运行框架 | 推理强度 | 行为通过率（%） | 综合分（/100） | 每题 API 美元 |
|---|---|---|---|---|---|
| Claude Opus 5 | Claude Code | low | 92.5 | 20.5 | 34.8 |
| Claude Opus 5 | Claude Code | medium | 92.7 | 28.5 | 38.4 |
| Claude Opus 5 | Claude Code | high | 92.8 | 34.5 | 55.7 |
| Claude Opus 5 | Claude Code | xhigh | 92.8 | 47.0 | 74.9 |
| Claude Opus 5 | Claude Code | max | 91.9 | 31.0 | 72.4 |
| GPT-5.6 Sol | Codex | none | 63.6 | 4.0 | 2.9 |
| GPT-5.6 Sol | Codex | low | 62.0 | 7.0 | 5.9 |
| GPT-5.6 Sol | Codex | medium | 70.8 | 6.5 | 6.0 |
| GPT-5.6 Sol | Codex | high | 74.0 | 19.0 | 7.7 |
| GPT-5.6 Sol | Codex | xhigh | 73.5 | 9.5 | 19.1 |
| GPT-5.6 Sol | Codex | max | 84.1 | 28.5 | 143.5 |
| Kimi K3 | Claude Code | max | 93.9 | 19.5 | 28.9 |
| Claude Sonnet 5 | Claude Code | low | 79.2 | 4.0 | 4.4 |
| Claude Sonnet 5 | Claude Code | medium | 73.9 | 15.0 | 11.9 |
| Claude Sonnet 5 | Claude Code | high | 85.6 | 6.0 | 24.6 |
| Claude Sonnet 5 | Claude Code | xhigh | 76.5 | 9.0 | 27.0 |
| Claude Sonnet 5 | Claude Code | max | 84.3 | 8.5 | 27.5 |
| GPT-5.6 Luna | Codex | none | 66.4 | 4.0 | 1.6 |
| GPT-5.6 Luna | Codex | low | 58.3 | 4.0 | 1.7 |
| GPT-5.6 Luna | Codex | medium | 66.6 | 0.0 | 1.7 |
| GPT-5.6 Luna | Codex | high | 75.6 | 4.0 | 1.8 |
| GPT-5.6 Luna | Codex | xhigh | 83.8 | 5.5 | 2.9 |
| GPT-5.6 Luna | Codex | max | 89.1 | 10.5 | 2.8 |
| Qwen 3.8 Max | Claude Code | max | 74.7 | 10.0 | 14.5 |
| DeepSeek V4 Flash | Claude Code | max | 90.7 | 7.0 | 4.3 |
| GLM 5.2 | Claude Code | max | 85.2 | 6.5 | 17.5 |
行为检查平均通过率不等于完全验收的迁移比例。GPT 模型使用 Codex，其余使用 Claude Code；成本是这批实验报告的值。
Paper v1 Table 3 · all 26 configurations · Official leaderboard · configuration and pooled summaries
区分跨配置均值与最佳配置
官网还将同一模型的全部运行合并。闭源模型覆盖五或六档推理强度，开放权重模型各仅一档；这与比较最佳配置回答的是不同问题。
| 模型 | 客户端 | 配置数 | 运行数 | 完全验收数 | 综合分（/100） |
|---|---|---|---|---|---|
| claude-opus-5 | Claude Code | 5 | 100 | 16 | 32.30 |
| gpt-5.6-sol | Codex CLI | 6 | 120 | 5 | 12.42 |
| claude-sonnet-5 | Claude Code | 5 | 100 | 3 | 8.50 |
| gpt-5.6-luna | Codex CLI | 6 | 120 | 0 | 4.67 |
| kimi-k3 | Claude Code | 1 | 20 | 2 | 19.50 |
| qwen3.8-max | Claude Code | 1 | 20 | 2 | 10.00 |
| dsv4-flash | Claude Code | 1 | 20 | 0 | 7.00 |
| glm-5.2 | Claude Code | 1 | 20 | 0 | 6.50 |
推理强度组合与分母不同，不能当成同一协议，也不是新增的独立实验。
通过仍有边界
每题一次尝试不能建立重复运行的可靠性。迁移审计依赖模型判断，可能与人工有分歧，论文对此专门复核。六个验证 Agent 在一小时内未找到差异，只说明该组合与预算下的检查结果，并不构成程序等价性的证明。
SWE Refactor Bench paper v1 · protocol and validity analysis · Official leaderboard · configuration and pooled summaries