仅限 1.0 版；有发表日期的作者分析任务数量，与 2026 年 11 月 3 日读取的实时榜单分开标注。
Agent 能否改好云环境，同时保住无关业务？
CloudOpsBench 要求 Agent 在已有的 AWS 风格环境中完成操作，例如下线服务、恢复故障链路、迁移工作负载或收紧权限。题目给出目标，Agent 需要自行找出相关资源。通过既要求目标状态正确，也要求任务之外的资源保持完整。
CloudOpsBench cloud-operations task explanation · 13 October 2026 · CloudOpsBench official task repository
五类运维流程，共 45 个任务
作者将 1.0 版描述为 45 个任务。它们要求真正改变云环境状态；公开任务仓库包含初始化、题目说明、自动检查和参考解法。评测考察实际操作结果，而非云服务知识问答。
| 流程 | 任务数 |
|---|---|
| Decommissioning / 资源下线 | 13 |
| Security & access / 安全与权限 | 12 |
| Migration & deployment / 迁移与部署 | 7 |
| Configuration & monitoring / 配置与监控 | 6 |
| Repair & recovery / 修复与恢复 | 7 |
这里统计的是评测任务构成，不是模型完成数量。
CloudOpsBench author failure analysis · 2 November 2026 · CloudOpsBench official task repository
每次使用独立环境，检查最终状态
当前方法页说明：每个模型、推理力度与运行框架组合，对每题运行 4 次，计划共 180 次尝试；Agent 的 shell 时间预算为 40 分钟，并可使用 AWS CLI、boto3 和 Terraform。校验器检查云资源的实际状态，不依据最后一条文字回复判分。初始化或校验器错误单独记录；解决率的分母包含通过、失败与超时，不包含评测错误。
CloudOpsBench official evaluation method · CloudOpsBench cloud-operations task explanation · 13 October 2026
有明确发表日期的完成数量，应该怎么读
作者在 2026 年 11 月 2 日的分析文章中明确写出：Claude Fable 5.1 完成 45 题中的 29 题，GPT-6 Astra 完成 26 题。本站主成绩仅录入这两个原文数量。文章没有在这两个数字旁说明多次运行的汇总方式、推理力度或具体运行框架，因此不换算成百分比，也不将其等同于实时榜单按尝试计算的解决率。11 月 2 日是文章发表日期，不是推定的实验执行日期。
| 文章中的模型名称 | 完成任务数 | 总任务数 |
|---|---|---|
| Claude Fable 5.1 | 29 | 45 |
| GPT-6 Astra | 26 | 45 |
这两个数量对应的推理力度、框架及跨运行汇总口径未明确给出。
实时榜单：同时看推理力度和运行框架
下表保留 2026 年 11 月 3 日看到的 18 条官方榜单数据，同时列出模型名称、推理力度、运行框架、时间、token 与 API 费用。原站 Release date 列是模型发布日期，不是实验日期或成绩发表日期；页面没有给出每条汇总成绩的确切运行日期。这些缺少成绩日期的百分比保留在可追溯表格中，不给主成绩历史补造日期。
| 模型（推理力度） | 运行框架 | 解决率 | 时间 | Token | API 费用（美元） |
|---|---|---|---|---|---|
| claude-fable-5-1 (max) | claude-code | 60.6% | 38.6h | 97.9M | $404.3 |
| gpt-6-astra (max) | codex | 58.9% | 16.5h | 98.0M | $310.9 |
| gemini-4-argon (high) | gemini-cli | 57.5% | 34.2h | 173.9M | $100.5 |
| grok-4.7 (high) | cursor-cli | 56.5% | 33.2h | 178.3M | $138.8 |
| gpt-6-astra (high) | codex | 54.2% | 16.1h | 62.4M | $188.4 |
| grok-4.7 (high) | grok-build | 48.3% | 25.9h | 173.4M | $127.3 |
| claude-opus-5-5 (high) | terminus-2 | 47.8% | 19.5h | 22.6M | $45.1 |
| claude-opus-5-5 (high) | claude-code | 46.7% | 14.0h | 37.4M | $36.6 |
| claude-fable-5-1 (high) | terminus-2 | 43.8% | 19.0h | 37.3M | $319.1 |
| gemini-3.8-flash (high) | terminus-2 | 42.8% | 33.2h | 337.4M | $70.0 |
| gpt-6-astra (high) | terminus-2 | 42.8% | 12.9h | 19.2M | $94.6 |
| grok-4.7 (medium) | grok-build | 40.0% | 21.4h | 121.6M | $91.6 |
| grok-4.6 (high) | cursor-cli | 39.7% | 19.7h | 78.2M | $63.8 |
| grok-4.6 (medium) | grok-build | 36.7% | 16.2h | 59.4M | $51.2 |
| grok-4.6 (high) | grok-build | 36.1% | 17.7h | 72.0M | $61.7 |
| qwen3.8-max (high) | terminus-2 | 33.7% | 79.1h | 78.4M | $61.8 |
| deepseek-v4.1-flash (high) | terminus-2 | 21.8% | 22.2h | 68.1M | $7.5 |
| kimi-k3.1-pro (high) | terminus-2 | 19.1% | 14.8h | 7.4M | $10.7 |
保留原站显示值与精度。时间、token 和费用是该配置的榜单汇总值，不是单题价格；解决率排除评测错误。读取日期不能证明实验日期；本表百分比与上方两个任务数量属于不同指标。
CloudOpsBench official v1.0 leaderboard · CloudOpsBench official evaluation method
作者的失败分析应单独阅读
带日期的分析文章将约 80% 的失败归为推理或范围判断错误，将约 20% 归为错误行动，并称其检查集合中没有知识缺口造成的失败。这些是作者的分类和近似比例，不是独立复核，也不能推广为所有云任务的结论。每条命令执行成功，仍可能遗漏资源或破坏无关状态。
哪些材料可以查看或复现
公开仓库提供任务定义、初始化脚本、校验器和参考解法。README 说明运行框架需要使用者自行提供；检查任务结构不等于复现榜单。方法页介绍了模拟器和真实云环境，并按其披露规则公开脱敏轨迹与判分输出。Radar 本次核对的是公开资料，没有重跑云操作，也没有独立验证模拟器与真实 AWS 的等价性。
CloudOpsBench official task repository · CloudOpsBench official evaluation method