范围为 GameASG-Bench 原论文 v1 及固定版本的公开实现。各表保留作者结果和实验设置，AI Benchmark Radar 未重新运行这些实验。
交付物：完整的浏览器游戏
47 道任务要求各交付一个可运行的 index.html，覆盖 12 类游戏，其中 32 个为 2D、15 个为 3D。Agent 获得 target.md、game-spec.md 和 tdd.md。自有代码须包含在 HTML 中，仅可按任务要求引用 CDN 库；评估时不会提供本地配套素材。
GameASG-Bench · Task format and execution guide (pinned release)
测试接口必须连接真实玩法
window.__gameTest 约定提供 reset、loadScenario、input 和 getSnapshot。场景加载只建立合法起点，待测结果仍须由玩家操作触发；接口必须控制画面中的真实游戏，不能另建一套只为通过检查而更新的状态。
GameASG-Bench · Armor Alley public gameplay contract (pinned release)
检查层与需求优先级
L1 检查交付源码；L2 在 Chromium 中运行游戏，通过准备场景、执行操作和观察结果进行验证，每项检查使用新页面。P0 对应启动与接口前提，P1 对应必需玩法，P2 对应扩展能力。检查层说明证据来自哪里，优先级说明需求的重要程度。
GameASG-Bench · Task format and execution guide (pinned release) · GameASG-Bench · Browser check isolation and execution code
任务成功率与检查通过率分别看
严格成功要求交付经确认、评估完成、全部 L1 与全部适用的 L2 P0/P1 检查通过，不要求 P2 全过。分母固定为全部 47 道计划任务，包含失败与缺失结果。L1 和 L2 Mean 对各任务通过率取平均；优先级列合并适用检查后计算。NOT_APPLICABLE 不计入适用检查，P1 被标为不适用时也会被排除。
GameASG-Bench · Strict success, aggregation and cost estimation code · GameASG-Bench · Applicable-check and priority aggregation code
九组模型与运行框架的总体结果
九组配置均在最高推理设置下完成全部任务的评估，每道任务尝试一次。以下为作者报告的观测结果，未提供重复运行的不确定性估计。
| 模型 | 运行框架 | 严格成功：成功数/47（%） | L1 通过率 % | L2 平均通过率 % | L2 P0 通过率 % | L2 P1 通过率 % | L2 P2 通过率 % |
|---|---|---|---|---|---|---|---|
| GPT-6-Astra | Codex CLI | 26/47 (55.3) | 98.0 | 93.2 | 99.0 | 92.7 | 92.4 |
| Claude-Opus-5 | Claude Code | 24/47 (51.1) | 99.6 | 90.4 | 91.2 | 89.9 | 91.1 |
| GPT-5.6-Sol | Codex CLI | 21/47 (44.7) | 98.9 | 91.3 | 100.0 | 89.7 | 91.9 |
| DeepSeek-V4-Flash | Claude Code | 18/47 (38.3) | 99.4 | 89.3 | 98.0 | 86.7 | 90.2 |
| DeepSeek-V4-Pro | Claude Code | 15/47 (31.9) | 99.6 | 85.2 | 85.3 | 83.9 | 88.9 |
| Kimi-K3 | Claude Code | 15/47 (31.9) | 97.7 | 88.5 | 98.0 | 86.3 | 89.7 |
| GLM-5.2 | Claude Code | 11/47 (23.4) | 98.8 | 84.6 | 91.2 | 83.3 | 83.0 |
| Hunyuan-3 | Claude Code | 10/47 (21.3) | 98.3 | 81.7 | 96.1 | 78.2 | 82.3 |
| MiniMax-M3 | Claude Code | 7/47 (14.9) | 98.3 | 70.6 | 91.2 | 64.5 | 75.4 |
括号内为百分比。平均检查通过率较高，并不等于整道任务的必需检查全部通过。模型名、数值与精度保留原表口径；本站未重新运行实验。
GameASG-Bench paper v1 · Experimental settings and Tables 3–9 · GameASG-Bench · Strict success, aggregation and cost estimation code
交付文件大小与资源用量
资源均值按可用测量值计算，缺失项不按零处理。输入 token 合并输入、缓存读取和缓存写入。金额由报告脚本的固定费率估算，不含请求特定附加费与工具费用。
| 模型 | 运行框架 | 文件大小 KB | 输入 token（千） | 输出 token（千） | 估算费用 USD |
|---|---|---|---|---|---|
| GPT-6-Astra | Codex CLI | 78.82 | 896.1 | 55.5 | 4.4445 |
| Claude-Opus-5 | Claude Code | 68.52 | 12,632.6 | 142.4 | 11.8500 |
| GPT-5.6-Sol | Codex CLI | 64.67 | 1,382.5 | 45.7 | 1.7867 |
| DeepSeek-V4-Flash | Claude Code | 85.21 | 13,038.4 | 203.6 | 0.2461 |
| DeepSeek-V4-Pro | Claude Code | 90.34 | 12,944.3 | 202.9 | 0.7431 |
| Kimi-K3 | Claude Code | 57.51 | 1,263.9 | 72.3 | 2.5518 |
| GLM-5.2 | Claude Code | 60.33 | 1,067.1 | 47.0 | 0.6184 |
| Hunyuan-3 | Claude Code | 52.88 | 2,474.5 | 88.9 | 0.1779 |
| MiniMax-M3 | Claude Code | 81.76 | 4,918.9 | 71.1 | 0.4069 |
每组配置的文件大小覆盖全部 47 道任务。k 为 1,000 个 token，KB 为 1,024 字节。金额是该实验的历史估算，不代表服务商现价；不同统计方式会影响效率比较。
GameASG-Bench paper v1 · Experimental settings and Tables 3–9 · GameASG-Bench · Strict success, aggregation and cost estimation code
工具访问会改变执行流程
本组使用 DeepSeek-V4-Flash 的最高推理设置。完整工具基线使用 Claude Code、名义预算为 120 轮；无工具条件则改为序列化 API 输入。仅语法检查条件允许 node --check，但不允许浏览器。
| 工具设置 | 严格成功：成功数/47（%） | L1 通过率 % | L2 P0 通过率 % | L2 P1 通过率 % | L2 P2 通过率 % |
|---|---|---|---|---|---|
| No tools (serialized API) | 7/47 (14.9) | 98.5 | 83.3 | 65.3 | 80.1 |
| File read/write only | 6/47 (12.8) | 98.8 | 87.3 | 66.2 | 73.4 |
| Files + syntax checking | 9/47 (19.1) | 98.2 | 86.3 | 63.4 | 69.3 |
| Full tool access | 18/47 (38.3) | 99.4 | 98.0 | 86.7 | 90.2 |
各条件均完成 47 道任务评估。No tools 为序列化 API；File read/write only 为仅读写；Files + syntax checking 增加语法检查；Full tool access 为完整工具。无工具条件同时改变了输入流程，不能将差异只归因于某一种工具。
GameASG-Bench paper v1 · Experimental settings and Tables 3–9
提前停止时尤其要看分母
本组固定 DeepSeek-V4-Flash、Claude Code、完整工具和最高推理设置。条件成功率只描述进入评估的任务；全部计划任务成功率描述整个评测集上的交付情况。
| 轮数 | 已评估/计划任务 | 成功/全部计划任务（%） | 成功/已评估任务（%） | L1 通过率 % | L2 P0 通过率 % | L2 P1 通过率 % | L2 P2 通过率 % |
|---|---|---|---|---|---|---|---|
| 30 | 10/47 | 7/47 (14.9) | 7/10 (70.0) | 100.0 | 100.0 | 94.0 | 97.6 |
| 60 | 32/47 | 13/47 (27.7) | 13/32 (40.6) | 99.7 | 88.6 | 81.6 | 88.5 |
| 120 | 47/47 | 18/47 (38.3) | 18/47 (38.3) | 99.4 | 98.0 | 86.7 | 90.2 |
30 轮的 70.0% 仅指 10 道已评估任务中成功 7 道；主指标为 7/47（14.9%）。检查通过率也只覆盖已评估子集，不能把条件成功率当作全部任务均完成后的结果比较。
GameASG-Bench paper v1 · Experimental settings and Tables 3–9 · GameASG-Bench · Strict success, aggregation and cost estimation code
推理设置与 token 用量
作者在 DeepSeek-V4-Flash、Claude Code、完整工具与名义 120 轮设置下改变推理强度。阅读时应同时比较任务成功数和 token 用量。
| 推理强度 | 严格成功：成功数/47（%） | L1 通过率 % | L2 P0 通过率 % | L2 P1 通过率 % | L2 P2 通过率 % | 平均推理 token 数 |
|---|---|---|---|---|---|---|
| Low | 7/47 (14.9) | 98.3 | 93.1 | 71.7 | 80.2 | 37,699 |
| High | 19/47 (40.4) | 99.4 | 97.1 | 82.7 | 88.9 | 138,232 |
| Max | 18/47 (38.3) | 99.4 | 98.0 | 86.7 | 90.2 | 189,210 |
Low、High、Max 分别为原文的低、高、最高设置。推理 token 为各任务均值。High 与 Max 的观测差异来自单次运行，不能据此认定重复实验中仍会稳定领先。
GameASG-Bench paper v1 · Experimental settings and Tables 3–9
相同总成功数可能对应不同失败
使用 DeepSeek-V4-Flash、最高推理强度和完整工具时，两种框架的成功总数相同。其中只有 10 道任务共同成功；各有 8 道仅由其中一种框架成功完成，另有 21 道均未成功。
| 运行框架 | 严格成功：成功数/47（%） | L1 通过率 % | L2 P0 通过率 % | L2 P1 通过率 % | L2 P2 通过率 % |
|---|---|---|---|---|---|
| Claude Code | 18/47 (38.3) | 99.4 | 98.0 | 86.7 | 90.2 |
| Codex CLI | 18/47 (38.3) | 99.2 | 96.1 | 87.1 | 92.2 |
此处比较同一 47 道任务上的完整框架配置。严格成功数相同，不代表交付文件或失败模式相同。
GameASG-Bench paper v1 · Experimental settings and Tables 3–9
失败记录能揭示什么
表 9 给出两类交互缺陷：GPT-6-Astra/Codex CLI 的 Diner Dasher 虽通过 L1 与 P0/P2，真实鼠标和触摸拖动却无法推进服务流程；DeepSeek-V4-Flash/Claude Code 的 Turbo Smash Beast 在重置或加载场景后停止自然时间模拟，导致加速、滑行等检查失败。
GameASG-Bench paper v1 · Experimental settings and Tables 3–9
通过评测能说明什么
通过评测说明在这些检查下满足了公开要求，不等于游戏有趣、视觉品质优秀或已经可上线。测试代码公开，但标准生成容器不挂载它。解释比较结果时，还应保留 NOT_APPLICABLE 排除情况及模型、框架差异。
GameASG-Bench · Task format and execution guide (pinned release) · GameASG-Bench · Applicable-check and priority aggregation code · GameASG-Bench · Armor Alley public gameplay contract (pinned release)
复现时记录完整实验配置
应固定仓库版本、模型、运行框架、推理设置、工具权限与预算。运行环境固定 Claude Code 2.1.206、Codex CLI 0.153.4；默认允许一次生成尝试、3,600 秒及 120 个 Claude Code 轮次。独立实验应使用新实验 ID，已有 HTML 可能被直接重新评估。README 示例的默认配置与部分论文行不同，不能直接视为精确复现。
GameASG-Bench · Pinned runtime image · GameASG-Bench · Generation budgets and container setup · GameASG-Bench · Task format and execution guide (pinned release)