arXiv 原文 v1，包含 36 项任务和九种模型／推理档位配置；提交历史日期为 2026 年 10 月 25 日，实验日期未明确。
看截图操作持续运行的游戏
LOLPlay 在《英雄联盟》原生自定义对局中，每次给智能体一个英雄专属目标。智能体读取截图和近期历史后发出鼠标、键盘动作；模型请求和动作执行期间，游戏持续运行。用于初始化和评分的 API 状态不会作为智能体观察输入。
36 项任务与 82 个可检查要求
任务按主要需求分为六类，每个英雄一个目标，不同要求可能交叉。26 项任务没有机器人英雄，10 项包含入门难度敌方机器人，其中 3 项还包含友方机器人。这里衡量有限目标的完成情况，不是排位赛或整场胜率。
| 任务类别 | 任务数 | 子目标数 |
|---|---|---|
| Economy and farming | 6 | 7 |
| Development | 9 | 26 |
| Sustain | 7 | 18 |
| Combat | 6 | 13 |
| Cooperation | 3 | 8 |
| Map objectives | 5 | 10 |
| Total | 36 | 82 |
类别按主要需求划分；原始任务目录列出每位英雄的完整目标。
每个任务、模型与推理档位各运行一次
三个模型分别使用 low、medium、high 推理档位，每种配置运行全部 36 项任务，共 324 次。每项限时 5–20 分钟，最多 100 次模型回复；一次回复可包含多个顺序动作。历史保留最近三轮有效交互且不做摘要，初始化失败仍计入分母。原文未明确实验日期、服务端精确模型快照和游戏补丁版本。
完整完成与部分进展分别计量
主指标为经检查确认完成的任务数除以全部 36 项，以百分比表示；所有要求、时序和任务上下文都需成立。子目标指标先计算每项任务内部通过比例，再对任务等权平均，并非将 82 个检查项直接合并。单个任务的子目标显示 100% 也不自动代表完整任务成功。
完整保留九种已报告配置
Astra 的 low 和 medium 都完成 9 项任务（25.0%）；medium 增加了部分进展，但没有新增完整成功任务。本次实验中，没有模型的 high 档完整成功率超过 low 档。这些是给定接口和预算下的描述性比较；请求延迟包含服务、网络、重试和解析，并不等于纯推理时间。
| 模型 | 推理档位 | 任务成功率（%） | 任务等权子目标成功率（%） | 平均回复数 | 平均延迟（秒） |
|---|---|---|---|---|---|
| GPT-6 Astra | Low | 25.0 | 37.7 | 43.9 | 7.47 |
| GPT-6 Astra | Medium | 25.0 | 40.3 | 37.8 | 8.39 |
| GPT-6 Astra | High | 16.7 | 33.7 | 27.1 | 16.67 |
| GPT-6.1 Sol | Low | 13.9 | 32.1 | 42.8 | 8.90 |
| GPT-6.1 Sol | Medium | 11.1 | 31.3 | 33.2 | 11.44 |
| GPT-6.1 Sol | High | 11.1 | 24.0 | 37.4 | 10.26 |
| DeepSeek-v4.1-Flash | Low | 5.6 | 22.2 | 89.8 | 2.81 |
| DeepSeek-v4.1-Flash | Medium | 2.8 | 20.0 | 91.9 | 3.05 |
| DeepSeek-v4.1-Flash | High | 0.0 | 18.1 | 77.0 | 4.67 |
所有主指标均以完整 36 项任务为分母；DeepSeek high 的零分是实际结果，不是缺失值。
部分成功具体完成了什么
合并所有配置后，正向达成检查通过 144/567（25.4%），避免违规检查为 53/117（45.3%），保持状态检查为 46/54（85.2%）。合并检查项总比例为 243/738（32.9%），任务等权平均则为 28.8%。不死亡或保持技能未学习也可能满足一个要求，但并未推进目标的其余部分。
| 模型 | 推理档位 | 正向达成：通过/总数（%） | 避免违规：通过/总数（%） | 保持状态：通过/总数（%） |
|---|---|---|---|---|
| GPT-6 Astra | Low | 26/63 (41.3) | 4/13 (30.8) | 5/6 (83.3) |
| GPT-6 Astra | Medium | 25/63 (39.7) | 5/13 (38.5) | 5/6 (83.3) |
| GPT-6 Astra | High | 21/63 (33.3) | 5/13 (38.5) | 5/6 (83.3) |
| GPT-6.1 Sol | Low | 21/63 (33.3) | 4/13 (30.8) | 5/6 (83.3) |
| GPT-6.1 Sol | Medium | 18/63 (28.6) | 4/13 (30.8) | 6/6 (100.0) |
| GPT-6.1 Sol | High | 17/63 (27.0) | 4/13 (30.8) | 4/6 (66.7) |
| DeepSeek-v4.1-Flash | Low | 7/63 (11.1) | 9/13 (69.2) | 4/6 (66.7) |
| DeepSeek-v4.1-Flash | Medium | 5/63 (7.9) | 9/13 (69.2) | 6/6 (100.0) |
| DeepSeek-v4.1-Flash | High | 4/63 (6.3) | 9/13 (69.2) | 6/6 (100.0) |
这些是合并的检查项计数，不是表 6 的任务等权评分。
触及回复次数上限时的情况
此表仅包含 DeepSeek-v4.1-Flash 达到 100 次回复上限的运行。low 和 medium 在用完时间预算的中位比例分别为 64.0% 和 63.7% 时触顶。回复频繁可能仍进展很少；这一条件子集不能证明移除次数上限后的表现。
| 推理档位 | 触顶运行数 | 成功任务数 | 零子目标运行数 | 正向检查通过/总数 | 避免违规及保持状态通过/总数 |
|---|---|---|---|---|---|
| Low | 26 | 1 | 13 | 4/46 | 12/16 |
| Medium | 29 | 0 | 19 | 1/47 | 11/14 |
| High | 14 | 0 | 8 | 0/24 | 8/9 |
任务成功及零子目标列统计运行次数，末两列统计检查项；范围是主实验的子集。
停止运行不等于评测结论
324 次运行中有 40 次成功、284 次失败。模型发出 DONE、触及回复上限或用完时间，都不能自行决定成功。下表单独列出运行停止原因。17,221 次已完成回复的延迟均值为 6.536 秒，中位数 5.594 秒，95 分位数 14.031 秒；没有完成回复的请求不在这一统计内。
| 原因 | 次数 |
|---|---|
| done | 37 |
| infeasible | 60 |
| execution_budget_exhausted | 129 |
| max_steps | 75 |
| execution_error | 22 |
| setup_error | 1 |
| no_actions | 0 |
| environment_terminated | 0 |
这八行划分同一批 324 次运行，不能与另列的 40/284 成败划分再次相加。
规模有限且针对特定任务的证据
本组运行没有完整通过持续生存、协作或地图目标类任务，也没有通过个人击杀或协助友方击杀检查。两名有经验玩家完成了全部 36 项任务，用于证明任务可行；这一 100% 不是人类总体水平基线。每位英雄仅一个目标，每种配置单次运行，结论外推有限；已链接原论文的 36×9 任务诊断矩阵。
Original paper v1 · methods and Tables 2, 6, 9, 11, 12 · Original Figure 8 · full task diagnostics
原始代码与发布地址
作者公开仓库包含任务定义、初始化、桌面操作和独立评分。运行器面向 Windows，需要已登录的英雄联盟客户端、所需英雄与机器人，以及模型凭据。代码提供五种智能体模式；论文的九项成绩指统一截图动作协议下的模型与推理档位配置，不代表五种代码模式都已分别测量。尽管编号以 2611 开头，arXiv 提交历史明确将 v1 日期列为 2026 年 10 月 25 日。具体实验日期仍未知，本页于 11 月 4 日复核。
Author repository README at reviewed commit · arXiv original submission history