AI EVALUATION, IN CONTEXT.BY EQUALITY MACHINE
Benchmark Radar.Benchmarks. Model results. Original sources.
/

游戏 Benchmark 专栏：从玩游戏、多智能体协作到游戏开发

按实时操作、探索记忆、策略推理、多人协作与游戏开发，浏览 15 项评测的任务、验收方式和原始发布资料。

AI Benchmark Radar / Equality Machine · 发布于 2026-11-07 · 复核于 2026-11-07

按你希望 AI 完成的游戏任务选评测。游戏 Agent 可从 LOLPlay、Orak 开始，编程 Agent 可从 GameASG-Bench 和引擎工程评测开始。15 项均链接站内详情与原始资料。

先选任务：你要 AI 玩游戏，还是做游戏？

先确定工作目标：实时操控、记住探索过的世界、推断对手、协同完成任务，或交付可玩的游戏。本专栏精选 15 项评测，每项都连接站内记录和原始发布资料，方便找到符合你目标的任务与评估方式。

你要评估的任务从这些评测开始成绩旁边要看什么
实时游戏操作LOLPlay、Orak、OmniGameArena观察方式、动作接口、推理延迟和游戏时钟
探索与记忆MineExplorer、MirrorCraft、RNG-Bench前置条件、规则变化、历史信息和上下文预算
策略与社会推理PokerBench、PTCG-Bench、MafiaScope单步决策、完整对局、对手与隐藏信息
多人协作GPTNT、TickingCollabBench队友的信息、沟通方式和实时约束
开发与修复游戏GameASG-Bench、GameCraft-Bench、GameEngineBench、SWE-Game引擎、交付物、行为测试与视觉评价

实时操作：在画面变化前做出有效动作

LOLPlay 在原生《英雄联盟》中设置 36 项英雄相关目标，Agent 通过截图和鼠标键盘交互，推理期间游戏继续运行。完整任务成功与子目标进展要分开看，并核对推理档位及时间预算。详情页保留已收录成绩和实验条件。

Orak 覆盖 12 款流行游戏，通过 MCP 接口研究 Agent 模块和输入模态。单人游戏分数与双人竞技结果是不同视角；使用综合排名前，应先看各游戏的评分定义。

OmniGameArena 用 12 个 Unreal Engine 5 游戏覆盖单人、对抗和合作，并追踪多轮反思后的进步及对留出变体的迁移。首次尝试成绩与获得反馈、调整后的成绩应分别阅读。

LOLPlay: Benchmarking Real-Time Visual Agents in League of Legends · Orak: A Foundational Benchmark for Training and Evaluating LLM Agents on Diverse Video Games · Orak · official game leaderboard and evaluation notes · OmniGameArena: A Unified UE5 Benchmark for VLM Game Agents with Improvement Dynamics

探索与记忆：当前画面之外，还记得什么？

MineExplorer 将 Minecraft 任务组合成带隐含前置条件的探索目标，并用规则式里程碑验收，适合观察 Agent 能否在较长轨迹中组织任务依赖。

MirrorCraft 配对比较原版世界和服务器规则被暗中修改的 Mirror 世界，控制地形、目标、接口和动作预算。阅读时要看配对后的表现变化，以及是否向 Agent 提供了新规则。熟悉常规 Minecraft 机制不代表能适应变化。

RNG-Bench 用配对翻牌和三维迷宫，检查模型能否在交互中重建先前观察。Memory Gap 分析区分遗忘与动作选择问题；难度与观察模态决定了需要保留多少历史信息。

MineExplorer: Evaluating Open-World Exploration of MLLM Agents in Minecraft · MirrorCraft: Paired Evaluation under Hidden Rule Changes in Minecraft · Beyond the Current Observation: Evaluating Multimodal Large Language Models in Controllable Non-Markov Games

策略推理：选对一步、赢下一局，还是判断准确？

这里的 PokerBench 指 Zhuang 等人的 2025 年研究，包含 11,000 个翻牌前与翻牌后场景。场景决策评价与论文另行开展的对战实验，需分别按各自的评估流程理解。

PTCG-Bench 以宝可梦集换式卡牌游戏评估决策，以及积累经验后的改进。模块化框架消融有助于区分模型和 Agent 设计；比较时需同时核对运行框架与经验预算。

MafiaScope 在 Mafia 社会推理游戏中读取 Agent 的私下判断，但不把探测问题与答案加入后续行动上下文。角色预测可与引擎真值核对，并查看判断如何变化。获胜、角色推断准确与置信度校准是不同观察。

PokerBench: Training Large Language Models to become Professional Poker Players · PTCG-Bench: Can LLM Agents Master Pokémon Trading Card Game? · MafiaScope: Inspecting Multi-Agent Reasoning in Social Deduction Games

多人协作：信息不对称，还要赶上共同截止时间

GPTNT 基于《Keep Talking and Nobody Explodes》：一个 Agent 能看到游戏谜题，另一个持有操作手册，双方需在实时倒计时下异步沟通。评估重点在状态跟踪、沟通与及时协同。

TickingCollabBench 在 Minecraft 中构造需要互补角色共同完成的动态限时任务，并在生成流程中筛除不可行配置。理解团队成绩时，要同时看分工、各 Agent 可见的信息和实际计时规则。

GPTNT: Benchmarking Real-Time Collaboration Between Multimodal Agents on Keep Talking And Nobody Explodes · Multi-agent Framework for Time-Sensitive Complementary Collaboration in Minecraft

GameASG-Bench：交付能通过玩法检查的浏览器游戏

GameASG-Bench 包含 12 类游戏的 47 道浏览器游戏生成任务。交付物是一个可执行的 index.html，依据明确的玩法需求和公开测试接口生成。L1 检查文件与源码要求，L2 在真实浏览器中检查行为。

生成了文件、评估流程跑完、整道任务通过，是三种不同结果。检查项平均通过率要和严格任务成功率一起看：游戏可能通过许多检查，却缺少必需机制。站内已有导读保留论文结果表、运行框架设置和固定版本实现链接。

GameASG-Bench: Benchmarking Autonomous Software Generation for Game Development · GameASG-Bench · task contract and evaluation guide (pinned release)

游戏引擎工程：创建、修改、修复与移植

GameCraft-Bench 包含 15 个游戏家族的 140 道 Godot 任务，用演示回放和 rubric 引导的多模态评价检查端到端可玩成果。除了能否启动，还需看机制、完整性和表现。

GameEngineBench 从 9 个 Unreal Engine 5 仓库构建 110 道限定范围的 C++ 实现任务，要求改动能够编译，并在可运行项目中通过行为测试。它针对现有运行系统的修改，覆盖玩法、UI、网络等引擎行为。

SWE-Game 基于 41 个参考 Godot 游戏构建 247 道任务，覆盖简要需求、设计文档、骨架补全、故障修复和 Godot 到 Unity 的移植。运行时检查与回放证据评估行为，独立视觉 rubric 评估表现。应按任务类型与评价维度读成绩。

GameCraft-Bench: Can Agents Build Playable Games End-to-End in a Real Game Engine? · GameEngineBench: Evaluating Coding Agents on Real C++ Runtime Environments · SWE-Game: Can Coding Agents Build the Games We Want?

比较或复现前，核对这些条件

记录评测修订版、游戏或引擎版本、任务划分、随机种子、确切模型、运行框架、观察／动作接口和工具权限。实时游戏需区分墙钟时间与决策步数；重复游玩需交代跨局保留了哪些反馈或经验。

区分任务成功、局部进展、胜率、检查项通过率、奖励和视觉 rubric 分数，并把轨迹或工程成果与验收输出一同保留。未收录的数值仍然是未知，不是零。已收录成绩及其来源可从对应详情页查阅。

LOLPlay: Benchmarking Real-Time Visual Agents in League of Legends · GameASG-Bench: Benchmarking Autonomous Software Generation for Game Development · SWE-Game: Can Coding Agents Build the Games We Want? · Orak · official game leaderboard and evaluation notes

参考资料

  1. LOLPlay: Benchmarking Real-Time Visual Agents in League of Legends
  2. Orak: A Foundational Benchmark for Training and Evaluating LLM Agents on Diverse Video Games
  3. OmniGameArena: A Unified UE5 Benchmark for VLM Game Agents with Improvement Dynamics
  4. MineExplorer: Evaluating Open-World Exploration of MLLM Agents in Minecraft
  5. MirrorCraft: Paired Evaluation under Hidden Rule Changes in Minecraft
  6. Beyond the Current Observation: Evaluating Multimodal Large Language Models in Controllable Non-Markov Games
  7. PokerBench: Training Large Language Models to become Professional Poker Players
  8. PTCG-Bench: Can LLM Agents Master Pokémon Trading Card Game?
  9. MafiaScope: Inspecting Multi-Agent Reasoning in Social Deduction Games
  10. GPTNT: Benchmarking Real-Time Collaboration Between Multimodal Agents on Keep Talking And Nobody Explodes
  11. Multi-agent Framework for Time-Sensitive Complementary Collaboration in Minecraft
  12. GameASG-Bench: Benchmarking Autonomous Software Generation for Game Development
  13. GameCraft-Bench: Can Agents Build Playable Games End-to-End in a Real Game Engine?
  14. GameEngineBench: Evaluating Coding Agents on Real C++ Runtime Environments
  15. SWE-Game: Can Coding Agents Build the Games We Want?
  16. Orak · official game leaderboard and evaluation notes
  17. GameASG-Bench · task contract and evaluation guide (pinned release)

继续阅读

工具与智能体评测电脑操作评测编程评测多模态评测