2026 年 10 月 30 日提交的论文 v1；108 道带代码框架的 ROS1 至 ROS2 迁移题。
模型拿到什么？
根据保留上下文的 ROS1 文件、任务要求与迁移背景，补全目标 ROS2 逻辑。
108 道可执行任务
题集包括 44 道接口级、29 道行为级、35 道系统级任务，目标文件覆盖 C/C++、Python 与配置。
被测模型不能改测试
只用候选目标文件替换参考包中的对应文件；测试和构建配置固定。必须构建成功，并让所有运行时测试正常执行且通过。
单次尝试成功率
通过 OpenRouter、温度 0.2，每题生成五次以估计 pass@1。能力分类是独立子集；pass@3、pass@5 使用不同采样预算。
| 模型 | pass@1 %［95% 区间］ | pass@3 % | pass@5 % | 接口级 % | 行为级 % | 系统级 % |
|---|---|---|---|---|---|---|
| Claude Opus 4.6 | 10.9 [5.6,16.9] | 12.5 | 13.0 | 8.2 | 11.7 | 13.7 |
| GPT-5.5 | 10.0 [5.4,15.2] | 14.6 | 16.7 | 9.5 | 12.4 | 8.6 |
| Gemini 3.1 Pro | 7.2 [3.5,11.5] | 11.5 | 13.9 | 5.5 | 7.6 | 9.1 |
| Qwen 3.5 Plus | 6.7 [3.0,11.1] | 9.3 | 10.2 | 6.4 | 3.4 | 9.7 |
| GLM-5 Turbo | 6.5 [2.6,10.9] | 8.2 | 8.4 | 4.5 | 6.2 | 9.2 |
| DeepSeek V4 Pro | 5.7 [2.2, 9.8] | 8.6 | 9.4 | 4.6 | 3.5 | 9.1 |
保留原值；全任务与子集列分母不同。
全部十一类任务
图 4 给出了各模型在十一类任务上的 pass@1 百分比。子集成绩用于解释表现；只有完整题集的 pass@1 进入主成绩序列。
| 类别 | Claude Opus 4.6 | GPT-5.5 | Gemini 3.1 Pro | Qwen 3.5 Plus | GLM-5 Turbo | DeepSeek V4 Pro |
|---|---|---|---|---|---|---|
| Action server / 动作服务端 | 18.3 | 11.7 | 8.3 | 8.3 | 8.3 | 8.3 |
| Manipulation / 操作 | 10.0 | 8.0 | 6.0 | 10.0 | 8.0 | 10.0 |
| Multi-node coordination / 多节点协调 | 20.0 | 13.3 | 17.8 | 15.6 | 15.6 | 15.6 |
| Navigation / 导航 | 12.5 | 0.0 | 0.0 | 0.0 | 0.0 | 7.5 |
| Parameter server / 参数服务端 | 6.2 | 12.3 | 7.7 | 6.2 | 4.6 | 4.6 |
| Perception and control / 感知与控制 | 15.6 | 11.1 | 6.7 | 8.9 | 11.1 | 4.4 |
| Publisher/subscriber / 发布／订阅 | 6.7 | 13.3 | 4.4 | 11.1 | 4.4 | 4.4 |
| Sensor processing / 传感器处理 | 18.2 | 18.2 | 14.5 | 1.8 | 7.3 | 5.5 |
| Service client / 服务客户端 | 0.0 | 0.0 | 0.0 | 0.0 | 0.0 | 0.0 |
| Simulation integration / 仿真集成 | 12.5 | 12.5 | 12.5 | 12.5 | 12.5 | 2.5 |
| State machine / 状态机 | 0.0 | 6.7 | 0.0 | 0.0 | 0.0 | 0.0 |
66 个数值均来自原图明确印出的标签；零值同样保留。
修复是另一项实验
执行反馈修复报告累计成功任务，不能当作零样本 pass@1；下表保留分数形式，不自行换算。
| 模型 | 初次 | 第 1 轮 | 第 2 轮 | 第 3 轮／最终 |
|---|---|---|---|---|
| Claude Opus 4.6 | 12/108 (11.1%) | 32/108 (29.6%) | 44/108 (40.7%) | 53/108 (49.1%) |
| GPT-5.5 | 12/108 (11.1%) | 31/108 (28.7%) | 41/108 (38.0%) | 51/108 (47.2%) |
| Qwen 3.5 Plus | 7/108 | 23/108 | Not reported / 未报告 | 28/108 (25.9%) |
正文未提供 Qwen 的中间轮次成绩。
适用范围与未知项
评测关注中间件，不衡量机器人运动或控制质量；模型生成的参考实现需要充分性检查。三个生成位置缺失，精确供应商版本与运行日期未提供。
来源与开放状态
论文可以访问。论文所列仓库在本次复核时返回 HTTP 404，因此代码可获取性尚未确认。