依据 2026 年 8 月论文 v1；参数化零件与装配赛道分别保留指标和分母。
两条赛道，两类交付物
P 赛道用 300 个零件构成 600 道生成／编辑任务。A 赛道含 150 对实体，论文比较排除 30 对开发样本，评测其余 120 对。
CADEngBench introducing paper · tracks, metrics and limitations (arXiv v1)
从有效实体到受控编辑
L0 检查执行及 STEP 导出后重载；L1 检查工程要求；L2-Z 检查参数行为；L2-E 检查目标编辑及受保护几何是否保持。
CADEngBench introducing paper · tracks, metrics and limitations (arXiv v1)
仿真算完并不等于通过
L3 覆盖 164 个适用零件。CalculiX 在一致条件下比较生成与参考响应；可进入仿真的比例和匹配状态对的通过率使用不同分母。
CADEngBench introducing paper · tracks, metrics and limitations (arXiv v1)
找对连接、实体与运动
装配指标区分实体检索与关节类型正确性。端到端通过还要求坐标框架正确，并验证允许和禁止的运动。
CADEngBench introducing paper · tracks, metrics and limitations (arXiv v1)
比分前先看范围
测试限于受控编辑、实体对和线性静力分析，不构成制造就绪认证或完整装配重建证明。
CADEngBench introducing paper · tracks, metrics and limitations (arXiv v1)
公开资料能复现到哪一步？
作者仓库提供 10 个 P 开发样本和 7 对 A 开发样本，并非封存的完整题集；同时提供评估代码、对照检查和参考摘要。复现论文总体结果仍需固定的完整数据与原始模型响应。
复现环境要求
项目指定 Python 3.11、CalculiX 2.21，并以 Ubuntu/Linux 为参考环境。先执行安装验证与对照检查，再调用模型；Apple Silicon 还需兼容 conda 的环境安装 PyBullet。
论文成绩：参数化零件
零件生成、编辑和仿真列对应不同验收项目；括号内保留论文给出的可评测数量。
| 系统 | L0 % | L1 % | L2-Z %（可评测数） | L2-E % | L3 进入率 %（零件数/164） | L3 状态对通过率 %（通过数/对数） |
|---|---|---|---|---|---|---|
| GPT-5.2 | 41.3 | 22.0 | 31.6 (291) | 70.3 | 37.8 (62/164) | 32.8 (65/198) |
| Claude 4.5 | 58.0 | 28.3 | 41.4 (290) | 66.7 | 54.3 (89/164) | 35.8 (101/282) |
| Gemini 3 Flash | 52.7 | 30.0 | 39.8 (289) | 72.3 | 46.3 (76/164) | 46.3 (119/257) |
| GLM-4.6V | 47.3 | 13.3 | 30.7 (287) | 59.3 | 44.5 (73/164) | 27.0 (64/237) |
| Kimi K2.5 | 53.3 | 24.3 | 41.0 (288) | 67.0 | 51.8 (85/164) | 34.8 (94/270) |
| Mistral 3.5 | 29.3 | 8.3 | 16.5 (297) | 68.3 | 26.8 (44/164) | 34.5 (49/142) |
| Llama 4 Maverick | 48.0 | 12.7 | 34.0 (288) | 60.7 | 47.6 (78/164) | 27.5 (71/258) |
| Qwen3.5-35B | 13.3 | 5.0 | 6.3 (300) | 61.7 | 15.9 (26/164) | 36.6 (30/82) |
L0、L1、L2-E 各使用 300 个样本；L2-Z 使用所列模型分母。L3 进入率按零件计数，L3 状态对通过率按可比较的生成／参考参数状态计数，不将各列平均为总分。
CADEngBench introducing paper · tracks, metrics and limitations (arXiv v1)
论文成绩：装配关系
实体检索、带类型检索及端到端运动检查分别列出；MRR 与百分比的量纲不同。
| 系统 | 格式有效 % | Entity@1 % | Typed@1 % | Typed@3 % | MRR | A2 端到端 %（通过数/120） |
|---|---|---|---|---|---|---|
| GPT-5.2 | 100.0 | 61.7 | 12.5 | 30.0 | .197 | 11.7 (14) |
| Claude 4.5 | 100.0 | 57.5 | 14.2 | 32.5 | .221 | 12.5 (15) |
| Gemini 3 Flash | 100.0 | 62.5 | 23.3 | 41.7 | .310 | 15.8 (19) |
| GLM-4.6V | 99.2 | 50.0 | 10.0 | 27.5 | .174 | 8.3 (10) |
| Kimi K2.5 | 78.3 | 56.7 | 15.0 | 32.5 | .228 | 7.5 (9) |
| Mistral 3.5 | 100.0 | 52.5 | 15.8 | 25.8 | .200 | 14.2 (17) |
| Llama 4 Maverick | 100.0 | 55.8 | 14.2 | 26.7 | .192 | 10.8 (13) |
| Qwen3.5-35B | 100.0 | 55.0 | 14.2 | 24.2 | .190 | 10.8 (13) |
全部 150 对实体中，另 30 对用于评估器开发。Entity 不要求关节类型正确，Typed 还要求关节类别与实体角色正确。末列保留论文的百分比和括号内通过数量。
CADEngBench introducing paper · tracks, metrics and limitations (arXiv v1)