Frontier-Engineering

工程优化的迭代过程

Agent 从已有可运行代码出发，修改方案，再接收专用仿真器或验证程序返回的目标值与约束反馈。47 道题覆盖计算、决策科学、控制、通信及物理工程五类领域，例如电池充电与内存分配。

Frontier-Engineering official project and correction notice · Frontier-Eng paper v2 · evaluation protocol and Table 2

Medal Score 怎样计分

每题达到可用的金、银、铜阈值分别得 1.00、0.67、0.33，再对 47 或 10 题求均值，范围为 0–1。无效结果计零，不存在的奖牌档位不计分。这是相对已发布同伴阈值的表现，不是工程问题解决率。

Official leaderboard · corrected scores and historical ranks · Pinned released medal scoring documentation

必须区分修正前后的结果

作者加强了候选方案与验证器的隔离并修正验证问题。9 月 15 日成绩混合旧提交重评与更短重跑产生的替代方案，并非重新完成的一轮统一预算实验。v1 与 v1-lite 也应分开比较。历史九模型名次表还包含 gpt-oss-120b；更新奖牌榜未保留其原始分数，因此只含八模型。

Frontier-Engineering official project and correction notice · Official leaderboard · corrected scores and historical ranks

修正后完整奖牌榜

下表保留全部八个发布模型；两列使用不同题集。

越高越好，范围 0–1；应结合上文的修正后评测协议阅读。

Official leaderboard · corrected scores and historical ranks

历史平均名次

原论文在 OpenEvolve 的 100 轮预算下，对 47 题的题内名次取平均；GPT-5.4 使用全套复测结果。该指标越低越好，既不是当前 Medal Score，也不是 9 月修正后的重新测量。

原始验证器、九模型，越低越好；仅作为有出处的历史表保留。

Frontier-Eng paper v2 · evaluation protocol and Table 2 · Official leaderboard · corrected scores and historical ranks

结合环境理解成绩

各任务原始目标具有不同物理单位，不能直接对原始分数求平均。硬件、仿真依赖、搜索方式和验证器版本都会影响复现。原论文的历史曲线不能证明不存在无效解获分问题；后续修正也是解读结果的一部分。

Frontier-Eng paper v2 · evaluation protocol and Table 2 · Official repository · environments and version branches · Frontier-Engineering official project and correction notice