AI4AI-Bench

十种算法家族

十个固定项目覆盖监督微调、Agent 强化学习、同策略蒸馏、奖励建模、偏好优化、扩散强化学习、遗忘学习、图扩散、模型融合和剪枝。起始模型与资产固定，Agent 可以修改学习方法和训练代码。Model Soup 与 OWL 不进行训练，分别组合已有权重和执行剪枝。

AI4AI-Bench paper v1 — task protocol, scoring and Tables 2–3 · Official AI4AI-Bench repository

探索与正式执行分开

每个配置有一张 NVIDIA B300 和四小时探索时间，可以读代码并用代理指标试验。只有源码进入全新的正式环境。八个训练任务从初始化状态运行，最多十二小时，并从最近至多三个检查点中取最佳结果；两个非训练任务执行一次，十二小时只是验收上限。

AI4AI-Bench paper v1 — task protocol, scoring and Tables 2–3

怎样读归一化总分

各任务的原始指标先映射到 0–1，再取平均：0 对应无信息模型，0.1 对应同条件下未经修改的原仓库方法，1 对应指标定义的理想点。困惑度使用对数坐标。0.288 不等于完成了 28.8% 的任务。论文对未交付模型的提交计归一化零分；原始执行凭据中的缺失或无效结果，不能强行改成任务原始指标的零。

AI4AI-Bench paper v1 — task protocol, scoring and Tables 2–3 · Official evaluation and replay documentation

比较配置，不混淆汇总口径

研究包含六个系统的 29 个配置，每个配置都尝试十道任务。论文中 Claude Opus 5 的 medium 配置为 0.288，而 0.250 是它五档推理强度的平均，不能混为同一成绩。官网 JSON 自标 v1.5，并保留更多小数，例如 medium 为 0.2881；应保留各自来源及原始精度，不互相覆盖。

AI4AI-Bench paper v1 — task protocol, scoring and Tables 2–3 · Official chart data — AI4AI-Bench v1.5 mapped scores

结果的适用边界

它测量单卡和固定时间内对十个特定项目的改进，并未演示完整的递归自我改进循环。基线是仓库原有方法，不是人类专家。部分代理指标与最终评测来自同一语料，因此分开执行不代表样本完全隔离。公开版本支持自托管评测，文档明确尚无官方盲测服务；使用默认警告模式的本地结果不算官方结果。

AI4AI-Bench paper v1 — task protocol, scoring and Tables 2–3 · Official evaluation and replay documentation

官网图表中的全部 29 个配置

下表逐项保留官网 points.json 的平均值，源文件标注“AI4AI-Bench v1.5 mapped scores”，于 2026 年 10 月 27 日核对。每个配置都尝试十道任务。文件未给出精确发布日期，因此核对日期不作为新版本发布日期或成绩报告日期。

保留 JSON 原始精度。量表为 0–1，原仓库方法基线为 0.1；这些数字不是百分比。成绩对应模型、框架与推理强度的组合。论文表 3 保留其独立的较低精度读数，本表不覆盖论文成绩。

Official chart data — AI4AI-Bench v1.5 mapped scores · AI4AI-Bench official project and results · AI4AI-Bench paper v1 — task protocol, scoring and Tables 2–3

六个系统在已测推理强度上的汇总

官方文件还给出以下六个系统汇总。每行合并所列的推理强度，因此分母不同：Claude 测五档，GPT-5.6 测六档，Kimi K3 只测一档。它们不是新增的单一推理强度配置。

各行使用同一套十道任务，但合并的配置数量不同。保留作者发布的原始均值，不用它们替换上表 29 个单独配置的分数。

Official chart data — AI4AI-Bench v1.5 mapped scores · AI4AI-Bench paper v1 — task protocol, scoring and Tables 2–3