评测版本 3;2026 年 11 月 2 日公开的代码与数据版本 2.1.0。两组主要运行始于 10 月,页面复核日期不是实验日期。
重建论文里的生物模型
智能体获得论文、提取文本、重点提示和图像清单,编写 MorpheusML XML,运行模拟并查看输出,在四小时内修改模型。独立评测智能体按每篇论文的专门标准检查生物学证据。
15 篇论文与两组模型
主要实验包含 GPT-6.1 Sol 的 225 个任务(15 篇 × 五种配置 × 三次重复),以及 GPT-6 Luna 的 375 个任务(五次重复)。被测模型使用 max 推理,评测模型为 high 推理的 GPT-6 Luna,评分器 v8、标准 v7。CSV 保留 600 条原始运行记录。
Pinned author README · methods and printed results · All 600 published run records · Run-table column definitions
工具权限决定实验配置
五种配置分别区分 Python/网页访问、模拟器命令行、本地文档、建模技能和 MCP 工具服务。Docs 配置断网;Web 配置不能自行调用模拟器,之后由主机执行生成文件。
| 配置 | 能力 |
|---|---|
| 1 · Web | Python + web; host executes Morpheus afterward / Python + 网页,之后由主机执行 |
| 2 · CLI | Python + web + Morpheus CLI / Python + 网页 + 模拟器命令行 |
| 3 · Docs | Python + Morpheus CLI + staged docs; no internet / 本地文档,断网 |
| 4 · Skill | Python + web + Morpheus CLI + skill / 增加建模技能 |
| 5 · MCP | Python + web + Morpheus CLI + skill + MCP / 增加 MCP 工具 |
这些是实验配置,不是五个不同数据集。
生物学重现程度,而非仅能运行
主指标为 0 至 1 的比例:通过标准的权重除以总权重。v7 评分标准让定性与数值两类获得相同总权重。智能体自报的 0–8 重现分与主机的 0–7 可执行分属于其他诊断,不是论文采用的主评测。
原文主汇总采用四种配置
README 的主汇总覆盖 15 篇论文和四种启用 Morpheus 的配置,不包含仅 Python/网页基线。这里保留原文数值,不另造五种配置总分,也不自行换算百分比。
| 模型 | 平均生物学评分(0–1) | 每次平均 API 等价成本 |
|---|---|---|
| gpt-6.1-sol | 0.850 | US$3.74 |
| gpt-6-luna | 0.663 | US$0.32 |
成本是原文的运行成本估计,不是当前报价;两模型重复次数不同。
原文明确列出的两项配置示例
README 还明确给出下列两个配置均值。它们范围更窄,不能当作相同实验与四配置汇总混排。完整 600 条运行记录及作者分析脚本已附链接;Radar 没有重跑模型任务。
| 模型 | 配置 | 平均生物学评分(0–1) |
|---|---|---|
| gpt-6.1-sol | MCP | 0.862 |
| gpt-6-luna | Python + web | 0.108 |
这是 README 明确列出的两个示例,未给出的配置均值不作猜测。
Pinned author README · methods and printed results · All 600 published run records
有限范围的科学重现实验
这是 15 篇论文的模拟重现实验,不能证明智能体能开展湿实验,也不能保证所有模拟机制都真实。成绩受工具权限、重复次数、时间预算和模型评分器影响。评分器与其中一个被测模型同家族;作者提供了人工对照评分数据,但这不能消除全部评分不确定性。
Pinned author README · methods and printed results · Original Figure 2 evidence and manual comparison
代码、结果与版本历史
作者将 10 月 27 日的 2.0.0 称为首次代码公开。2.1.0 新增图表与数据包,但保留评测版本 3 的被测环境。代码和逐次结果 CSV 已公开;完整对话、工作目录与全部日志需向作者索取,未包含在发布包内,四篇输入论文需另行取得。
Author code/data release 2.1.0 · First public code release 2.0.0 · Pinned author README · methods and printed results