AI EVALUATION, IN CONTEXT.BY EQUALITY MACHINE

Model reports

Morpheus Agent Benchmark

智能体能把生物学论文变成可运行的组织模拟吗?15 篇研究用于检验生成模型是否重现原文的机制与生物学行为。

评测版本 3;2026 年 11 月 2 日公开的代码与数据版本 2.1.0。两组主要运行始于 10 月,页面复核日期不是实验日期。

重建论文里的生物模型

智能体获得论文、提取文本、重点提示和图像清单,编写 MorpheusML XML,运行模拟并查看输出,在四小时内修改模型。独立评测智能体按每篇论文的专门标准检查生物学证据。

Pinned author README · methods and printed results

15 篇论文与两组模型

主要实验包含 GPT-6.1 Sol 的 225 个任务(15 篇 × 五种配置 × 三次重复),以及 GPT-6 Luna 的 375 个任务(五次重复)。被测模型使用 max 推理,评测模型为 high 推理的 GPT-6 Luna,评分器 v8、标准 v7。CSV 保留 600 条原始运行记录。

Pinned author README · methods and printed results · All 600 published run records · Run-table column definitions

工具权限决定实验配置

五种配置分别区分 Python/网页访问、模拟器命令行、本地文档、建模技能和 MCP 工具服务。Docs 配置断网;Web 配置不能自行调用模拟器,之后由主机执行生成文件。

原文配置定义
配置能力
1 · WebPython + web; host executes Morpheus afterward / Python + 网页,之后由主机执行
2 · CLIPython + web + Morpheus CLI / Python + 网页 + 模拟器命令行
3 · DocsPython + Morpheus CLI + staged docs; no internet / 本地文档,断网
4 · SkillPython + web + Morpheus CLI + skill / 增加建模技能
5 · MCPPython + web + Morpheus CLI + skill + MCP / 增加 MCP 工具

这些是实验配置,不是五个不同数据集。

Pinned author README · methods and printed results

生物学重现程度,而非仅能运行

主指标为 0 至 1 的比例:通过标准的权重除以总权重。v7 评分标准让定性与数值两类获得相同总权重。智能体自报的 0–8 重现分与主机的 0–7 可执行分属于其他诊断,不是论文采用的主评测。

Pinned author README · methods and printed results

原文主汇总采用四种配置

README 的主汇总覆盖 15 篇论文和四种启用 Morpheus 的配置,不包含仅 Python/网页基线。这里保留原文数值,不另造五种配置总分,也不自行换算百分比。

README · 四配置汇总
模型平均生物学评分(0–1)每次平均 API 等价成本
gpt-6.1-sol0.850US$3.74
gpt-6-luna0.663US$0.32

成本是原文的运行成本估计,不是当前报价;两模型重复次数不同。

Pinned author README · methods and printed results

原文明确列出的两项配置示例

README 还明确给出下列两个配置均值。它们范围更窄,不能当作相同实验与四配置汇总混排。完整 600 条运行记录及作者分析脚本已附链接;Radar 没有重跑模型任务。

README · 配置均值示例
模型配置平均生物学评分(0–1)
gpt-6.1-solMCP0.862
gpt-6-lunaPython + web0.108

这是 README 明确列出的两个示例,未给出的配置均值不作猜测。

Pinned author README · methods and printed results · All 600 published run records

有限范围的科学重现实验

这是 15 篇论文的模拟重现实验,不能证明智能体能开展湿实验,也不能保证所有模拟机制都真实。成绩受工具权限、重复次数、时间预算和模型评分器影响。评分器与其中一个被测模型同家族;作者提供了人工对照评分数据,但这不能消除全部评分不确定性。

Pinned author README · methods and printed results · Original Figure 2 evidence and manual comparison

代码、结果与版本历史

作者将 10 月 27 日的 2.0.0 称为首次代码公开。2.1.0 新增图表与数据包,但保留评测版本 3 的被测环境。代码和逐次结果 CSV 已公开;完整对话、工作目录与全部日志需向作者索取,未包含在发布包内,四篇输入论文需另行取得。

Author code/data release 2.1.0 · First public code release 2.0.0 · Pinned author README · methods and printed results

原始发布

作者仓库和固定的 2.1.0 发布;评测环境为版本 3。

核对于 2026-11-03

已收录的评测资料

这条来源记录收录了 2 条数值成绩。来源区分了 2 个模型身份或配置。同一模型可能有多条记录;比较前请核对具体版本、工具和运行预算。 查看成绩及逐条证据 →

报告指标
mean biological score over four Morpheus modes
原始单位
score
指标方向
数值越高越好

从这些资料开始

引用文档及日期(1)

评测信息与证据

来源
Model reports
发布者
未收录
评测发布日期
2026-10-27
采集日期
未收录
模态
未收录

本站保留来源报告的结果,不代表独立复测。请先核对任务版本、评测协议、分数单位和报告日期;不同运行条件不能直接合并为统一排名。

报告成绩 2

按来源中的观察顺序展示,顺序不代表排名。日期保留原始精度。

模型数值单位协议报告日期与口径来源
gpt-6.1-sol0.85scoreAuthors' README v2.1.0 printed aggregate; all 15 papers pooled over morpheus_cli, morpheus_cli_docs, morpheus_skill and morpheus_mcp; Python/web-only mode excluded; 3 repetitions per paper/mode; subject reasoning max; 4-hour budget per job; run folder 20261007_202940_benchmark; Morpheus 2.4.1; independent gpt-6-luna high judge, scorer v8, criteria v7; weighted passed-criterion fraction in [0,1]; exact provider revision unspecified2026-11-02 · document_publicationMorpheus Agent Benchmark v2.1.0 · published README results
gpt-6-luna0.663scoreAuthors' README v2.1.0 printed aggregate; all 15 papers pooled over morpheus_cli, morpheus_cli_docs, morpheus_skill and morpheus_mcp; Python/web-only mode excluded; 5 repetitions per paper/mode; subject reasoning max; 4-hour budget per job; run folder 20261003_005649_benchmark; Morpheus 2.4.1; independent gpt-6-luna high judge, scorer v8, criteria v7; weighted passed-criterion fraction in [0,1]; exact provider revision unspecified2026-11-02 · document_publicationMorpheus Agent Benchmark v2.1.0 · published README results