AI EVALUATION, IN CONTEXT.BY EQUALITY MACHINE

Model reports

World Models’ Last Exam in Physics

视频看起来合理,是否也满足可测量的物理关系?每道任务从受控首帧出发,检查一个具体的物理过程。

对应论文 v1 中 8 个图生视频模型在 40 道受控物理任务上的评测。总榜指标是 0–100 的复合分数。

受控的物理实验

40 道任务覆盖九类物理现象,包括力学、光学、浮力、相变、电磁学与流体。例如比较摆的周期、连通器液面和毛细上升。每道题给各模型相同的首帧及提示词,判分不依赖参考视频。

World Models’ Last Exam in Physics paper v1 · World Models’ Last Exam in Physics official project

从可观察证据测量物理关系

评估器将一致性及可观察性 C 与独立测量的物理正确性 P 分开。跟踪和图像分析工具提取轨迹、角度、周期或事件时序,再用固定的任务规则把物理关系偏差映射成分数。

World Models’ Last Exam in Physics paper v1

正确理解复合分数

每段视频按 S = 0.15C + 0.85P × I(C ≥ 80) 计分,再对视频求总平均。一致性门槛未通过时去除的是物理分量,并非一定将总分归零。表格中的勾表示该模型在该题的全部可用样本均达到 C ≥ 80,不是任务成功标记。

World Models’ Last Exam in Physics paper v1 · Official paper results JSON

每题四次样本,视频设置因模型而异

公开表格覆盖 1,280 段视频,即 8 个模型 × 40 道题 × 4 次样本。支持随机种子的模型使用 42–45,但 Seedance API 适配器仅将其作为样本标签。各模型分辨率和帧数不同,阅读成绩时应保留这些生成设置。

World Models’ Last Exam in Physics paper v1 · Generation protocol and model settings

可见性与测量仍是边界

遮挡、几何信息模糊或事件不完整,都可能影响物理证据。合成视频校验支持受控条件下的测量有效性,不能代表所有复杂场景。15 道简单、15 道中等和 10 道困难题,是依据本次模型表现划分的经验分组,并非独立难度标准。

World Models’ Last Exam in Physics paper v1

原始发布

对应论文 v1 中 8 个图生视频模型在 40 道受控物理任务上的评测。总榜指标是 0–100 的复合分数。

核对于 2026-10-27

已收录的评测资料

这条来源记录收录了 8 条数值成绩。来源区分了 8 个模型身份或配置。同一模型可能有多条记录;比较前请核对具体版本、工具和运行预算。 查看成绩及逐条证据 →

报告指标
Video-weighted mean composite physical-consistency score (0–100)
原始单位
points
指标方向
数值越高越好

从这些资料开始

引用文档及日期(1)

评测信息与证据

来源
Model reports
发布者
未收录
评测发布日期
2026-10-06
采集日期
未收录
模态
未收录

本站保留来源报告的结果,不代表独立复测。请先核对任务版本、评测协议、分数单位和报告日期;不同运行条件不能直接合并为统一排名。

报告成绩 8

按来源中的观察顺序展示,顺序不代表排名。日期保留原始精度。

模型数值单位协议报告日期与口径来源
Seedance 2.557.76points40 common initial-frame/prompt tasks; 4 API samples; labels 42-45; seed not transmitted; generation 1270x726, 121 frames; automatic consistency C gate at 80; S=0.15C+0.85P*I(C>=80); video-weighted mean S (0-100)2026-10-06 · document_publicationWorld Models’ Last Exam in Physics paper v1 · Table 2
Hunyuan 1.531.97points40 common initial-frame/prompt tasks; 4 samples per task; fixed seeds 42-45 where supported; generation 1264x720, 129 frames; automatic consistency C gate at 80; S=0.15C+0.85P*I(C>=80); video-weighted mean S (0-100)2026-10-06 · document_publicationWorld Models’ Last Exam in Physics paper v1 · Table 2
MiniMax H354.89points40 common initial-frame/prompt tasks; 4 samples per task; fixed seeds 42-45 where supported; generation 1344x768, 124 frames; automatic consistency C gate at 80; S=0.15C+0.85P*I(C>=80); video-weighted mean S (0-100)2026-10-06 · document_publicationWorld Models’ Last Exam in Physics paper v1 · Table 2
Wan 2.2-A14B35.66points40 common initial-frame/prompt tasks; 4 samples per task; fixed seeds 42-45 where supported; generation 832x464, 81 frames; automatic consistency C gate at 80; S=0.15C+0.85P*I(C>=80); video-weighted mean S (0-100)2026-10-06 · document_publicationWorld Models’ Last Exam in Physics paper v1 · Table 2
CogVideoX 1.5-5B18.81points40 common initial-frame/prompt tasks; 4 samples per task; fixed seeds 42-45 where supported; generation 832x480, 81 frames; automatic consistency C gate at 80; S=0.15C+0.85P*I(C>=80); video-weighted mean S (0-100)2026-10-06 · document_publicationWorld Models’ Last Exam in Physics paper v1 · Table 2
Cosmos 3 Super42.46points40 common initial-frame/prompt tasks; 4 samples per task; fixed seeds 42-45 where supported; generation 832x480, 81 frames; automatic consistency C gate at 80; S=0.15C+0.85P*I(C>=80); video-weighted mean S (0-100)2026-10-06 · document_publicationWorld Models’ Last Exam in Physics paper v1 · Table 2
LingBot 30B-A3B32.25points40 common initial-frame/prompt tasks; 4 samples per task; fixed seeds 42-45 where supported; generation 832x480, 81 frames; automatic consistency C gate at 80; S=0.15C+0.85P*I(C>=80); video-weighted mean S (0-100)2026-10-06 · document_publicationWorld Models’ Last Exam in Physics paper v1 · Table 2
VBVR Wan2.237.79points40 common initial-frame/prompt tasks; 4 samples per task; fixed seeds 42-45 where supported; generation 832x480, 81 frames; automatic consistency C gate at 80; S=0.15C+0.85P*I(C>=80); video-weighted mean S (0-100)2026-10-06 · document_publicationWorld Models’ Last Exam in Physics paper v1 · Table 2