对应 PRM800K 发布的 500 道测试题，不等于完整 MATH 测试集，也不是 PRM800K 的训练标注。
题目与预期答案
每题要求解出一道数学问题并给出最终答案。题集从 MATH 竞赛题中抽取，覆盖不同学科和难度，而非仅考算术或某一年的赛事。
为什么是 500 道题
作者将原 MATH 测试集中的 4,500 题用于训练，随机保留 500 题测试。发布的 test.jsonl 定义了这一固定划分；自行抽取另外 500 题属于不同评测。
答案怎样判定
官方评分器会规范化数学文本，并检查符号表达式是否等价。作者明确指出它仍可能误拒正确答案，也可能误收错误答案。更换答案提取器或等价判定器可能改变得分。
单次作答与筛选答案
提出该划分的研究还让奖励模型从多份解答中挑选答案。best-of-N 成绩同时体现生成与筛选效果，应与相同预算的同类实验比较，不能直接当作单次作答正确率。
分数没有覆盖什么
最终答案相同并不能验证每一步推理。若关心推理可靠性，应进一步查看解答轨迹，并区分测试题与过程监督标注。原论文也讨论了污染风险及自身的暴露检查。
Let’s Verify Step by Step · Evaluation and contamination · OpenAI PRM800K · MATH splits and answer grading