对应原始 Mostly Basic Python Problems。原版与 sanitized 子集的成员不同；MBPP+ 与 EvalPlus 变体不套用本导读。
基础 Python 编程任务
原数据集包含 974 道众包题，面向入门级编程能力。题目涉及短程序、编程基础和标准库使用；每条发布记录包含文字描述、参考代码和三个测试。
Program Synthesis with Large Language Models · MBPP methods and analysis · Google Research MBPP · Dataset files, splits and prompts
使用明确的测试划分
官方划分将任务 ID 11–510 用于测试，其他 ID 分别用于提示、验证或训练；另有人工检查的 sanitized 文件。对全部可用题目跑分，并不自动等于论文测试协议。
通过测试与多候选生成
论文通过测试检查生成的 Python，并研究大量采样候选的情况。应报告允许生成多少候选、怎样选出最终程序；多次尝试后找到答案，与一次作答可靠性不同。
Program Synthesis with Large Language Models · MBPP methods and analysis
示例会改变任务条件
参考设置使用少样本示例，论文也研究提示示例与可见测试的影响。比较模型时应固定这些输入；提供断言会比单纯文字需求增加信息。
Google Research MBPP · Dataset files, splits and prompts · Program Synthesis with Large Language Models · MBPP methods and analysis
三个测试不覆盖所有情况
论文记录了程序迎合断言的情况，也研究了对含糊题目的修订。应进一步查看失败和边界输入，不能把通过测试等同于完全正确；短任务对跨文件工程能力的说明有限。
Program Synthesis with Large Language Models · MBPP methods and analysis