LLM-BabyBench

LLM-BabyBench是一个专门评估大语言模型在交互环境中规划和推理能力的新基准测试套件。基于BabyAI网格世界的文本适配版本，该基准评估LLMs在三个核心方面的表现：预测动作对环境状态的影响（Predict任务）、生成低级动作序列以实现指定目标（Plan任务）、以及将高级指令分解为连贯的子目标序列（Decompose任务）。基准包含16个难度级别，提供三种文本格式（Narrative、Structured、JSON），并配备OmniBot专家代理用于生成基准数据。