NL2Repo

Evaluates generating a repository from a natural language description. Temperature=1.0, top_p=1.0, max_new_tokens=64k under 1M context.

评测信息与证据

本站保留来源报告的结果，不代表独立复测。请先核对任务版本、评测协议、分数单位和报告日期；不同运行条件不能直接合并为统一排名。

按来源中的观察顺序展示，顺序不代表排名。日期保留原始精度。

模型	数值	单位	协议	报告日期与口径	来源
Hy4 preview	58.9	percent	as printed in the report's benchmark table	2026-08-28 · document_publication	Hy4 preview
GLM-5.3-Flash	56.3	percent	temp 1.0, top_p 1.0, max_new_tokens 64k, 1M context, rule-based + LLM judge for hacking prevention	2026-08-27 · document_publication	GLM-5.3-Flash