AI EVALUATION, IN CONTEXT.BY EQUALITY MACHINE
Benchmark Radar.Benchmarks. Model results. Original sources.
/

长上下文评测

区分“能接收长输入”和“能可靠检索、整合、总结其中的信息”。

长上下文评测检验系统能否利用分散在大量输入中的信息。模型宣称的上下文窗口描述的是容量，不是利用这些空间的质量。找到隐藏短语是一种有用检查，但比较文档和总结长篇故事还需要其他能力。RULER 包含简单检索之外的任务；HELM Long Context 结合多个任务类型，而不是把输入长度直接当成质量分数。

这些评测测量什么

  • 检索检查系统能否从干扰材料中找到相关证据。
  • 多跳推理和聚合任务要求结合不同位置的事实。
  • 总结任务要求把大量原文压缩为短输出，同时保留内容覆盖和忠实性。

如何阅读结果

  • 记录实际测试长度、分词器、截断规则，以及关键信息所在位置。
  • 分别看不同长度和任务的表现，不只看总平均分。
  • 确认模型收到的是全文，还是外部检索系统预先筛选的段落。

需要留意的限制

  • 人工构造的干扰文本，可能比真实文档中的矛盾证据更容易排除。
  • 智能体执行很多步，不自动等于长上下文测试；步骤之间可能已压缩或丢弃记忆。

参考资料

  1. RULER benchmark and configurable tasks
  2. HELM Long Context methodology

浏览此类评测 81 条来源记录

搜索并筛选这些评测

相关专题

语言评测推理与数学评测工具与智能体评测