AI EVALUATION, IN CONTEXT.BY EQUALITY MACHINE

金融评测

理解财务文档问答、数值推理与证据检索,避免把它们等同于投资表现。

金融评测考查涉及金融语言、文档或工作流程的任务。回答公司报告中的问题,可能需要找到正确期间、读取表格,并按指定公式组合数字。FinQA 侧重财务报告中的数值推理,FinanceBench 关注有文档依据的金融问题。这些任务有助于观察分析行为,但不衡量未来投资收益。

这些评测测量什么

  • 文档理解把问题对应到正确公司、报告期间和证据。
  • 数值推理检验数量运算,包括数量级、正负号与单位。
  • 检索增强任务还取决于系统向模型提供了哪些文档和段落。

如何阅读结果

  • 确认相关证据是直接提供、需要检索,还是系统无法获取。
  • 检查评分对象是答案、计算过程、支持性引用,还是同时检查三者。
  • 区分开放分析与单一标准答案的问题,并查看允许误差和可接受单位。

需要留意的限制

  • 正确计算历史数据,不代表具备预测、判断投资适当性或满足监管要求的能力。
  • 文档年代和覆盖范围很重要;评测未必代表变化后的报告惯例或某个特定市场。

参考资料

  1. FinQA official dataset and evaluation
  2. FinanceBench official dataset

浏览此类评测 32 条来源记录

搜索并筛选这些评测