AI EVALUATION, IN CONTEXT.BY EQUALITY MACHINE
Benchmark Radar.Benchmarks. Model results. Original sources.
/

工具与智能体评测

区分正确调用工具与完成多步工作，并把成绩理解为特定系统配置的评测结果。

智能体评测检验系统能否选择动作、观察结果，并继续推进目标。工具调用可能只是其中一环：选择函数并提供有效参数。完整任务还可能需要规划、记住之前的观察，并在工具失败时恢复。Berkeley Function Calling Leaderboard 区分多种工具调用设置，WebArena 等环境则评估系统通过应用完成工作的能力。

这些评测测量什么

  • 工具选择和参数构造，检查系统是否正确表达了需要执行的动作。
  • 多轮任务检查后续决策是否利用了先前输出和变化后的状态。
  • 端到端成功率衡量系统能否在允许的环境中实现要求的结果。

如何阅读结果

  • 模型、系统提示、智能体循环、工具和记忆策略，都属于被评测的配置。
  • 调用语法有效、执行正确、最终任务完成，是不同指标。
  • 检查交互限制，以及是否允许反馈、修复、重试或人工协助。

需要留意的限制

  • 标注在模型名下的成绩，也可能包含外围软件的贡献。
  • 完成更多任务可能需要更多时间或工具调用；应把资源成本与完成率一起看。

参考资料

  1. Berkeley Function Calling Leaderboard
  2. WebArena Verified

浏览此类评测 301 条来源记录

搜索并筛选这些评测

相关专题

编程评测电脑操作评测网络安全评测