AI EVALUATION, IN CONTEXT.BY EQUALITY MACHINE
Benchmark Radar.Benchmarks. Model results. Original sources.
/

电脑操作评测

了解界面元素定位、浏览器操作，以及完整桌面或移动端工作流的评测。

电脑操作评测要求系统与图形界面交互。有些只测一步决策，例如找到指令所说的按钮；另一些要求连续操作，并让应用进入指定状态。因此，ScreenSpot 一类元素定位任务与 OSWorld 一类桌面工作流回答的是不同问题。仅操作终端的编程智能体属于“工具与智能体”，不能仅因使用电脑就归为图形界面操作。

这些评测测量什么

  • 界面定位把文字指令对应到可见元素或屏幕位置。
  • 工作流评测检查导航、出错后的恢复，以及单个或多个应用中的任务完成。
  • 手机、浏览器与桌面环境的控件、权限和状态并不相同。

如何阅读结果

  • 先确认智能体能看到什么：截图、无障碍树、DOM，还是几种信息的组合。
  • 比较前核对应用版本、屏幕分辨率、操作步数限制和初始状态。
  • 查看最终状态是否有明确验收，并区分它与“点击序列符合参考答案”的评价。

需要留意的限制

  • 点得准不等于能完成长任务。
  • 沙箱中的工作流成功，不能证明系统在真实账户、持续变化的网站或不可撤销操作中同样可靠。

参考资料

  1. OSWorld and OSWorld Verified
  2. SeeClick and ScreenSpot
  3. AndroidWorld

浏览此类评测 18 条来源记录

搜索并筛选这些评测

相关专题

工具与智能体评测多模态评测安全与可靠性评测