从基础概念到具体任务,了解如何选择评测、核对分数与查阅证据。
分清评测基准、一次评测运行与排行榜,用它们回答各自适合的问题。
按顺序核对任务版本、指标、工具、预算、不确定性和报告来源的实用方法。
先把智能体的工作对应到可验证结果,再选择一组覆盖不同失败方式的评测。
AgentCyberRange 在 Web 应用和多主机网络靶场中评估智能体,并设置不同程度的任务线索。
Cybench 使用专业 CTF 竞赛题评估智能体,并通过可选子任务观察最终答案之前的解题进展。
CyberGym 测试智能体能否把真实软件的漏洞报告转化为可验证的复现用例。
Agent 能否读懂陌生仓库、跨文件实现新功能,同时保持已有功能正常?DeepSWE 用原创工程任务考察这一完整过程。
ExploitBench 对已知 V8 漏洞上的不同能力分别验证,呈现阶段性进展,而非仅给出单一成败结果。
智能体需要理解工作环境、完成修改,并交付能够通过程序验收的结果。