AI EVALUATION, IN CONTEXT.BY EQUALITY MACHINE

医疗评测

区分医学知识问答、临床文书、沟通和决策支持的评测。

医疗评测考查具体的医疗相关任务。回答考试题、总结患者病历和起草容易理解的照护说明,需要不同的证据与标准。MedHELM 明确围绕临床任务组织评测,包括文书、沟通和决策支持。选择评测时应保留这种区别:知识考试分数,不是临床工作流表现的直接测量。

这些评测测量什么

  • 知识问答评估模型对指定医学题集的回答。
  • 文书任务检查生成文本是否保留相关事实,并避免添加无依据的内容。
  • 沟通和决策支持任务可能采用专家制定的标准,而不是一个完全固定的答案。

如何阅读结果

  • 检查专科、患者群体、语言,以及执行任务时可获得的信息。
  • 确认评分使用精确答案、临床人员复核,还是模型评审,并阅读其规则。
  • 核对数据访问条件;代码公开,不代表所有底层患者数据都能公开获取。

需要留意的限制

  • 单靠评测成绩,不能证明临床安全、患者获益,或适合某个具体医疗场景。
  • 平均分可能掩盖少见病例中的严重遗漏;除总体质量外,还应查看错误类型与受影响群体。

参考资料

  1. MedHELM research paper
  2. MedHELM project and task taxonomy

浏览此类评测 56 条来源记录

搜索并筛选这些评测