医疗评测考查具体的医疗相关任务。回答考试题、总结患者病历和起草容易理解的照护说明,需要不同的证据与标准。MedHELM 明确围绕临床任务组织评测,包括文书、沟通和决策支持。选择评测时应保留这种区别:知识考试分数,不是临床工作流表现的直接测量。
这些评测测量什么
- 知识问答评估模型对指定医学题集的回答。
- 文书任务检查生成文本是否保留相关事实,并避免添加无依据的内容。
- 沟通和决策支持任务可能采用专家制定的标准,而不是一个完全固定的答案。
如何阅读结果
- 检查专科、患者群体、语言,以及执行任务时可获得的信息。
- 确认评分使用精确答案、临床人员复核,还是模型评审,并阅读其规则。
- 核对数据访问条件;代码公开,不代表所有底层患者数据都能公开获取。
需要留意的限制
- 单靠评测成绩,不能证明临床安全、患者获益,或适合某个具体医疗场景。
- 平均分可能掩盖少见病例中的严重遗漏;除总体质量外,还应查看错误类型与受影响群体。