大模型与智能体训练 › 对标医疗基准榜单

主流医疗评测基准2026 年 10 月核对

国内外主流医疗大模型评测基准一览:按六大类列出 28 个重点基准的规模、语言与公开情况,介绍准确率、评分细则、执行结果三种评分方式,并按能力维度看公开基准的覆盖情况。

28个重点基准6大类3种评分方式

01基准一览

六大类 28 个重点基准

右上角标签为语言;顶部带色条的基准不能直接下载(见图例)。点开卡片可看计分方式、代表成绩与关键发现。

中文综合6

知识与考试4

开放对话与综合3

智能体与工具5

多模态7

安全与幻觉3

无色条:公开,可直接下载(19)部分公开(7)需登录或签协议(1)未公开,仅样例(1)中中英英语言

规模取论文或官方仓库口径,不同版本略有出入;数据地址、规模与许可已于 2026 年 10 月对照论文与官方仓库核对。

02怎么评分

从选对答案,到按细则打分、看执行结果

头部模型在 MedQA 上已超过 90%,考试题的区分度接近耗尽;新基准转向逐题评分细则与真实任务执行。

  1. 闭式题 · 准确率

    题库型,出现最早、数量最多

    CMExamCliMedBenchCBLUE / PromptCBLUEMedQAMedMCQAPubMedQAMedXpertQAMedCalc-BenchVQA-RADSLAKEPathVQAPMC-VQAOmniMedVQAGMAI-MMBenchMed-HALTMedHallu
  2. 逐题评分细则 · 模型评审

    医生为每道题写评分细则,按要点覆盖率给分

    ClinConsensusHealthBenchMedBench 开放题
  3. 执行结果 · 任务成功率

    在病历系统、数据库、模拟诊室里真正完成任务,看结果对不对

    MedAgentBenchEHRSQLAgentClinicMedAgentGymMedBench 原子技能

MedHELM、Medmarks 是“基准的基准”:把几十个现成基准装进统一框架,闭式题用准确率,开放题用评审团,两种打分并用。

以 HealthBench 为例:按医生写的细则逐条打分

HealthBench 由 OpenAI 于 2025 年发布:262 名医生(来自 60 个国家、26 个专科)为 5,000 段健康对话逐段编写评分细则,共 57,237 条。模型裁判逐条判定回答是否满足,命中即得该条分值,扣分项照扣。

一道题的三种回答

用户只问:“一天一次够吗?”

只追问“指什么药、什么事”56%
追问,并提醒遵医嘱、分点作答100%
臆断是阿莫西林并直接给剂量,且回答冗长−15%

该段细则正分合计 39 分;得分=命中细则分值之和(含扣分)÷ 正分合计。

主要发现

写全、问对,比文笔更重要

  • 约 30% 的细则是扣分项:臆断、错误建议、过度转诊都会倒扣,单段得分可以为负
  • 完整性约占得分 40%、准确性约 32%,沟通质量与指令遵循合计约 11%
  • 模型最普遍的短板是该追问时不追问:信息不足时“追问最关键的信息”这条,GPT-4.1 只达 0.19,o3 仅 0.14
  • 非英语对话约占 18%,其中中文只有几十段

每条样本的官方字段

  • prompt多轮对话,以用户发言开头和结尾
  • rubrics评分细则,每条含内容、分值(−10 到 +10)与维度标签
  • example_tags主题与情境类别,决定适用哪些共识细则
  • ideal_completions_data医生撰写的理想回答

03覆盖对照

按能力看覆盖:哪些能力已有公开基准

从文本、影像与多模态、智能体、专项技能四类能力出发,逐项列出可作参照的公开基准,以及尚无公开资源的部分。

类别能力覆盖可作参照的公开基准尚无公开资源的部分
文本知识问答有参照CMB-ExamCMExamMedQA(MCMLE)PubMedQA(文献问答)HealthBench(健康咨询)中文考试题资源充足;康复、用药指导、心理类暂无公开中文集
医学文本生成空白MedHELM 病历生成类(多为私有或需资质)中文病历生成、摘要、科普、教学案例暂无公开基准
临床推理有参照CMB-ClinClinConsensusMedXpertQAMedCalc-Bench(量表计算)基层诊疗、治疗效果预测暂无公开中文集
病历理解与质控部分CBLUE / PromptCBLUE(抽取、术语)病历质控、影像报告质控、处方审核、医保审核与核算暂无公开基准
安全与伦理部分MedSafetyBench(英文,美国医学会伦理)未覆盖国内医疗核心制度与法规
影像与多模态影像识别与文字提取有参照GMAI-MMBenchOmniMedVQASLAKE(带检测框)VQA-RADPathVQA医学文献 OCR 暂无专门基准
图文理解部分PMC-VQASLAKEMedXpertQA(MM)报告生成、胸片质控、序列影像暂无公开中文集
多模态临床决策部分MedXpertQA(MM)多模态病程追踪、线上问诊图像暂无公开集
智能体任务规划部分AgentClinic目标分解、路径规划、自我反思暂无对应基准
工具调用有参照MedAgentBenchMedAgentGym—
场景交互部分AgentClinicHealthBench(多轮)意图识别、角色适配暂无对应基准
记忆与长上下文部分HealthBench(多轮)长程随访对话、长文档问答暂无专门基准
多智能体协作空白暂无公开基准整个维度暂无公开资源
专项技能数据查询有参照MedAgentBenchEHRSQLMedAgentGym中文数据仓库上暂无同类基准
检索增强部分Med-HALTMedHallu(幻觉与干扰识别)带出处引用的中文指南检索暂无公开基准
深度研究空白暂无公开基准整个维度暂无公开资源
安全攻防部分MedSafetyBench提示词注入等攻击样本暂无公开集

“空白”表示该维度目前没有可作参照的公开基准;“部分”表示只覆盖其中一部分任务。

联系我们

请将需求发送至以下邮箱,注明单位、联系方式与需求内容,将有专人与你联系。

专人对接zhouhuili@group-ds.com
发送邮件

医生入驻

关注服务号“古脉标注”,完成注册与资质认证,
即可参与标注与调研项目。

服务号“古脉标注”二维码

微信扫码关注,或搜索“古脉标注”

  1. 1扫码关注
  2. 2注册并认证资质
  3. 3自主接单