大模型与智能体训练 › 对标医疗基准榜单
主流医疗评测基准2026 年 10 月核对
国内外主流医疗大模型评测基准一览:按六大类列出 28 个重点基准的规模、语言与公开情况,介绍准确率、评分细则、执行结果三种评分方式,并按能力维度看公开基准的覆盖情况。
28个重点基准6大类3种评分方式
01基准一览
六大类 28 个重点基准
右上角标签为语言;顶部带色条的基准不能直接下载(见图例)。点开卡片可看计分方式、代表成绩与关键发现。
中文综合6
- 计分
- 闭式题按准确率、F1 等程序判分;开放题按要点召回加模型评审。每条赛道的综合分为各维度平均,维度分为维度内各评测集平均。
- 成绩
- 平台榜单持续更新;可下载的自测集不含答案。
- 发现
- 维度里的评测集越少,单个评测集越重:按公开规则推算,医疗安全、医疗伦理各占大语言模型赛道 10%,相当于复杂推理里 5 个评测集;多应用协作一个评测集占智能体赛道 20%。
- 计分
- CMB-Exam 选择题看准确率;CMB-Clin 病例题由 GPT-4 对照参考答案,按 4 项各打 1–5 分。
- 成绩
- CMB-Exam:华佗II-34B 76.82,GPT-4 59.46。
- 发现
- 选择题分数高不等于病例能力强:华佗II-34B 在 CMB-Exam 上超过 GPT-4,在 CMB-Clin 上却低于 GPT-4,甚至低于其底座模型。
- 计分
- 准确率加加权 F1,选项字母串须完全一致;解析另用 BLEU、ROUGE 与参考解析比对。
- 成绩
- GPT-4 61.6%,考生 71.6%。
- 发现
- 中医药三类(中药学、中医学、中西医结合)合占 24.3%,是各模型最弱的一块;测试集的多选题全部出在药学和中药学。
- 计分
- 10 个场景看准确率,另 4 个场景用排序相关、ROUGE、相似度;14 个场景等权。
- 成绩
- 最好的通用模型 69.2,最好的医疗模型 38.7。
- 发现
- 题量不决定分量:临床路径排序只有 95 题,与 6,693 题的场景一样重;两个幻觉场景最好的模型也只有 25.0 和 21.2。
- 计分
- 每例有 30 条医生写的二元评分点,命中 10 条才开始得分(CACS@10),之后每多命中一条加分。
- 成绩
- 11 个模型的 CACS@10 在 17.8–32.9 之间。
- 发现
- 难度越高越难:低 28.5、中 24.8、高 18.0;用药安全、循证检索与指南对齐、影像病理解读是最弱的场景。公开的只有 900 例低难度层,且不含参考答案。
- 计分
- 各任务分别算 F1 或准确率,再等权平均;PromptCBLUE 的抽取类任务整条信息全对才算对。
- 成绩
- CBLUE 最佳模型 70.0,人类 77.1。
- 发现
- 更奖励“见过同格式的数据”:PromptCBLUE 上 GPT-4 少样本 0.518,6B 模型用官方训练集微调后 0.645、13B 达 0.710。
知识与考试4
- 计分
- 选择题准确率。业界常说的“MedQA 多少分”,指的是 USMLE 四选一测试集的 1,273 题。
- 成绩
- USMLE:Med-Gemini 91.1。
- 发现
- 已接近题目本身的上限:医生重审 1,273 题,约 3.8% 缺关键信息、2.9% 可能标错答案。中文 MCMLE 测试集有 21.8% 的题能在 CMB、CMExam 中找到原题。
- 计分
- 四选一准确率;测试集答案不公开,主流成绩多报在验证集上。
- 成绩
- 验证集:GPT-4-base 73.7,Med-PaLM 2 72.3。
- 发现
- 口腔题占验证集 31.5%,训练集里只有 4.9%;验证集一律选 A 就能得 32.2%。
- 计分
- 读论文摘要回答“是 / 否 / 也许”,看准确率与 Macro-F1。
- 成绩
- 榜首 82.0,人类 78.0。
- 发现
- 全答“是”准确率就有 55.2%,但 Macro-F1 只有 23.7%;“也许”只占 11%,在 Macro-F1 里却占三分之一。
- 计分
- 单选准确率;官方总分把 Text 与 MM 两个赛道按题数合并。
- 成绩
- o1 44.67(只测了 10% 抽样题),GPT-4o 30.37;医学生 42.60。
- 发现
- 官方规定只能用于评测,禁止任何形式的训练,也不允许公开样题。诊断类题约占总分一半。
开放对话与综合3
- 计分
- 医生为每段对话写评分细则,模型裁判逐条判定,命中即得该条分值,扣分项照扣。
- 成绩
- 主集 o3 0.598;Hard 子集最高 0.462(gpt-5-thinking)。
- 发现
- 最普遍的短板是该追问时不追问:信息不足时“追问最关键信息”这一条,GPT-4.1 只达 0.19,o3 仅 0.14。
- 计分
- 37 个基准等权,比平均胜率;闭式题看准确率,开放题由 3 个大模型组成评审团打分。
- 成绩
- 最高平均胜率 0.703(GPT-5)。
- 发现
- 胜率是相对分:同一模型成绩一分没变,只因榜上新加了更强的模型就会掉分。算分、写 SQL、编 ICD 码是把所有模型都压低的任务。37 个基准中 14 个为斯坦福私有、7 个需资质。
- 计分
- 可验证题程序判分,开放题由两个大模型评审;总分为按题量对数加权的胜率。
- 成绩
- 可验证榜第一 Gemini 3 Pro,胜率 0.6452。
- 发现
- 一个基准拆成的计分列越多,权重越大:MedConceptsQA 拆成易、中、难三列,占比是题量更大的 HEAD-QA v2 的 2.4 倍。
智能体与工具5
- 计分
- 查询类答案须与参考解完全一致;操作类逐字段核对智能体写入的医嘱。
- 成绩
- 论文最佳 Claude 3.5 Sonnet v2,69.67%。
- 发现
- 300 题来自 10 个模板。一步就能完成的题最佳模型 100%,要“查值、判断、再下单”的三步以上题只有 23.33%。
- 计分
- 看 SQL 执行结果是否正确,并考核能否识别不可回答的问题;2024 版答错一题扣 10 分。
- 成绩
- 2024 共享任务第一名 RS(10) 81.32。
- 发现
- 测试集 32.9% 是不可回答题,会拒答比会写 SQL 更重要;2024 版全部拒答也有 20 分。题目公开,病历库本身需 PhysioNet 资质。
- 计分
- 医生智能体须在 20 次发言内给出诊断,再由主持智能体判断是否与标准诊断为同一种病。
- 成绩
- AgentClinic-MedQA:o1-preview 80.6%,Claude-3.5 62.1%。
- 发现
- 考试成绩高不代表会问诊:GPT-4o 在 AgentClinic-MedQA 只有 34.2%,低于 GPT-3.5 的 36.6%。
- 计分
- 只看最终数字:小数允许 ±5% 误差,整数、日期须完全一致,没有部分分。
- 成绩
- 论文最好 GPT-4 50.9%(v1.0);第三方复现 Claude Sonnet 4.5 在 v1.2 上 80.5%。
- 发现
- 第三方审计认为 v1.0 测试集至少 27% 的答案可能有误;不同版本分数差别很大,比较时须注明版本。
- 计分
- 智能体在代码沙箱里运行,看运行结果是否命中标准答案;主榜为 8 个数据集等权平均。
- 成绩
- gpt-4.1 70.15;Qwen2.5-14B 经训练后 71.42。
- 发现
- 用成功轨迹做监督微调、再做强化学习,7B 模型从 16.89 升到 62.17,提升主要来自结构化计算题。12 个数据集中 7 个需资质。
多模态7
- 计分
- 封闭题看准确率;开放题各家口径不一(精确匹配、召回、词级 F1)。
- 成绩
- 图像不重叠的平衡划分下,o3、Gemini 2.5 Pro 封闭题 71–72%。
- 发现
- 官方测试集 203 张图里有 202 张在训练集出现过;封闭题全答“no”就有 48.9%。
- 计分
- 封闭题看准确率;开放题口径不统一(准确率、召回或大模型判定)。
- 成绩
- 全部 2,094 题:Lingshu-32B 89.2,GPT-4.1 72.2。
- 发现
- 中文题占测试集一半,但单独报中文成绩的研究很少;中英训练集合用时,72.4% 的测试题图片在训练中出现过。
- 计分
- 是/否题看准确率;开放题口径不一(精确匹配、BLEU、F1)。
- 成绩
- 是/否题最高 91.65,开放题最高 F1 62.69。
- 发现
- 测试集一半是是/否题;不看图、只按文字匹配训练集答案,是/否题就能得约 83%(推算)。
- 计分
- 四选一准确率;也可改成开放填空,但仍按选项判分。
- 成绩
- v2 测试集:Lingshu-32B 57.9%,GPT-4.1 55.2%。
- 发现
- 人工核验的 2,000 题里,不看图全选 B 就有 31.9%;只给图注、不给图,GPT-4 能答对 89.3%。
- 计分
- 让模型作答再对到选项,看准确率;另有一种比较各选项生成概率的打分方式。
- 成绩
- 公开部分 88,996 题:Lingshu-32B 83.4%,GPT-4.1 75.5%。
- 发现
- 疾病诊断占 57.4%;是/否题有 87.7% 的答案是“否”;单一来源 RadImageNet 占全库 44.3%。73 个来源中 31 个只给问答、不给图像。
- 计分
- 单选准确率,逐题平均;测试集答案不公开,需提交预测由作者判分。
- 成绩
- 测试集第一 GPT-4o 53.96。
- 发现
- 疾病诊断约占总分 46%;严重程度分级、术者动作识别等任务上,多数模型接近甚至低于随机。
- 计分
- 单选准确率;与 Text 赛道按题数合并为总分。
- 成绩
- o1 56.28(只测了 10% 抽样题),GPT-4o 42.80。
- 发现
- 不给图片,前沿模型也能答对 38%–49% 的题;去掉这些题后,Gemini-3-Pro 从 77.8 降到 52.3。
安全与幻觉3
- 计分
- GPT-3.5 按 1–5 分判断回答的有害程度,分越低越安全。
- 成绩
- 医疗模型在 GPT-4 子集上的平均有害度 1.90–2.98。
- 发现
- 数据里只有有害请求、没有正常请求,“什么都拒绝”也能拿最优分。题目按美国医学会伦理原则构造,红包回扣、医保骗保等国内常见风险基本没有覆盖。
- 计分
- 准确率,另有加减分口径(答对 +1,答错 −0.25)。
- 成绩
- 推理组 FCT 最好的 Llama-2 70B,42.21%。
- 发现
- 两个子集的标准答案全是“以上皆非”或“不知道”,只会这样回答的模型就能拿满分;七项里真正拉开差距的只有 FCT。
- 计分
- 判断回答是否含幻觉,看 F1,分易、中、难三档报告。
- 成绩
- GPT-4o 总体 F1 0.737,给参考知识后 0.877。
- 发现
- 一律判“有幻觉”F1 就有 0.667,高于 14 个模型中的 13 个;73.9% 的幻觉答案比正确答案短。
无色条:公开,可直接下载(19)部分公开(7)需登录或签协议(1)未公开,仅样例(1)中中英英语言
规模取论文或官方仓库口径,不同版本略有出入;数据地址、规模与许可已于 2026 年 10 月对照论文与官方仓库核对。
02怎么评分
从选对答案,到按细则打分、看执行结果
头部模型在 MedQA 上已超过 90%,考试题的区分度接近耗尽;新基准转向逐题评分细则与真实任务执行。
- 闭式题 · 准确率
题库型,出现最早、数量最多
CMExamCliMedBenchCBLUE / PromptCBLUEMedQAMedMCQAPubMedQAMedXpertQAMedCalc-BenchVQA-RADSLAKEPathVQAPMC-VQAOmniMedVQAGMAI-MMBenchMed-HALTMedHallu - 逐题评分细则 · 模型评审
医生为每道题写评分细则,按要点覆盖率给分
ClinConsensusHealthBenchMedBench 开放题 - 执行结果 · 任务成功率
在病历系统、数据库、模拟诊室里真正完成任务,看结果对不对
MedAgentBenchEHRSQLAgentClinicMedAgentGymMedBench 原子技能
MedHELM、Medmarks 是“基准的基准”:把几十个现成基准装进统一框架,闭式题用准确率,开放题用评审团,两种打分并用。
以 HealthBench 为例:按医生写的细则逐条打分
HealthBench 由 OpenAI 于 2025 年发布:262 名医生(来自 60 个国家、26 个专科)为 5,000 段健康对话逐段编写评分细则,共 57,237 条。模型裁判逐条判定回答是否满足,命中即得该条分值,扣分项照扣。
一道题的三种回答
用户只问:“一天一次够吗?”
| 只追问“指什么药、什么事” | 56% |
| 追问,并提醒遵医嘱、分点作答 | 100% |
| 臆断是阿莫西林并直接给剂量,且回答冗长 | −15% |
该段细则正分合计 39 分;得分=命中细则分值之和(含扣分)÷ 正分合计。
主要发现
写全、问对,比文笔更重要
- 约 30% 的细则是扣分项:臆断、错误建议、过度转诊都会倒扣,单段得分可以为负
- 完整性约占得分 40%、准确性约 32%,沟通质量与指令遵循合计约 11%
- 模型最普遍的短板是该追问时不追问:信息不足时“追问最关键的信息”这条,GPT-4.1 只达 0.19,o3 仅 0.14
- 非英语对话约占 18%,其中中文只有几十段
每条样本的官方字段
prompt多轮对话,以用户发言开头和结尾rubrics评分细则,每条含内容、分值(−10 到 +10)与维度标签example_tags主题与情境类别,决定适用哪些共识细则ideal_completions_data医生撰写的理想回答
03覆盖对照
按能力看覆盖:哪些能力已有公开基准
从文本、影像与多模态、智能体、专项技能四类能力出发,逐项列出可作参照的公开基准,以及尚无公开资源的部分。
| 类别 | 能力 | 覆盖 | 可作参照的公开基准 | 尚无公开资源的部分 |
|---|---|---|---|---|
| 文本 | 知识问答 | 有参照 | CMB-ExamCMExamMedQA(MCMLE)PubMedQA(文献问答)HealthBench(健康咨询) | 中文考试题资源充足;康复、用药指导、心理类暂无公开中文集 |
| 医学文本生成 | 空白 | MedHELM 病历生成类(多为私有或需资质) | 中文病历生成、摘要、科普、教学案例暂无公开基准 | |
| 临床推理 | 有参照 | CMB-ClinClinConsensusMedXpertQAMedCalc-Bench(量表计算) | 基层诊疗、治疗效果预测暂无公开中文集 | |
| 病历理解与质控 | 部分 | CBLUE / PromptCBLUE(抽取、术语) | 病历质控、影像报告质控、处方审核、医保审核与核算暂无公开基准 | |
| 安全与伦理 | 部分 | MedSafetyBench(英文,美国医学会伦理) | 未覆盖国内医疗核心制度与法规 | |
| 影像与多模态 | 影像识别与文字提取 | 有参照 | GMAI-MMBenchOmniMedVQASLAKE(带检测框)VQA-RADPathVQA | 医学文献 OCR 暂无专门基准 |
| 图文理解 | 部分 | PMC-VQASLAKEMedXpertQA(MM) | 报告生成、胸片质控、序列影像暂无公开中文集 | |
| 多模态临床决策 | 部分 | MedXpertQA(MM) | 多模态病程追踪、线上问诊图像暂无公开集 | |
| 智能体 | 任务规划 | 部分 | AgentClinic | 目标分解、路径规划、自我反思暂无对应基准 |
| 工具调用 | 有参照 | MedAgentBenchMedAgentGym | — | |
| 场景交互 | 部分 | AgentClinicHealthBench(多轮) | 意图识别、角色适配暂无对应基准 | |
| 记忆与长上下文 | 部分 | HealthBench(多轮) | 长程随访对话、长文档问答暂无专门基准 | |
| 多智能体协作 | 空白 | 暂无公开基准 | 整个维度暂无公开资源 | |
| 专项技能 | 数据查询 | 有参照 | MedAgentBenchEHRSQLMedAgentGym | 中文数据仓库上暂无同类基准 |
| 检索增强 | 部分 | Med-HALTMedHallu(幻觉与干扰识别) | 带出处引用的中文指南检索暂无公开基准 | |
| 深度研究 | 空白 | 暂无公开基准 | 整个维度暂无公开资源 | |
| 安全攻防 | 部分 | MedSafetyBench | 提示词注入等攻击样本暂无公开集 |
“空白”表示该维度目前没有可作参照的公开基准;“部分”表示只覆盖其中一部分任务。