大模型与智能体训练 › 私有评测与联合榜单

长病程临床推理评测肺癌 · v0.1

公开医疗基准多为考试题。这套评测用真实肺癌长病程出题:在病程的某一天截断,只给模型当时已知的信息,截断之后病历里真实记下的内容作为参考答案。所有任务都从同一份临床本体派生,模型在题里分别扮演数字病人、主治医生和病历分析员。

4类能力10个任务D+0日期一律相对化

01模型扮演数字病人

结局预测(世界模型)

病人接下来会怎样,包括下一次主线治疗决定何时、因何出现。这里的“结局”指方案之后观察到的变化,包括短期变化,不限于终局;只问发生了什么,不问是不是这次治疗造成的,后者由 T08 结局归因来考。

T01

病人接下来会怎样

参考答案:病历记录

考什么世界模型能力:给出一次治疗方案,预测这位病人之后的真实变化。

给模型什么
截至本次方案当天的病程(此前每次治疗方案、之后已获知的变化、期间检查与评估的结果)+本次方案。
要它答什么
方案后 0–90 天的变化与疗效概率(好转 / 稳定 / 进展);下一个主线治疗决策的原因类别概率与距今天数(点估计+80% 区间);91–180 天、180 天以后的变化。
参考答案从哪来
临床本体中该治疗节点之后 0–90 天、91–180 天、180 天以上的结局记录;下一个主线治疗决策的天数为到下一个主线治疗节点的间隔(跳过检查节点),原因取自该节点记录的临床问题。
怎么计分
疗效类别命中;原因类别首位与前两位命中;天数区间是否覆盖真实值、点估计误差。均与“用其余病人的统计作答”的朴素参照对比。
防泄漏与口径
只按写进病历的时间截断;指向本题之后的衔接信息一律隐去;原因类别由规则判定,并经人工核对。

作答形式概率分类数值区间文字

看一道样例病程已压缩,日期已相对化
题面
  • D+0EGFR 突变肺癌,一线吉非替尼治疗中,继续原方案
  • D+91骨转移灶局部放疗,结束后回到吉非替尼
  • D+475复查提示一线进展,再次穿刺活检与基因检测:T790M 阳性
  • D+513本次方案:换用奥希替尼 80mg 每日一次(二线)

预测此后 0–90 天、91–180 天、180 天以后的变化,以及下一个主线治疗决策的原因和时间。

参考答案
  • 0–180 天:逐月规律取药,用药与随访连续
  • 180 天以后:复查病灶先“较前稍缩小”,后“较前稍增大”
  • 下一个主线治疗决策:方案后第 1,069 天;原因类别“疗程完成或病情受控”——维持近 3 年后首次出现可比影像,需确认疗效并建立复查节奏
T02

截至第 k 天

参考答案:病历记录

考什么时间推理与校准:在不同时间跨度上,事情发生了没有,概率给得准不准。

给模型什么
同 T01 的病程与本次方案,外加一个随机时点:方案后第 k 天(7–365 天,按对数均匀抽取)。
要它答什么
子任务 H1:截至该日下一个主线治疗决策是否已出现(概率)、若已出现在第几天、原因类别;子任务 H2:截至该日已经发生了哪些变化。
参考答案从哪来
H1 由下一个主线治疗节点的日期直接算出;H2 取本节点结局记录中日期不晚于第 k 天的部分。
怎么计分
H1 看判对率与 Brier 分数,按 ≤30 / 31–90 / 91–180 / 180 天以上分段报告;H2 看要点召回,由评审打分。
防泄漏与口径
抽样随机种子固定;H2 只取不跨越下一个主线治疗节点的时点。

作答形式二分类概率数值分类要点列举

看一道样例子任务 H1
题面
  • D+416ALK 融合阳性肺癌,启动克唑替尼靶向治疗
  • D+488肺部病灶放疗,继续克唑替尼
  • D+1334改口服依托泊苷维持,其后改长春瑞滨
  • D+1747本次方案:吉西他滨+卡铂+信迪利单抗,每 3 周一周期

截至方案后第 61 天(D+1808),下一个主线治疗决策是否已经出现?若已出现,在第几天、因为什么?

参考答案
  • 尚未出现:已出现的概率为 0
  • 天数与原因不计分
T03

开环推演

参考答案:病历记录

考什么长时程一致性:只给每一步的治疗方案,模型要靠自己前面的预测一路推下去。

给模型什么
系统提示词+每一步的治疗方案;模型每一步的输出作为下一步的历史,不给任何真实结果。
要它答什么
每一步都按 T01 的格式作答。
参考答案从哪来
每一步的参考答案同 T01。
怎么计分
逐步按 T01 计分,并与“每步都给真实历史”的 T01 相比,看掉了多少分;每条病程重复推演 3 次,看稳定性。
防泄漏与口径
整条病程只出现治疗方案;检查结果不给,由模型自行推断。

作答形式同 T01,多步连续

看一道样例一条病程共 9 步,节选前 5 步
每一步给模型的方案
  • 第 1 步 · D+0左大腿疼痛,按腰椎间盘突出诊治
  • 第 2 步 · D+82一线靶向:奥希替尼+安罗替尼+伊班膦酸钠
  • 第 3 步 · D+1126肾上腺与骨转移灶局部放疗
  • 第 4 步 · D+1339间质性肺炎:停奥希替尼+激素治疗,换用阿美替尼
  • 第 5 步 · D+1395加用培美曲塞+卡铂+贝伐珠单抗

每一步预测此后的变化;前一步的预测作为下一步的历史,不给任何真实结果。

参考答案(第 4 步)
  • 间质性肺炎经处理后“较前吸收”
  • 下一个主线治疗决策:方案后第 56 天;原因类别“进展”——影像大致同前,但 CEA 持续升高,疾病控制不足

02模型扮演主治医生

临床决策(策略)

医生会怎么做,多个问题之间怎么权衡。

T04

医生下一步会怎么做

参考答案:病历记录

考什么策略能力:与 T01 合成完整的“状态 → 动作 → 下一状态”。预测的是这家医院真实会怎么做,不是教科书上的最优解。

给模型什么
截至今天的病程,不含今天的决定。病程里“为什么进入下一步”的衔接说明一律隐去,避免泄露今天的决定。
要它答什么
8 类动作的概率:启动或更换方案 / 继续原方案 / 调整原方案 / 加局部治疗 / 停止或转支持 / 处理合并症或不良反应 / 先检查或取材 / 转科转院;具体措施(药名或操作名);理由。
参考答案从哪来
该节点记录的决策原文与实际执行情况(执行状态、首次执行日)。检查节点也出题:“先检查再定”本身就是一个决定。
怎么计分
动作类别命中;具体措施 F1(按通用名归一);因缺药、费用、病人拒绝等非临床因素做出的决定单独报告。
防泄漏与口径
不给该节点记录的临床问题原文,因为它常常已经写出了答案,例如“需更换为三代 TKI”。

作答形式概率分类措施集合

看一道样例病程已压缩,日期已相对化
题面
  • D+0 起EGFR 突变肺癌,吉非替尼一线、奥希替尼二线,维持多年
  • D+2702CT:原发灶、胸膜转移灶增大,肋骨破坏进展
  • D+2744增强 CT:持续进展
  • D+2745入院,开始培美曲塞预处理,复查 EGFR 基因

今天是 D+2761,医生今天会怎么做?

参考答案
  • 动作类别:启动或更换抗肿瘤方案
  • 具体措施:培美曲塞+卡铂化疗,联用地舒单抗
  • 原计划同时加用依沃西单抗,因靶向药停用未满 1 周,推迟到下一周期
T10

并行治疗对主线的影响

参考答案:加工判断,需医生复核

考什么多问题并行管理:抗肿瘤主线之外出现的新问题(毒性、感染、合并症等)怎么处理,处理之后抗肿瘤主线要做什么调整,对应临床上的暂停给药、减量、停药。

给模型什么
截至新问题出现当天的病程(衔接说明隐去)+新问题描述+当前的抗肿瘤主线方案。
要它答什么
并行治疗决策与结局;处理之后抗肿瘤主线实际怎样(不受影响 / 暂停后恢复 / 减量或降级 / 提前换线 / 中止);理由。
参考答案从哪来
临床本体中标注的伴发事件:主线决策 → 其他治疗方向出现的问题 → 并行治疗决策 → 结局 → 对主线的影响。
怎么计分
“对主线的影响”五分类准确率;并行治疗决策与结局的要点由评审打分。
防泄漏与口径
这类关系经医生复核确认后才作为参考答案;只出主线之外的问题,抗肿瘤主线内部的前后衔接不出题(由 T01 考)。

作答形式分类文字

看一道样例病程已压缩,日期已相对化
题面
  • D+416ALK 融合阳性肺癌,启动克唑替尼靶向治疗
  • D+488肺部病灶放疗,继续克唑替尼
  • D+605新问题:放疗后反复咳嗽咳痰,需与进展、感染鉴别

怎么处理这个新问题?处理之后抗肿瘤主线会怎样?

参考答案
  • 并行治疗决策:诊断放射性肺炎,予莫西沙星+甲泼尼龙,后改泼尼松序贯
  • 结局:症状改善出院,此后该诊断不再出现
  • 对主线的影响:暂停后恢复,症状控制后继续克唑替尼

03模型扮演主治医生

病程理解与归因

当前是什么状态,结局该算在谁头上。

T07

状态追踪与诊断归类

参考答案:病历记录+加工归类

考什么长病程状态追踪:某一天在用什么治疗;每个诊断是肺癌本身、转移引起、治疗引起,还是独立的共病。

给模型什么
截至某日的病程+一份诊断清单(名称与首次出现时间)。
要它答什么
当前的抗肿瘤治疗;每个诊断的角色(主诊断 / 继发 / 不良事件 / 共病)与确定程度(确诊 / 临床诊断 / 疑似 / 待定)。
参考答案从哪来
临床本体疾病层的角色与确定程度判据;当前治疗取截至该日最近的主线治疗节点。
怎么计分
当前治疗集合 F1;角色与确定程度的分类准确率,“不良事件还是共病”单独报告。
防泄漏与口径
确定程度随时间变化的(如先写“?请结合临床”、后来明确),按该日之前的记录判定。

作答形式集合分类

看一道样例节选 12 个诊断中的 4 个
题面
  • D+475骨继发恶性肿瘤
  • D+2702阻塞性肺炎 / 肺不张
  • D+2145肾功能不全
  • D+2340原发性高血压

截至 D+2752,病人正在进行什么抗肿瘤治疗?上面各诊断属于什么角色、确定程度如何?

参考答案
  • 当前治疗:含铂化疗前准备(培美曲塞预处理)
  • 骨继发恶性肿瘤:继发 · 确诊
  • 阻塞性肺炎 / 肺不张:继发 · 临床诊断
  • 肾功能不全:共病 · 确诊
  • 原发性高血压:共病 · 临床诊断
T08

结局归因

参考答案:加工判断,需医生复核

考什么长时程信用分配:一个结局有多少该算在某次治疗头上,混杂因素有哪些,能不能分开。

给模型什么
截至结局出现后的病程+被归因的治疗+观察到的结局。
要它答什么
份额(列了几项治疗就逐项给:主要 / 部分 / 微小 / 无 / 不可判定);可分离性(可分离 / 部分可分离 / 不可分离);混杂因素类别(多选);理由。
参考答案从哪来
临床本体的结局归因表:每条治疗链、每个时间尺度一行。
怎么计分
份额逐项按有序等级计分,每差一级扣 1/3,“不可判定”须完全一致;可分离性每差一级扣一半;混杂因素与理由不计分。
防泄漏与口径
参考答案是定性判断,不是观察到的事实,经医生复核后使用。

作答形式有序分类多选

看一道样例化疗后骨髓抑制
题面
  • 被归因的治疗D+2761 起培美曲塞+卡铂化疗
  • 观察到的结局化疗后第 7 天中性粒细胞 1.04×10⁹/L,诊断白细胞减少,予升白治疗

这个结局有多少该算在这次化疗头上?能否与其他因素分开?

参考答案
  • 份额:部分
  • 可分离性:不可分离——联合用药同日给药,化疗间期自然恢复并存,化疗前中性粒细胞已偏低
  • 混杂因素:并行干预、宿主因素(高龄、长期吸烟、多重共病)

04模型扮演病历分析员 / 质控医生

证据与时间纪律

知道什么、不知道什么,记录可不可信。

T05

该说“不知道”

参考答案:病历记录

考什么证据不足时的克制:记录里没有、或超出数据范围时,能不能说“无法判断”,而不是用常识编一个。

给模型什么
截至某日的病程;需要时附数据记录范围(末次接触日)。
要它答什么
是 / 否 / 无法判断三个选项的概率,以及依据。
参考答案从哪来
按规则出三种题:问题超出末次接触日(应答无法判断);检验项目被点名却没有结果(应答无法判断);病程中有明确记录的事实(应答是或否,作对照)。
怎么计分
三分类准确率;“无法判断”的精确率与召回率;Brier 分数。三种题数量大致均衡,一律答“不知道”拿不到高分。
防泄漏与口径
系统提示词写明“没写不等于没发生,数据结束不等于治疗结束或死亡”;对照题必须能在给出的病程里找到依据。

作答形式三分类概率

看一道样例超出记录范围
题面
  • D+2761培美曲塞+卡铂化疗
  • D+2769化疗后骨髓抑制,予升白治疗
  • D+2784末次接触,此后没有任何记录

D+2904 时,这位病人是否仍在接受抗肿瘤治疗?

参考答案
  • 无法判断
  • 末次接触为 D+2784,此后没有记录;数据终止不等于治疗终止
T06

医生当时知不知道

参考答案:病历记录

考什么时间卫生:区分“事情发生的时间”和“写进病历的时间”,后来写下的回顾不能当作更早那天的依据。

给模型什么
若干条记录片段(各带写成日期)+一个决策日。
要它答什么
每条信息在决策日能否作为依据(是 / 否),以及理由。
参考答案从哪来
临床本体为每个事件记下首次写进病历的时间,与事件发生日期分开记录。
怎么计分
逐条判对率;重点看“事件早、写入晚”的那类有没有被误判为可用。
防泄漏与口径
片段原文照录,只做日期相对化;同一事实出现在多份记录时,以最早写入的为准。

作答形式逐条是 / 否

看一道样例决策日 D+1334
题面
  • ①写成于 D+421:予克唑替尼靶向治疗
  • ②写成于 D+488:放疗科住院,出院诊断含药物性肝炎
  • ③写成于 D+605:住院,出院诊断含放射性肺炎
  • ④写成于 D+1728:回顾病史“约 D+643 停用克唑替尼,改口服依托泊苷”

站在 D+1334,每条记录里的信息能否作为当时的依据?

参考答案
  • ①②③ 可用:写成日期都不晚于 D+1334
  • ④ 不可用:事件发生在 D+643,但写进病历是 D+1728,晚于决策日
T09

找矛盾

参考答案:加工判断,需医生复核

考什么病历可靠性:区分真冲突、看似矛盾实则不冲突、可以裁决三种情况,不一律“取最新”。

给模型什么
同一病人在同一件事上的 2–3 条记录,带日期与来源类别。
要它答什么
关系类别(真冲突 / 不冲突 / 可以裁决);可以裁决时以哪条为准;理由。
参考答案从哪来
临床本体的冲突登记(时间线冲突、口径不一致、多源冲突),并收入已有定论、不冲突的条目作反例。
怎么计分
三分类准确率;真冲突的召回率。
防泄漏与口径
只收登记中给出两条以上原文的条目;三类题数量保持大致均衡。

作答形式三分类

看一道样例两次影像结论
题面
  • D+999头颅 MR:“未见异常信号”
  • D+1131头颅平扫:“少许腔隙灶”(对比 D+999 前片)

这两条记录之间是什么关系?

参考答案
  • 真冲突:两次结论并存,不作裁决
  • 相关诊断(脑小血管病)的确定程度因此只能记为“疑似”

联系我们

请将需求发送至以下邮箱,注明单位、联系方式与需求内容,将有专人与你联系。

专人对接zhouhuili@group-ds.com
发送邮件

医生入驻

关注服务号“古脉标注”,完成注册与资质认证,
即可参与标注与调研项目。

服务号“古脉标注”二维码

微信扫码关注,或搜索“古脉标注”

  1. 1扫码关注
  2. 2注册并认证资质
  3. 3自主接单