李明：医疗大语言模型评估，不只是“考试”

想象一下，医院招聘一位新毕业医学生，你会如何评估他？考理论知识、观察临床操作、看毕业院校、查绩点、审规培证，还是参考实习期间的带教反馈？这些指标能衡量他当前的水平，但判断他未来能不能成为好医生，总觉得现有的评估方式还差点意思。

同样医疗大语言模型的评估也很复杂。它不是一个简单的“通过/不通过”或者“好/不好”测试，而是一个多层次、多维度的系统性工程。

首先，系统性框架评估——看“综合素质”就像医院招聘要看学历、论文、临床技能和职业道德一样，系统性框架评估从宏观角度给AI“画像”。其次，基线测试——考“专业知识”这是AI的“执业医师考试”。国内外已开发出数十个测评工具，比如MedQA、MedMCQA、PubMedQA和MMLU测评工具。这些测试用标准化的医学考题，检验AI的知识储备、理论水平。最后是特定任务测试——是检验“实战能力”让AI真刀真枪地处理临床任务：分析真实病例、生成诊疗建议、与患者对话……由医生专家打分评判。这三关层层递进，从框架到理论最后到实践，从宏观到细节，构成了一套相对完整的评估体系。

国际的医疗大语言模型评估框架

国际上，医疗大语言模型的评估已有不少方法。以斯坦福大学HAI实验室开发的MedHELM框架为例，它从医疗业务角度定义了五大核心任务：临床决策支持、临床记录生成、患者沟通与教育、医学研究辅助、行政管理与工作流程，涵盖121项具体医疗任务。韩国学者提出的评估体系则更贴近临床实际，他们建立了基于5项指标的评估系统：适当性、准确性、结构/格式、简洁性、临床有效性。医学专家通过双盲独立评审，对模型的输出进行打分，同时对错误进行分类与统计分析。此外，随着智能体时代的到来，新的评估框架也应运而生，CRAFT-MD（Conversational Reasoning Assessment Framework for Testing in Medicine，医学测试对话推理评估框架）。这一基于多智能体模拟的自动化评估系统通过“医生-患者-评分员”三元架构实现闭环测试：由被测临床大模型扮演医生进行递进式问诊并输出最终诊断，患者智能体依据标准病历摘要将医学术语转化为通俗表达并按需渐进披露信息，GPT-4评分智能体负责比对诊断结果与标准答案的语义等价性，辅以专家团队对模拟对话的抽样核查，系统性校验智能体幻觉、术语使用规范及评分准确性。

基线测试：医疗大模型的“高考”题库

如果说评估框架是考试大纲，那么各种基准测试工具类评估就是具体的“考试题库”。全球研究人员开发了多种专业基线测试，成为评估医疗大模型常用工具。比如MedQA是一个基于美国、中国内地及中国台湾地区医师执照考试的题库，专门测试模型的医学知识掌握程度。而MedMCQA则包含超过2.4万道题目，覆盖21个医学科目，数据来源于印度顶尖医学院的考试。更专业的是PubMedQA，它要求模型阅读生物医学研究摘要后进行推理回答，重点考察科学逻辑能力而非简单记忆。这些测试工具各有侧重，有的考察知识广度，有的测试推理深度，有的关注多模态理解（如同时处理文本和影像）。MMLU测试甚至覆盖57个不同领域，其中6个专门针对医学。值得注意的是，这些测试工具正在从“单一模态”向“多模态融合”演进。最新一代的评估工具如GMAI-MMBench，已经开始整合文本、影像甚至基因组数据，评估模型在复杂医疗场景下的综合能力。

中国特色的评估体系

在国内，医疗大模型的评估同样形成了自己的特色路径。中国信息通信研究院牵头制定了《医疗健康行业大语言模型总体技术要求》 系列标准，从技术、测试、成熟度三个维度构建了完整的评估框架。这一体系将模型能力划分为L1-L5五个等级，形成了从技术验证到持续进化的完整进阶路径。与国外体系相比，国内的评估更强调场景适配与本地化实践。

在具体基线测试工具方面，国内研究机构也开发了多个有影响力的评估平台：中文医学基线测试包含超过28万道医学题目和74例真实复杂病例，不仅测试知识准确率，还通过模拟医患对话评估模型的临床沟通能力。CBLUE作为首个中文生物医学语言理解评估基线，覆盖了医学文本信息抽取、术语标准化、文本分类等多个专业任务。GenMedicalEval则基于4万+医学考试真题和5.5万+真实病历，构建了包含10万+测试样本的评估体系，特别关注模型的安全规范能力。

任务测试上，更多从实际案例的角度上，就具体某个维度进行评估。比如病历提取以及内容生成能力，推荐方案的准确性，“虚幻”率等。

国内有些研究团队，结合具体病例从临床测试关注临床安全、便捷、诊疗价值，在技术测评上关注抽取、匹配稳定性与可复现性来进行评估。

“中国式”评估的一个显著特点是强调了本地案例和数据集的测试，而且融合中西医结合。许多测试工具特别包含了中医药领域的知识评估。

临床实战：当AI遇上真实病例

基准测试固然重要，但真正的考验在临床实战中。越来越多的研究开始从真实临床场景出发，评估大模型的实际表现。

美国斯坦福大学团队对2022-2024年间发表的519项LLM临床应用研究进行了系统回顾，发现了一些值得关注的趋势：仅有5% 的研究采用真实临床数据，大多数仍依赖模拟试题或专家生成的内容。在测试内容上，医学知识考核占44.5%，诊断推理占19.5%，而对医嘱处理等实际操作类任务的研究明显不足。在肿瘤学领域，研究人员通过让大模型生成病理报告、回答开放性问题、制定诊疗方案等任务，评估其专业能力。虽然结果显示出应用前景，但部分研究表明，模型的输出与专家判断仍存在明显差距。

这揭示了一个关键问题：在受控测试中表现优异的模型，未必能在复杂的真实临床环境中保持同等水平的表现。

评估的局限性

当前的评估体系并非完美，它面临着多方面的挑战和局限。

数据质量问题首当其冲。许多评估使用的医学数据存在时效性问题，无法反映最新的临床指南和医学进展。

评估指标不够全面是另一大问题。目前的评估多聚焦于准确性、召回率等技术指标，而对模型的解释性、决策透明度、伦理风险和潜在偏差关注不足。对出现的“幻觉”缺乏明确的提示。当模型用于辅助诊断时，医生不仅需要知道“是什么”，还需要知道“为什么”。

最近让医疗AI圈关注的一组对照研究来了——同一拨模型，两种评测，结论完全相反。

一篇是2026年6月登Nature Medicine的NYU头对头研究：把GPT-5.2、Gemini 3.1 Pro、Claude Opus 4.6三款通用前沿模型，跟两款"专业临床 AI"OpenEvidence、UpToDate Expert AI拉到同一张桌上，用MedQA医学知识题 / HealthBench临床对齐 / RCQ真实临床查询 三阶段递进评。结果通用模型在三个阶段全部压过专业工具。

另一边几乎是同期挂出的arXiv多专科医生测评，评委是专科匹配的执业医生（肾内科评肾内、肿瘤评肿瘤），盲测头对头比OpenEvidence vs Claude Opus 4.8 / Gemini 3.1 Pro / GPT-5.5。结论倒过来：OpenEvidence在准确性、临床实用性、来源质量、可验证性、完整性五个维度完胜三个通用大模型。

两篇论文结论相反原因主要源于研究设计、数据来源、评估方法和潜在偏倚，而非单纯"谁对谁错"。

“考试高手”不等于“临床能手”。就像有些学生擅长考试却不善解决实际问题一样，大模型也可能在基准测试中得高分，却在真实临床场景中表现不佳。这种“测试-实战”差距是当前评估体系面临的重大挑战。

特别值得注意的是，在国内医疗机构的实际部署中，大模型的应用场景更加多样化：从病历质控到中医诊疗，从病理分析到医保审核。这些特色应用对评估提出了全新要求，而现有评估工具往往难以全面覆盖。

科学评估的未来路径

医疗大模型评估亟待向科学化、系统化升级，核心在于突破“题库思维”：一是拥抱真实世界数据，从模拟题转向临床实景，同步破解数据隐私与可及性难题；二是重构指标体系，除准确率外，重点纳入误诊/漏诊率、公平性、可解释性及伦理合规维度，尤其在辅助诊断中需关注风险而非单纯得分。立足中国国情，评估需拓宽疾病谱系，强化中医药特色适配，并引入成本效益分析以保障经济可行性。最终，评估机制应向动态化演进，紧跟医学知识更新，防止模型“刷题”应试，推动评价重心从“技术验证”实质性转向“临床可信”，确保护航医疗安全。

作者简介

李明，博士，MBA，医学士，主治医师，研究员。主要研究领域数字健康、医疗人工智能、卫生政策。