陆军军医大学第一附属医院（西南医院）：面向高质量临床研究的医学AI能力生成服务平台建设与应用

　　2023年医院新兴技术创新应用典型案例征集活动经行业专家背靠背盲审以及终审，共选出24篇典型案例，将陆续刊登出来，以飨读者。

　　1项目简介

　　近年来，随着医学多模态数据的不断汇聚和人工智能(AI)技术的迅猛发展，基于大数据的临床研究已成为医工交叉融合的热点方向，越来越多的临床研究趋向于使用人工智能技术对医学数据进行建模、训练、分析，形成回顾性结论或前瞻性预判。2019年，科技部印发了《国家新一代人工智能开放创新平台建设工作指引》的通知，要求开展细分领域的技术创新，把已经形成的标准化、模块化的模型、算法、中间件及应用软件进行开放共享服务。对医疗行业而言，如何将大量文本、影像等多模态数据进行关联性应用，建立符合医学数据特征的模型构建方法等主要瓶颈问题亟待解决。

　　针对临床研究与应用的复杂场景，陆军军医大学第一附属医院(西南医院)将数据处理、模型训练、分析决策等环节的关键技术进行流程化、颗粒化、工程化处理，研发医学AI能力生成服务平台，形成文本与影像智能搜索、医学研究模型构建、医学AI模型应用、统计分析等功能，使临床医生拥有属于自己的数据制备能力、建模训练能力、知识构建能力、分析决策能力，以满足其自主化、个性化的临床研究与应用需求。医学AI能力生成服务平台的建设与应用将是AI技术在医学领域深层次发展的重要方向，对提升临床研究水平与辅助诊断能力具有积极作用和重要意义。

2关键技术或平台功能描述

　　(1)关键技术

　　重点解决文本、影像数据的多维综合分析处理与跨模态检索匹配、医学影像数据自动化标注、医学研究模型自动化构建与自适应调参三大关键技术。

　　1)图文结合的医学多模态数据匹配技术

　　基于机器视觉与深度卷积神经网络技术，并采用特定算法研究病灶的全征象检出，包括钙化、肿块、结构扭曲和不对称等。对分型、征象全面识别、自动配准等进行图像的结构化信息提取，并与检查结论等已进行结构化与标注化的报告信息进行匹配，实现多维综合分析处理与跨模态检索匹配。

　　2)医学影像数据自动化标注技术

　　利用机器学习模型，由影像智能分析引擎自动生成标注信息，实现分层次的卷积神经网络(CNN)网络模型生成不同层级的输出词汇，算法模型自动对病灶进行检测，圈定ROI区域，并能够对检测的ROI进行分类，甄别病灶ROI及非病灶ROI，并对病灶ROI进行检测结果及定位输出。自动化标注技术支持在病灶所在位置画出ROI后，自动计算结节大小、位置、密度、体积、CT值、风险等级、良恶性概率、相似病例等信息。

　　3)医学研究模型自动化构建与自适应调参技术

　　采用知识表达、认知计算等算法模型构架。借助机器学习模型算法、影像深度学习模型算法和迁移学习模型算法，研究自适应调参技术，包括机器学习的超参数配置，深度学习的参数优化算法自动化选择等。

　　(2)平台主要功能

　　研发构建的医学AI能力生成服务平台包含数据层、算法层、工具层和应用层。其中，数据层对多模态数据进行采集、汇聚与治理;算法层提供数据算法包、算法引擎、分析与判读等功能;工具层集成数据挖掘、分析、服务工具;应用层形成多病种图文一体数据库、智能检索、科研支撑等应用，如图1所示。

图1 平台功能架构图

　　1)图文结合的多模态数据库与搜索引擎

　　结合医疗专业术语的语义结构，实现了医疗语义信息从原始的自然语言表达，扩展分析为结构化的Key-Value模式。对原文使用关键词进行搜索，满足多个搜索条件间的逻辑关系。对影像数据进行清洗筛选和重采样，支持影像高维度量化变量提取，将影像特征提取的数据纳入数据库，支持影像tag、影像病灶轮廓信息检索，如图2所示。

　　2)医学AI智能分析算法模型

　　机器学习训练和评估：集成影像处理算法包，建立影像数据标注、多维度特征提取、特征选择、模型建立、研究结果分析全流程的医学模型自建功能。提供了包括逻辑回归、随机森林等14种机器学习模型，同时提供AutoML功能，可让临床医生在不了解机器学习的情况下建立自己的临床诊断模型，并提供多维度的评价指标及图表评估模型，如图3所示。

图3 机器学习效果评估图

　　深度学习训练和评估：封装常规深度学习训练框架的编程部分，使得临床医生可通过简单的人机交互完成模型训练、参数调节和评估。提供了包括数据处理、超参数配置、数据增强、模型选择、模型评价等功能，包含了病灶分类、病灶分割以及病灶检测等场景，辅助临床医生实现对医学影像图像的自动智能判读，如图4所示。

图4 深度学习模型训练图

　　3)医学AI模型应用

　　影像智能判读：对肺结节、血管、乳腺钼靶、骨龄等多类型影像进行临床医学判读，提示病灶位置、病灶类型、病灶性状等信息，自动化生成解读报告，帮助临床提高病灶定性解读能力、病灶量化分析能力。可对同一个患者的多次同类型检查进行病灶配准，对病灶变化进行信息提取，也可通过临床医生自建的模型进行影像数据判读，如图5所示。

图5 肝脏病灶识别诊断图

　　临床Web应用：利用生成的临床模型，生成Web临床应用，可支持医生使用新患者的数据，进行表单的录入，以实现对病人的预测及分析，输出诊断结果及具体概率。

　　API接口调用：提供API调用的方式进行应用场景支持，在PACS业务系统中，可通过API形式调用影像判读模型进行影像判读与结果分析;在诊疗过程中，通过门诊、住院医生站调用API，传入现病史、检查检验结果等数据，可获取到临床诊疗模型的疾病预测结果。

　　4)统计分析

　　集成现有SAS、R、Python等编程分析工具，可对特定医学科研场景提供全流程统计分析设计与报告，包括数据预处理、统计描述、结果输出及统计报告生成。提供描述性统计、数据分布探索及组间比较、相关性分析、危险因素分析等30余种分析方法，内嵌设计好的语句，智能化根据数据类型进行相应统计分析，自动输出中英文统计分析报告，如图6所示。

图6 统计分析方法图

3应用效果

　　经过两年的项目建设，医学AI能力生成服务平台已完成我院自1999年以来的1千余万名患者、5千余万份病历、30余万份影像序列的数据治理，形成临床结构化条目近万个。近3个月，已为全院临床科室提供了近5000次数据搜索服务，基于该平台共建立了121个项目研究队列，为临床研究提供了数据与工具支撑。形成了乳腺癌、肝癌两大病种的图文一体库，影像结构化条目212个，基于图文一体库共建立了42个回顾性研究队列，13个前瞻性研究队列。同时，平台提供了肺分割模型、肝脏分割模型等28个影像模型，14个临床模型，30余种统计学分析方法，如图7所示。

图7 应用效果图

　　医学AI能力开放与应用服务平台形成了从数据采集、模型建立、统计分析于一体的颗粒化、流程化功能模块，使医生可以在无需编程能力的情况下进行AI算法的构建和训练，进一步打破了AI应用在临床问题研究上的技术和工程阻碍，提升了临床研究流程的效率和产出。同时，临床医生可以将训练好的AI模型根据特定目标组装成临床数据处理流，并可分享给其他临床医生使用，通过上传所需分析的临床数据，即可获得模型预测结果，从而实现科研到应用的快速转化。

4总结展望

　　医学AI能力生成服务平台聚焦临床研究与诊疗场景，依托大数据与人工智能相关技术，探索了流程化、自主化的服务模式，重点解决了“数据制备—数据标注—建模训练—统计分析—知识构建—应用服务”全链条的关键技术集成，最终实现产品化与临床应用。接下来，将重点从功能建设、应用评估两个角度重点评价平台的性能指标和应用效果，形成循环反馈与改进机制，促进迭代优化。

　　平台应用还可结合临床专家经验，在诊疗标准建设、诊断治疗评价等方面发挥AI算法优势，提升诊断、治疗、预后等环节的规范化和同质化服务能力。同时，平台所建立的预测、分类、推理等技术能力，可在病历质控、危急值预警、DRG预测等方面进行深度拓展，实现AI技术辅助医疗管理的目标。

　　申报单位：陆军军医大学第一附属医院(西南医院)

　　联合申报单位：北京深睿博联科技有限责任公司

　　技术方向：大数据、医学人工智能

　　业务领域：临床应用、医学科研