北京肿瘤医院:基于大数据的静脉血栓风险智能预警系统设计与建设
CHIMA 2020医院新兴技术创新应用优秀案例征集自启动以来,获得了业内各方的积极响应。CHIMA将陆续刊登参评案例,展示医疗信息技术科技创新应用成果。案例征集截止日期为11月5日,欢迎大家踊跃投稿。
静脉血栓栓塞症(VTE)包括深静脉血栓(DVT)和肺栓塞(PTE),是导致肿瘤患者院内非预期死亡和围手术期死亡的重要原因。VTE的提前预防、及时治疗是降低VTE发病率及死亡率的重要途径。研究指出采用围手术期VTE预防措施后,患者的死亡率显著下降。近年, 我国已开始重视医院内VTE防治体系的建设和管理工作。院内VTE防治工作不仅已纳入医疗质量管理和监控体系, 同时将其提高到医院管理、医疗质量管理及患者安全管理的高度。
医院现行VTE预防手段主要采用评估量表实现。外科采用Caprini评估量表,内科使用Padua评估量表。既往评估量表是以表单形式存在,集成在电子病历系统中,由临床医师来评估。医务管理部门要求临床医师对患者书写病历时必须进行VTE评估量表评价。量表中所有指标信息由当前医师根据患者病情手工点选评价,系统基于医师所点选项目自动生成VTE评分,并基于评分结果告知医师当前患者VTE风险程度。医师依据风险程度开展VTE预防及治疗措施。传统手工评估模式弊端在于:1、操作评价医师需要完全掌握当前患者病情,包括各种报告。且所有指标都是由医师根据患者病情主管判断选择,主管指标判断容易产生误差;2、费事费力,根据调研发现平均每个患者评估时间在1~2分钟左右,影响效率;3、无法做到实时评估,VTE风险发生率高是因为患者病情在实时变化,这种情况下无法要求医师实时根据病情进行评估;4、评估率低,医院自2019年4月上线Caprini量表手工评估以来评估率难以突破90%。见下表:
表一 Caprini量表手工评估率
日期 | 2019年4月 | 2019年5月 | 2019年6月 | 2019年7月 |
评估率 | 11% | 40% | 53% | 87% |
基于上述医院VTE运行现状,结合医院已经部署上线的医疗大数据平台,考虑利用大数据技术,实现VTE的智能化评估与预警。
基于大数据技术的VTE风险智能预警系统主要依托医院内部大数据平台建设。院内大数据平台由数据采集、数据清洗、数据汇聚、数据备份、数据导出等五部分组成,利用大数据平台中后构化的患者医疗信息,依据评估量表分值要求,根据后结构化信息点实时计算当前患者VTE风险得分,并依据风险得分给出当前患者VTE风险程度及预防措施,并将相关得分推送到业务系统中,以便医师随时掌握患者病情,及时干预,进行预防及治疗。总体技术方案如下:
(1)指标提取
VTE风险智能预警系统的核心在于评价指标的提取。医院采用的是国际通用的Caprini评估量表和Padua评估量表。基于上述两个评估量表,首先由院内VTE核心专家组明确所有评估指标的提取内容,包括指标提取文书、位置、提取方式等。
(2)评分模型训练
在确定评价指标提取内容后,利用医院既往已发生VTE样本数据,采用回顾性研究方式,对明确的指标提取内容进行效果评价。评价指标至少包括:灵敏度、特异性等。本次研究使用Odd Ratio(OR值)对所有风险因素与VTE阳性的关系做单因素分析,挑选出对于发生VTE事件的OR值具有统计显著性的风险因素。
进一步,本次研究使用了多种建模方法实验和建立改进版VTE风险模型,具体建模方法包括:逻辑回归(logit regression,LR),朴素贝叶斯(Naïve Bayes),决策树(Decision Tree),XGBoosting,神经网络(Neural Network)。目前这些模型还在根据数据变动持续迭代、改进中,以期获得越来越好的预测效果。
表二 不同模型验证结果
Model | Test AUC | Train AUC |
Logit Regression | 0.7409 | 0.7457 |
Naive Bayes | 0.5088 | 0.5042 |
Decision Tree | 0.5071 | 0.7624 |
XGBoosting | 0.7998 | 0.8342 |
Neural Network | 0.7915 | 0.7918 |
Caprini Model | 0.5847 |
在上述表格中,神经网络和XGboosting获得了较好的结果,但是这两种模型欠缺可解释性,不利于在临床应用中向医生说明预测依据。而逻辑回归虽然效果略逊于神经网络,但明显优于Caprini模型,同时兼具可解释性,更适合临床应用。
(3)业务设计
基于回顾性样本数据,不断完善模型,待模型确认准确后,开发基于模型的VTE风险评估系统。系统基于模型从业务系统实时抓取数据评估,只要业务系统数据发生变化,评估系统就要从新计算分数,评估风险程度。
同时评估系统将评分回写到业务系统,并在业务系统前端展示提醒。为保证VTE风险评估系统初期能够上线成功,所有回写业务系统数据仅设置回写一次的需求。即外科采用Caprini评估量表在术后24小时内回写业务系统一次评估数据。内科采用Padua评估量表在入院24小时内回写业务系统一次评估数据。但在评估系统中上述两种评估量表都是根据业务系统数据变化实时评估分数。
为确保VTE评估分数医师接收到,特在业务系统加入了VTE评估结果确认功能,即医师在业务系统看到评分结果后,必须点击VTE评估明细查看系统评分结果内容,并对结果进行确认,以表示医师已接收到该评估结果。医师在确认评估结果同时也可以对评估内容进行调整,包括机器可能漏评、误评内容等。系统会将医师确认结果保存。这样在评估系统中会存在两种数据集,即一种机器依据患者资料自动生成的评估内容及结果,一种医师依据机器评估完后修正的评估内容及结果。系统上线初期会将两种评估结果数据集实时反馈给医务管理人员,由医务管理人员依据患者真实病历资料对上述评估数据集进行差异分析。如差异由医师产生则通过管理手段反馈临床医师人员。如差异由机器产生,则分析差异指标详细情况,并修改对应指标逻辑计算方法,调整机器运算模型,提高对应指标后期准确率。
评估系统上线后,临床评估率达到了100%,实现所有患者全评估,但后续发现部分患者评估后,临床医师未对结果进行确认。所以系统在后期加入了质控功能,即将VTE评估结果是否确认纳入临床病历时限监控管理,并整合到科室绩效考核,以提升评估后的医师确认率。
本系统自2019年3月开始建设,截止2019年11月,已完成建设内容包括:VTE风险评估机器学习模型、外科版VTE风险智能预警系统、内科版VTE风险智能预警系统。
系统基于大数据平台的基础,外科版对caprini评估表中22个危险因素进行自动提取和结构化,实现所有外科患者术后自动评分。内科版对padua评估表中10个危险因素实现自动提取和结构化。实现所有内科患者术后自动评分。
基于系统运行数据发现,原基于表单点选式VTE风险评估单个患者评价时间在1~2分钟左右,基于大数据的VTE风险评估实现了实时动态评估,医师确认评估结果时间在3~5秒左右。Caprini评估表评估率也由系统上线前的40%~60%上升到100%。在上线评估确认质控功能后,VTE评估后的医师确认率也由上线初期的60%上升到96%左右。
目前该系统我院已申请了软件著作权《静脉血栓栓塞症智能预警系统》。
VTE风险智能预警系统是一个非常实用的可应用于临床VTE防治工作和提高VTE管理水平的临床工具。目前我院基于VTE风险智能预警系统也在深入开展二期工作,包括:1、实现VTE风险智能预警实时推送业务系统提醒;2、与移动端整合,融入医院移动端系统,实现移动提醒;3、完善VTE提醒后的预防治疗数据追踪,包括是否给予物理预防、药物预防及药物治疗等;4、加入随访,形成完成的VTE防治数据库。
申报单位:
北京大学肿瘤医院
参选方向:
人工智能创新应用
扫码图片二维码可申报案例,欢迎大家踊跃投稿