四川大学华西医院：基于人工智能的智能化语音随访系统

　　2024年医院新兴技术创新应用典型案例征集活动经行业专家背靠背盲审以及终审，共选出20篇典型案例，将陆续刊登出来，以飨读者。

1 案例概要

　　随着医疗技术的不断进步和患者服务需求的日益提高，医院随访工作面临着前所未有的挑战。根据《四川省改善就医感受 提升患者体验主题活动实施方案(2023-2025年)》明确要求建立健全标准化随访流程，到2024年底，三级公立医院出院患者随访率达到80%，到2025年底，三级公立医院出院患者随访率达到90%，四川大学华西医院(简称“华西医院”)2023年月出院人次2万余人，出院随访工作压力巨大。在信息化、智能化浪潮的推动下，医疗服务领域正经历着深刻的变革，华西医院积极探索、利用新兴技术，引进人工智能技术助力医院随访，优化工作流程，提高随访工作效率。

　　结合人工智能、语音识别和自然语言处理等先进技术，实现医疗服务的创新应用。项目构建了智能语音随访系统，发展人机耦合医患互动服务新模式，统一医教研的创新随访服务方式。通过系统实现智能批量规范化外呼，开展人机交互，全程语义理解，准确识别患者的语音回答，利用自然语言处理技术对收集的信息进行智能分析和处理，最终可视化展示交互结果。项目于2023年12月启动，建设包含患者档案、知识库、基础平台的智能语音随访系统。

2 服务对象

　　华西医院智能语音随访主要的服务对象有以下几类。

　　(1)出院患者：了解患者出院后的康复情况、用药情况、医疗服务的满意度等；

　　(2)科研患者：根据具体的科研项目和患者疾病类型，定期收集病情进展、治疗效果、生活质量、心理状况、遵医行为、特定生理指标、特定治疗方法的反馈内容。

3 数据分析

　　(1)随访成功率统计

　　项目于2024年4月正式上线，截止到2024年10月，出院患者随访覆盖率已达99%，成功接听随访电话人数(接听随访电话患者数/出院患者总数)已达88%，智能语音电话执行成功(接听智能语音电话次数/智能语音随访电话总次数)已达83%。系统具备不同科室、不同病种和不同时间段的随访成功率统计分析功能，为医院管理层提供决策依据，推动医疗服务的持续改进和创新。

图1 2024年5月-10月全院随访率统计

　　(2)随访失败原因分析

　　系统具备随访任务电话失败原因统计分析功能，人工追踪因电话错误、电话未接通和电话中断原因导致随访失败的患者，在保证患者随访服务效率的基础上提高随访服务质量，改善患者的就医体验。

表1 2024年5月-10月随访失败原因分析

4 应用效果

　　(1)提升随访效率，减轻人工随访工作量

　　智能语音随访系统实施后，华西医院优化随访机制为出院30天内随访2次，医院2024年第三季度出院患者为6万余人 ，随访电话任务量为13万余次。智能语音随访系统在以下两方面提升护士随访效率：智能随访机器人可同时拨打40个电话随访电话，随访电话执行效率提升约40倍；2024年第三季度成功接听随访电话人数为89%，随访任务电话执行成功率为82%，减少人工拨打电话10.6万次，减轻护士随访工作量。

　　(2)节约时间成本，保障医疗质量安全

　　前期调研，因患者口音、沟通协调困难等因素导致1人/次人工随访时长约为10~15分钟。智能语音随访系统实施后，针对不同阶段定制话术，了解患者基本情况(体温、伤口、饮食、睡眠等)，通过规范随访话术智能语音随访时长下降为1人/次约2分钟，随访时间下降约85%。

　　(3)优化随访机制，提升患者全程服务

　　基于人工智能的智能随访系统的实施变被动为主动，在随访效率上得到了较大的提升，华西医院优化出院患者的随访机制，患者出院后随访由1次修改为2次，出院后第7天和30天进行随访。通过全院统一的随访话术了解患者基本情况，针对特殊患者进行人工持续追踪，极大的提升患者就医体验感。

　　(4)实现患者分流，提升患者管理质量

　　出院患者随访是提供医患沟通的服务平台和患者诊后管理的基础。在此基础上，华西医院构建出院随访-科研入组随访或慢病随访新模式，该模式下，实现患者分流，有科研价值的患者进行科研入组管理，通过平台科研随访路径进行特例研究或分组对比研究，为临床提供科研工具。针对符合慢病管理的患者，系统推荐患者加入慢病管理，进一步辅助患者有效的控制疾病，提高生活质量。

5 覆盖范围

　　覆盖实验医学科、入院服务中心、慢病管理中心等18个科室和81个住院护理单元。

　　(1)针对出院患者：通过定期的电话随访，了解患者的诊后康复情况、用药情况、医疗服务的满意度等；

　　(2)针对科研患者：通过定期的电话随访，收集科研人员需要采集的患者院外数据。

6 服务内容

　　(1)通过智能语音平台按随访任务节点自动拨打患者电话，通过语音机器人与患者对话，了解患者出院后恢复情况。

　　(2)收集各专科随访系统的随访数据，搭建全院统一的智能随访系统。

7 关键技术

　　关键技术包括声学前端技术、语音识别技术、语音合成技术、语音内容提取与分析、语音内容理解与摘要、多轮对话管理技术、自然语言处理及大数据分析、云计算技术。

　　(1)声学前端技术：主要关注从含噪语音中提取尽可能纯净的原始语音，为语音识别打下基础，涉及从各种噪声干扰中提取有用的语音信号，以抑制和降低噪声干扰；

　　(2)语音识别技术：让机器通过识别和理解过程将语音信号转变为相应的文本或命令，包括特征提取、模式匹配准则及模型训练三个方面；

　　(3)语音合成技术：解决将文本信息转换为自然流畅的语音的问题，涉及计算机科学、声学、语言学、数字信号处理及心理学等多个学科；

　　(4)语音内容提取与分析：从语音信号中提取关键信息，如关键词、语调、语速等，并对这些信息进行深入分析，以了解说话者的意图；

　　(5)语音内容理解与摘要：在提取和分析的基础上，进一步理解语音内容，并生成简洁的摘要，有助于快速了解语音的主要内容，提高信息处理的效率；

　　(6)多轮对话管理技术：使机器能与人进行多轮、自然的对话，可以更好地理解用户的意图；

　　(7)自然语言处理：使机器能够理解和生成人类语言，应用于文本分类、实体识别等；

　　(8)云计算技术：为上述所有技术提供计算和存储能力，实时处理大量的语音数据，实现快速、准确的语音识别、合成和理解。

8 成功分享

　　(1)优化管理新理念

　　各科室建设独立的随访系统是普遍现象，同时也造成各系统成为数据孤岛，通常随访数据仅存在于本科室，无统一的随访系统，医院上报随访相关的数据存在一定的偏差。华西医院有组织的推进该项工作，从顶层统筹规划，由指定部门负责规划随访业务架构，信息中心完成平台搭建，各业务部门按需纳入随访管理。

　　(2)建立随访分流新模式

　　在构建统一智能语音随访系统基础上，华西医院构建了一套出院随访与科研随访、慢病随访相结合的新模式。在该模式下，结合话术设置的特殊答案和患者回访内容，对具有较高科研价值的患者进行特殊标记，并将这部分患者推荐到科研管理平台，由医生评估后进行科研入组管理。平台将符合慢病管理条件且愿意参加慢病管理的患者推荐至慢病管理平台，通过购买慢病服务包模式开展定期随访、个性化健康教育和规范用药指导等服务，帮助患者有效控制疾病。

　　(3)新技术融合业务场景

　　智能语音随访系统结合人工智能、语音识别和自然语言处理等先进技术，构建了智能语音随访机器人服务体系，通过系统智能批量规范化外呼，开展人机交互，全程语义理解，准确识别患者的语音回答，并利用自然语言处理技术对收集到的信息进行智能分析和处理。同时，该平台与医院信息系统深入融合，患者入院和出院时将相关医疗信息通过接口传给智能随访系统，系统根据患者的出院科室、手术情况自动匹配随访路径，并根据随访任务拨打电话。该模式下未增加医护人员操作，实现人工智能技术与医疗业务的深入融合。

　　(4)建立后效评价新机制

　　自系统上线以来，华西医院试点应用后进行全院部署。系统应用过程中通过以下几方面进行效果评价：第一、建立通畅的沟通机制。建立由管理部门、临床科室、信息中心、厂商沟通群，便于操作答疑和问题反馈；第二、定期收集临床意见和建议。系统运行2周后，管理部门牵头收集全院使用意见和建议，由管理部门和信息中心分别梳理管理需求和系统建设需求，进一步提升临床科室的使用体验。

9 机遇挑战

　　(1)政策驱动

　　2018年12月，国家卫生健康委办公厅印发的《电子病历系统应用水平分级评价标准(试行)》中明确规定电子病历8级要求实现健康信息的整合，即整合跨机构的医疗、健康记录、体征检测、随访信息用于本部门医疗活动。

　　2019年3月，国家卫生健康委办公厅印发的《医院智慧服务分级评估标准体系(试行)》中明确要求医疗机构需针对连续医疗服务时为患者提供电子化安排服务与记录的能力。

　　2023年5月，国家卫生健康委发布的《改善就医感受提升患者体验主题活动方案(2023-2025年)》中要求加强诊后管理和随访。医疗机构应建立患者随访档案和随访计划，建设基于患者服务为核心的多途径智能随访平台。

　　(2)医院驱动

　　医院方面，面对竞争日趋激烈的医疗市场，随访成为医院改善医患关系、提高医院管理水平和医疗服务质量的重要手段。因此，医院要阻止患者的流失，在提高自身医疗水平的同时也迫切需要提升医院对患者的服务水平。此外，医疗机构需要对患者院后药物的治疗效果、存活率、手术恢复情况等进行科研数据统计与分析。

　　(3)患者驱动

　　患者方面，很多患者在出院后不知道如何进行居家护理及康复，遵医行为依从性较低，最终导致疾病的复发与恶化。院后随访工作对于患者而言，能够有效提升其对医嘱依从性、疾病知晓度及自我健康管理意识，进而提升患者健康水平。

　　(4)技术驱动

　　随着互联网技术、人工智能技术在医疗领域的不断深入应用和大模型技术的不断发展，在人机交互、多轮对话的场景下，大模型能精准识别患者意图，并且通过大模型的内容生成能力，针对性回复患者，提升患者体验。

10 下一步发展规划

　　(1)开发具备深度学习能力的AI随访系统，实现精细化的随访管理

　　在现有随访的应用场景基础上，进一步拓展系统的应用领域，探索将系统应用于全程患者管理、医联体协同等领域，为患者提供更加个性化的健康管理服务。系统能够实现基于不断发布的疾病诊疗指南、院外患者随访管理专家共识、系统化疾病随访信息库等持续更新知识图谱，同时根据患者的病历信息，自动生成患者的专属画像，并结合专病知识库，为患者生成个体化、精细化、专业化的随访计划和宣教内容。

图2 具备深度学习的AI随访系统

　　(2)实现基于大模型技术的智能问答，提升人机交互体验

　　智能外呼随访功能与大模型进行整合，基于深度语义理解和交互路径的答案自动生成，通过大模型结合语义、静态话术和上下文信息进行自动回复。

　　以底座询证推理的能力为基准，构建基于上下文语境和节点流程图的动态决策技术。针对语义拒识结果，构建相关场景数据，实现大模型依据上下文语境和候选节点，推理判断下一步交互流和回复策略。

　　利用大模型技术实现智能问答等功能，提升系统的智能化水平，使患者能够更轻松地与系统进行交互，获取患者所需的信息和服务。

图3 基于大模型技术的智能问答流程图

　　申报单位：

　　四川大学华西医院

　　案例赛道：

　　应用场景与技术创新

　　案例业务领域：

　　患者服务