云南省第一人民医院：智慧医疗辅助远程决策及手术导航系统

本案例获得CHIMA 2020医院新兴技术创新应用典型案例“医学人工智能创新应用”方向三等奖。

目前先进的智慧医疗、数字医学技术已经逐步深入应用于临床医学领域，基于人工智能和互联网+、大数据技术的智慧医疗正在兴起，它将计算机信息技术、人工智能、虚拟现实等高新技术应用于医疗服务，是现代数字信息技术和现代医疗技术的深度融合。而智慧医学发展也已经由虚拟现实VR（Virtual Reality）到增强现实AR(Augmented Reality），再进入了混合现实MR（Mixed Reality）。

技术变革带来新的挑战，从医生、医院和患者都对智慧医疗服务有更多的需求。主要反映在以下三个层次：

基层临床医生需求：基层误诊漏诊率高；手术缺乏指导；工作繁重，又快又全有难度；知识更新不够及时便捷；缺乏临床诊疗的智慧化支撑；

医院需求：医生诊疗行为不规范；电子病历质量低，临床数据缺乏再利用；科学分诊转诊难管控，管理决策难制定；

患者需求：在智慧医疗体系支撑下获得期望在根据良好就医体验；基层医院就诊得到上级医院专家的具体意见、保证手术质量；节约医疗成本，提升就医效率。

“智慧医疗辅助远程决策及手术导航系统”，是由云南省第一人民医院主导研发的智慧医疗技术，是智慧医疗在云南省发展与普及的代表性技术。云南省第一人民医院与中国联通公司联合进行5G环境下“智慧医疗辅助远程决策及手术导航系统”创新应用建设，利用数字医学技术将病灶数据化，形成立体可视化模型，精确标识手术方案，做到了在三维条件下可以反复模拟手术、远程实时动态人工智能手术导航、快速评估手术效果。系统通过5G+MR的多中心超远程手术协同，已经在多家医院推广应用，拥有多个自主知识产权。

图1 智慧医疗辅助远程决策及手术导航系统现场应用

“智慧医疗辅助远程决策及手术导航系统”主要提供以下两方面的医疗服务：

第一，手术前。帮助多个专业的外科医师（肝胆胰外科、泌尿外科、骨科、神经外科等等）进行反复的手术模拟、科学的手术规划，方便将复杂手术方案向患者及家属进行有效沟通，有效降低以往因为医患沟通不畅造成的医疗隐患；

第二，手术中。“智慧医疗辅助远程决策及手术导航系统”可以在手术中，远程协助外科医师及时辨别解剖异常，对手术平面、手术路径进行实时引导，提高手术安全性，有效避免手术意外、术中大出血等风险，有效提高手术医疗质量；可以在手术后，帮助外科医师复习手术，总结手术经验，对年轻医师、进修医师进行有针对性的外科手术培训，模拟手术，缩短手术的学习曲线，最终达到缩短不同医师、不同地区之间手术技术的差距，达到不同地域医疗资源的均质性。利用混合现实进行手术导航，手术过程中需要根据手术解剖部位的进展，及时调整虚拟解剖3D图像的方位，根据手术解剖细节的要求，及时调整虚拟解剖3D图像的大小。

“智慧医疗辅助远程决策及手术导航系统”使用CS架构，Server端主要负责数据上传、数据储存、数据管理，Client端包括病例浏览、脏器模型操作、使用工具对脏器模型交互、MR3D显示四大模块，实现“颜色区分人体结构”、“改变脏器透明度”、“脏器切割”、“计算脏器体积”、“脏器内窥”、“脏器穿刺”“三维消融”、“三维透明化”等功能。

图2 系统数据管理界面

（1）颜色区分人体结构

从服务器加载根据影像数据（CT/MRI）三维重建后的模型文件到系统中，通过用不同颜色标记不同的人体部位（模型器官），实现颜色区分人体结构，且各部位标记颜色用户可根据需求设置。

图3 颜色区分人体结构

（2）改变脏器透明度

系统病例中的每个模型器官都可通过模型设置界面改变其模型透明度，透明度设置为100%、75%、50%、25%、0%五个透明等级，其中100%和0%分别为不透明和全透明。通过改变脏器模型的透明度以达到模拟脏器外壁透明的效果。

图4 改变脏器透明度

（3）脏器切割

进入系统中的任意病例后，选择工具栏中的切割工具，此时操作界面出现一把手术刀，用交互设备拾取手术刀，手术刀可对模型器官进行任意角度的切割，经过特殊的算法处理后，切割后的模型部位会与原模型分离并形成一个单独的模型，每个脏器模型均可进行多次器官。

图5 脏器模型切割

（4）计算脏器体积

在系统病例中的脏器模型通过一系列三维空间算法，计算出指定三维模型的三维空间体积。实时体积计算，根据需求设定计算的精度；计算后的体积数值对应显示在器官列表中，支持50万以内多边形数量的不规则模型。

图6 脏器模型体积计算

（5）脏器内窥

选择工具栏中的内窥工具，此时右上角出现内窥相机中的图像，通过移动内窥相机，可查看到特定范围能模型脏器的内部结构。

图7 脏器内窥

（6）脏器穿刺

可通过 zSpace 交互设备，模拟手持穿刺针，从任意角度刺入虚拟三维人体器官组织。模拟穿刺过程中，穿刺针穿入脏器交互交互设备会有震动反馈，并会在界面中显示相应器官的名称，以及刺入的深度或是否被穿刺针贯穿。

图8 脏器穿刺

（7）三维消融

通过 zSpace 交互设备，模拟手持消融棒，从任意角度刺入虚拟三维人体器官组织。模拟消融过程中，通过模拟真实的手持消融棒，对人体器官组织的三维数据进行消融操作，并显示消融的路径和路径上的器官、组织。

图9 三维消融

（8）三维透明化

系统界面中的器官列表有每一个器官模型的可设置项目，用户可通过点击器官列表中的隐藏控制按钮实现模型显示和隐藏操作，可任意隐藏病例的不同器官模型。

图10 三维透明化

连接摄像头或接入腹腔镜摄像系统，将手术场景影像和混合现实数据实时整合/对位，根据手术需要点击各功能按钮，利用混合现实影像为手术进行实时手术导航。

图11 实时手术导航

5G技术的应用。在医疗实际应用场景中，一方面，5G可以将导航操作平台安置到中心控制室，用户在中心控制室远程进行操作，避免感控风险；另一方面，在中心控制室的专家在同一时间能为多台手术进行手术导航，也可以同时为多地其他医院的手术进行手术导航、手术指导。利用5G技术，手术及会诊现场的每一个细节、每一帧画面都将通过5G信号直接传输，为现场专家、患者带来“零时差”、“零距离”的会诊沟通体验。

MR技术的应用。一方面，已采集患者影像学资料（CT、MRI和B超等），由医学影像医师进行医学影像诊断；由医学影像医师及肝胆外科临床医师，利用三维重建专业影像软件，构建肿瘤、血管、病变器官的三维模型，将三维模型导入智慧医疗辅助远程决策及手术导航系统，利用三维空间坐标标记组织、器官之间的空间位置，并赋予正确名称，对各组织、器官进行参数调配，设置相关实用功能，如切割、内窥、穿刺及测量等；另一方面，“智慧医疗辅助远程决策及手术导航系统”已应用于临床，实现混合现实引导腹腔镜手术、混合现实引导开腹手术等，并在曲靖市第一人民医院、文山市人民医院、腾冲市人民医院、云南省肿瘤医院等各级医院进行推广应用，旨在提高各级医院的诊疗水平。

“智慧医疗辅助远程决策及手术导航系统”，借助5G和混合现实技术，实现了腹腔镜下的数据融合，多方位、多角度的实时移动手术部位，根据病灶位置进行多平面实时模拟切割，实时不同解剖部位体积计算，器官内部的多角度内窥观察，多角度穿刺模拟操作，多方案消融手术规划、手术引导，解剖三维空间的测量，腹腔镜手术、穿刺手术触觉反馈等多个智慧医疗技术应用。系统平台的应用，打破了时间和空间的壁垒，使患者用较短的时间、支付基本的医疗费用，就可以享受安全、便利、优质的诊疗服务；使得缺乏优质医疗资源的基层医疗机构可以享受到省内重点医院、国内外发达地区的优质医疗资源的支持，实现优质医疗资源的下沉，为全省大健康产业发展提供坚实的技术支持。