南通大学附属医院：挖潜5G“智”力 建设数智手术室及多媒体手术病历系统

　　2023年医院新兴技术创新应用典型案例征集活动正在进行中，欢迎各医疗机构踊跃提交案例。CHIMA将组织专家对案例进行评选，入选典型案例将在CHIMA 2023大会路演并获颁证书。

1项目简介

　　南通大学附属医院共有净化手术室20余间，2019年购置的达芬奇手术机器人安装后操作空间狭小，亟待扩建;手术视频用移动硬盘录制，手术信息收集不全;患者影像、用药等不可集中展示;示教限于现场观摩，效率低下;手术病历缺少详实手术过程与流程记录。

　　2021年，医院开始构建基于5G的智慧化手术室及多媒体手术病历系统SMARS(Surgery Multimedia Achieves & Records System，SMARS)，实现对手麻、HIS、PACS等系统及DSA、监护仪等设备的整合，术中可获取患者各种资料，手术过程与关键图片、音视频和文字描述能保留进SMARS，实现了手术全过程的数字化管理。手术病历完成后可上传至医院数据中心供临床医生调研，亦可通过SMARS中集成的360视图查看患者临床数据。

　　该项目对手术室软硬件实现一体化整合，运用5G+VR技术，实现4K信号无线传输，打造VR沉浸式教学;通过5G+APP得到专家的远程指导;构建了多媒体手术病历系统SMARS，对手术的质控从流程控制上升到内容控制，建立了集医疗、教学、科研于一体的信息共享科研大数据平台。

2建设与开发

　　(1)建设目标

　　通过对医院、手术室、信息化建设等方面的调查情况，经过整合得到建设内容：

　　第一，构建手术室软件及设备一体化集中控制系统;

　　第二，构建院内光纤直播系统、基于5G+4K+VR的手术直播示教及APP远程指导系统;

　　第三，构建多媒体手术病历系统SMARS;

　　第四，构建集医疗、教学、科研等领域于一体的信息共享科研大数据平台。

　　(2)总体步骤

　　第一，成立智慧化手术室建设小组;

　　第二，构建基于5G的智慧化手术室及多媒体手术病历系统SMARS;

　　第三，功能测试、人员培训并投入使用。

　　(3)开发

　　2021年，医院开始建设基于5G的智慧化手术室及多媒体手术病历系统SMARS，在达芬奇手术机器人室配置1台4K VR全景摄像机，1台4K术野摄像机，2台32寸4K医用显示屏，1台智能控制系统、1块65寸4K显示屏，1套吸顶音箱及耳麦等。

达芬奇手术机器人手术室

　　一体化智能控制系统将HIS、PACS、手麻等系统及手术室内的全景、术野摄像机，机器人、DSA、监护仪等信号和术者语音信号进行数字化集成和显示，实现了基于相同时间轴多画面处理的功能。术中可获取并展示患者各种资料，同时患者的手术过程与术中关键图片、音视频和文字描述能保留进SMARS，实现了手术全过程的数字化管理。手术病历完成后可上传医院数据中心，亦可通过SMARS中集成的患者360视图查看患者临床数据，给临床病历书写和展示带来方便，并运用5G+VR技术，实现4K高清视频信号无线传输。

患者各种资料的集中展示

　　示教室的视音频信号可调入到手术室内，也可将手术室内的机器人、术野等影像路由到示教室，实现4K影像实时传输和双向互动，还可以将患者的各种病历资料、实时生命体征数据输出至观摩端。通过佩戴VR眼镜，提供了全景沉浸式手术观看体验，提升了用户参与感，扩充了手术视野。

手术示教

　　SMARS集成患者360视图，方便医护人员全面了解患者基本信息，在观看手术过程画面的基础上可以同时了解患者在术中的关键事件、用药情况以及影像数据。

手术电子病历集成患者360视图

　　一体化智能控制系统将术中关键图片、音视频整合形成了多媒体手术病历数据库，与我院信息平台进行数据交互，手术病历完成后上传至数据中心。

医生工作站病历文书调阅手术电子病历

　　另外，在医生工作站集成多媒体手术电子病历(SMARS)单点登录功能，实现一键调阅和编辑患者的手术病历，此功能为手术信息管理探索出新思路，可为医院信息系统升级提供参考。

医生工作站集成多媒体手术病历系统

3关键技术或产品描述

　　(1)技术架构

　　第一，5G+4K+VR方面：

5G+4K+VR直播架构

　　整个5G+4K+VR直播架构主要分为手术室采集端、服务器云端和示教端。4K全景相机安装在手术室，实现固定机位在复杂场景下的实时全景采集，并通过5G传输设备，将全景视频传输到云端，实现所有设备组网、状态反馈、实时直播、远程管理和远程操控等功能，云端多媒体服务器实现对相机推流视频进行分发、编解码功能。4K全景视频机内实时拼接，把全景视频推流至云端流媒体服务器上，实现每一路全景视频的多路并发处理，满足同一台4K全景相机直播，多个用户多种不同终端同时在线观看，在示教端安装VR眼镜，实现VR全景手术直播、远程手术指导服务，实现4K、全景视频稳定传输，打造VR沉浸式教学，使数据采集效率更高，数据传输更可靠，实现了优质医疗资源下沉。

　　第二，多媒体病历系统SMARS方面：

　　整体架构采用前后端分离的设计模式，前端主要采用声明式的、组件化的JavaScript编程框架vue，完成页面开发;后端主要采用spring boot + shiro，完成基于角色的接口开发。

　　(2)关键设备：一体化智能控制系统

　　第一，产品体积小，集成度高，安装方便，直接安装于手术室吊塔上，施工周期短，安装布线方便。

　　第二，内置全高清视频路由：采用全高清4K(1080P)无压缩编辑与转播。独有全新板载PCIE图像路由，实现高清图像非矩阵路由，在大量节约资源的同时又提高了图像数据利用效率。

一体化智能控制系统

　　第三，将HIS、PACS等及手术室内的全景、术野摄像机、机器人、DSA、监护仪等的信号和术者语音信号等进行数字化集成和显示，实现了基于相同时间轴多画面处理的功能。

4应用效果

　　(1)有形成果

　　第一，构建了基于5G的智慧化手术室及多媒体手术病历系统SMARS;

多媒体手术病历系统编辑界面

多媒体电子病历

　　第二，构建手术室软件及设备一体化集中控制系统，术中关键图片、视音频保留进电子病历中，将手术记录从文字描述，提升到多媒体手术病历时代;

一体化智能控制系统

　　第三，构建了院内光纤直播系统;

光纤+直播示教

　　第四，构建了5G+4K+VR手术直播示教系统及APP远程指导系统;

5G+直播示教

效果集中展示

5G+4K+VR直播示教

　　第五，与HIS系统实现深度集成，可对手术的质控从流程控制上升到内容控制。

医生工作站病历文书调阅手术电子病历

　　(2)附加成果

　　第一，申报了南通市科技局课题1项;

　　第二，发表论文2篇。

5总结

　　南通大学附属医院建设的基于5G智慧化手术室及多媒体手术病历系统SMARS于2022年通过整体验收，该系统对医疗设备与信息系统进行一体化整合，实现了患者诊疗信息的集中展示、传输与存储，利用5G结合VR、云计算等技术手段，将多路信号同步实时输出，双向语音对话，为目标医生提供教学、培训等，创新生成的多媒体手术病历系统SMARS，与HIS系统深度集成，保证患者手术资料完整保存，通过权限分级，实现全院调用。

　　项目实施后，取得了较好的社会效益，2021年9月26日，肝胆外科王鹏医生通过该系统在网上连续直播11台单孔腹腔镜疝切除手术，并和国内疝和腹壁外科领域专家在线进行科普宣讲，超过70万人次观看。2021年10月11日，通大附院首届手术直播周活动，来自神经外科、普外科、心胸外科等21个科室的60多名外科专家通过该系统为全国行业内人员提供为期一周的高质量手术直播，展现通大附院卓越的手术技艺，与兄弟医院专家在云端进行交流互动。2022年6月25日，“匠心强技 喜迎二十大”公众开放日启动仪式暨首场达芬奇机器人手术专场活动在通大附院举办，通过公众开放日，向媒体及社会大众展示达芬奇手术机器人这一世界先进的微创手术平台，让广大百姓切实增强对医院、对高精医疗技术的认知与理解，从而进一步提升就医获得感。活动通过该系统向腾讯新闻、濠视频、蝶代及医院新媒体平台同步直播，观看总人数超过40万。2022年9月26日到30日，第二届手术直播周活动实现了80个手术团队总计10万次直播观摩，以及1900小时浏览时长共计111台手术的展示，从关键核心技术、高新技术、特色技术等方面多维度地展现了通大附院的医疗技术能力。

　　项目实施后，使南通大学附属医院的手术室智慧化水平达到国内领先水平。随着远程教学、互动直播的需求越来越大，对视频传输质量、速度、延迟的要求越来越高，通过5G远程直播示教及APP手术指导，不受地域限制，解决手术室场地狭小、聚集增加感染风险等不足，对于医学生的教育培训工作具有现实意义。

　　申报单位：

　　南通大学附属医院

　　联合申报单位：

　　中国移动通讯集团江苏有限公司南通分公司

　　案例技术方向：

　　智慧医院

　　案例业务领域：

　　临床应用