浙江大学医学院附属妇产科医院：基于AI与互联网+的乳腺癌超声筛查网络平台

　　2023年医院新兴技术创新应用典型案例征集活动正在进行中，欢迎各医疗机构踊跃提交案例。CHIMA将组织专家对案例进行评选，入选典型案例将在CHIMA 2023大会路演并获颁证书。

1项目简介

　　浙江大学医学院附属妇产科医院(简称“浙大妇院”)于2021年8月着手开展超声AI辅助检查创新应用，通过应用乳腺超声机器人与AI技术进行乳腺癌筛查。2022年带动浙江省内绍兴市上虞妇幼保健院、绍兴市越城区富盛镇卫生院、嵊州市鹿山街道社区卫生服务中心等机构开展基层群体性乳腺癌筛查，突破基层超声医生匮乏的困境，为基层诊疗、分级诊疗、两癌筛查工作赋能，实现高数量级的乳腺癌群体筛查，助力国家两癌筛查国策。

2建设与开发

　　(1)应用模式

　　以乳腺癌筛查作为全民乳腺防治的入口，针对超声医生匮乏的困境，融合乳腺癌分级诊疗体系，为基层诊疗、分级诊疗、两癌筛查工作赋能。乳腺超声机器人群体性乳腺癌筛查应用场景在遵从国家筛查指南的前提下，借助高速的5G传输系统和AI诊断系统，在整个筛查解决方案中建立健全的个人信息登记系统、排号叫号系统、智能扫查系统、智能阅片系统、智能诊断系统、自动报告打印系统等。如图1所示。

图1 智能乳腺超声机器人群体性乳腺癌筛查平台应用

　　(2)系统设计

　　基于AI与互联网+的乳腺癌超声筛查网络平台融合了人工智能、超声、计算机视觉、机器人与5G等技术，通过乳腺超声全自动扫查，输出标准化影像数据后通过人工智能进行初步的分类判断，实现全生命周期的自动化、标准化、智能化体表贴合作业，以及健康数据的采集、存储、管理和分析诊断。系统架构如图2所示。

图2 智能乳腺超声机器人群体性乳腺癌筛查平台系统架构

　　系统主要实现两个目标：

　　1)实现医技分离，解决基层超声医生短缺问题

　　采用全自主乳腺超声机器人融合机器人、人工智能、大数据、物联网、超声等技术，实现乳腺超声全自动扫查。采用智能乳腺超声机器人进行乳腺癌筛查图像采集并云端上传，实现医技分离，解决基层超声医生短缺问题。扫查现场仅需一名技师负责简单操作，不需要超声医生现场扫查即可输出标准化影像数据，扫查时采集的超声影像通过宽带或5G网络传输到浙大妇院远程阅片系统平台。该模式医技分离，筛查全周期的自动化、标准化、智能化体表贴合作业，可根据人群分布情况，实行基层社区医院定点检查与乳腺癌筛查车流动体检模式结合，实现大范围全覆盖的乳腺癌群体筛查。

　　2)采用AI辅助阅片提高医生筛查工作效率及诊断准确率

　　系统采用智能辅助+云阅片系统实现高效及高质量的远程超声诊疗新模式。通过智能辅助结合远程阅片系统，提高医生筛查工作效率及诊断准确率，保证了数据的高质量有效管理。浙大妇院远程阅片系统平台接收到影像数据后，通过内置的AI辅助功能完成对可疑病灶的推荐，展示原始采集视频及AI判断视频。AI判断视频是所有超声视频中AI判断出来有乳腺结节的视频片段，医生复核AI视频，评估AI对乳腺结节初步筛查结果，进一步验证筛查的结果形成最终报告。

3关键技术或产品描述

　　(1)全自动智能乳腺超声机器人

　　平台通过全自动智能乳腺超声机器人(如图3所示)实时采集乳腺超声影像，将其传输到云端，再由云端服务将影像数据分发到对应的远程终端，医生可远程结合AI诊断为患者诊查评估风险。实现乳腺筛查全数据可追溯，现场去医生化，突破筛查瓶颈。

图3 全自动智能乳腺超声机器人

　　(2)关键技术

　　平台中医学影像人工智能针对具体应用场景，区分为自主学习的乳腺超声辅助诊断和多阶段时序跟踪融合的乳腺超声筛查关键技术，分别对应诊断场景和筛查场景，人工智能产品最终与传统阅片系统整合形成智能辅助云阅片系统。

　　系统依托机器人终端物联网平台和健康大数据(乳腺)云平台，从全局感知、局部感知、运动规划、控制与决策和医学影像人工智能的信息技术，实现自动化、标准化、智能化的乳腺癌超声筛查网络平台。技术路线如图4所示。

图4 智能乳腺超声机器人技术路线

　　系统通过全局感知实现对人体的三维重建、感兴趣区域检测分割、呼吸检测等;基于全局感知结果，可通过复杂曲面自适应路径规划算法规划出机器人的全局作业轨迹。同时由于人体的柔性变形、微弱运动、舒适性安全性要求，超声机器人可根据不同任务场景要求，在局部感知技术(视触觉感知、融合超声图像的贴合反馈、柔性软体感知)的反馈下控制、调整、决策其路线。

　　系统采用的关键技术有：

　　1)全自动多自由度双乳同时扫查超声扫查技术

　　采用一种3个正交平动轴和两个正交旋转轴的五自由度乳腺超声扫查机械臂，使机械臂兼具大范围工作空间、结构紧凑、无奇异构型、耦合性小、控制简单、效率高以及冗余安全的特点，结合超声扫描检查的扫描运动系统，实现全自动双乳同时扫查超声扫查;并且基于旋量理论建立多自由度机机械臂的误差补偿模型，实现了对人体贴合作业的机器人由于加工误差进行了误差补偿。

　　2)智能全方位形态(乳腺)感知及复杂曲面自适应高效路径规划

　　采用多模态人体状态和贴合状态感知方法，引入基于深度神经网络的从超声图像到贴合压实程度映射，并融合力传感器进行全方位形态感知;通过深度学习算法，自动化的识别出感兴趣区域，实现多视角点云感兴趣区域自动获取与分割;采用基于网格曲面参数化的复杂曲面高效路径规划方法，对不同人群、不同形态的乳房进行自适应路径规划，并结合软组织力学特性及柔顺控制等，实现复杂曲面自适应高效路径规划。

　　3)全乳超声影像信息保留储存

　　采用计算机视觉的交互式人工智能构建显控系统，采用自然语言处理技术构建远程阅片系统和大数据系统，实现扫查获取影像信息全乳保留及储存。自动登记病史信息、历年超声影像信息、钼靶等其它检查信息的全生命周期健康管理，全数据可追溯，实现健康数据的集中存储管理，促进信息共享流通。

　　4)乳腺病灶AI识别及辅助分诊

　　基于机器人标准化扫查和数据采集，坚持人类医生医学先验知识和AI强大的学习抽象能力并重的原则，输出标准化数据。医学影像AI针对具体应用场景，区分为自主学习的乳腺超声辅助诊断和多阶段时序跟踪融合的乳腺超声筛查关键技术，分别对应诊断场景和筛查场景，AI产品最终与传统阅片系统整合形成智能辅助云阅片系统。高效的处理和分析影像速度，快速给出辅助判断结果，大大提高医生筛查诊断效率，也保证了数据的全生命周期管理。

4应用效果

　　(1)减轻基层医生工作负担，显著提高乳腺癌超声筛查效率

　　乳腺超声机器人平均扫查一名女性乳腺的时间是3-5分钟，其自动化的操作作业可以通过标准化定位确保扫查的全面高效，并使得采集图像质量较人工采集更加趋于标准化。

　　结合乳腺癌筛查车流动体检模式，可实现大范围基层妇女乳腺癌群体筛查。

　　2022年在浙江省共完成筛查人数25391人，其中浙大妇院1956人，绍兴市上虞妇幼保健院18671人，绍兴市越城区富盛镇卫生院465人，嵊州市鹿山街道社区卫生服务中心1197人，省内义诊3102人。

　　(2)提高了乳腺癌超声筛查的诊断效率及准确度

　　凭借深度学习、计算机视觉等领域领先开发的医学影像AI，可迅速从海量数据中提取与病灶有关的信息，并辅助医生进行分析诊断，避免人工阅片产生的主观性差异，这将进一步解放医生的脑力，提高筛查效率，减少漏诊误诊。目前，AI对乳腺病灶识别检出率是99.5%。利用AI的辅助分诊，医生完成一例乳腺影像诊断的时间是4分钟左右。AI的困难数据自动发现模块和持续进化学习模块可以让AI不断进行完善优化，深度提升对乳腺癌的诊断效率。经过临床验证，筛查场景下，乳腺超声机器人诊断结果可与5-10年经验的超声医生相当，一致性高，可靠度优。

5总结

　　本案例融合机器人、人工智能、大数据、物联网、超声等技术，实现了乳腺超声全自动扫查，使得采集图像质量较人工采集更加趋于标准化。医生通过远程阅片系统平台在AI辅助病灶推荐功能下完成诊断和报告，医技分离。同时，系统通过深度学习、计算机视觉等领域的医学影像AI，可迅速从海量数据中提取与病灶有关的信息，并辅助医生进行分析诊断，避免人工阅片产生的主观性差异，进一步解放医生的脑力，提高乳腺癌超声筛查效率，减少漏诊误诊。

图5 基层群体筛查实际应用场景

　　申报单位：

　　浙江大学医学院附属妇产科医院

　　联合申报单位：

　　深圳瀚维智能医疗科技有限公司

　　案例技术方向：

　　医学人工智能

　　案例业务领域：

　　临床应用