新疆医科大学附属肿瘤医院：超声影像实时智能乳腺肿瘤早筛及精准量化疗效评估系统的实现与应用

　　2024年医院新兴技术创新应用典型案例征集活动经行业专家背靠背盲审以及终审，共选出20篇典型案例，将陆续刊登出来，以飨读者。

1 项目简介

　　新疆医科大学附属肿瘤医院通过“超声影像实时智能乳腺肿瘤早筛及精准量化疗效评估系统”这一项目的推广，利用超声影像，针对女性乳腺肿瘤的筛查、辅助诊断、新辅助化疗疗效评估及预后判断，实现乳腺肿瘤患者全周期管理。系统与B超机连接，内置数据管理系统，可进行DICOM影像存储、格式转换及临床标签录入;在诊断环节，实时分析超声影像，利用人工智能技术标注肿瘤，自动识别良恶性，并即时高效出具分析报告;在新辅助化疗评估环节，利用深度学习自动匹配患者前期超声影像，自动测量评估病灶大小变化，Delta影像组学实时比对治疗前后差异，精准评估疗效;在预后预判环节，利用前期训练生成的影像组学模型，预测乳腺癌的分子病理分型、肿瘤分期、复发风险以及生存期评估，从而预测生存率和预后相关情况;在地州推广应用环节，实现跨院模型共享，高度匹配并适用各种超声仪器。

2 建设与开发

　　新疆医科大学附属肿瘤医院研发的《超声影像实时智能乳腺肿瘤早筛及精准量化疗效评估系统》，对超声联合深度学习及影像组学技术在乳腺癌新辅助化疗的疗效，进行精准量化智能评估，属于精准医学、智能医学的新医科范畴，与新疆工程学院合作完成，根据当前乳腺肿瘤诊治的难点、迫切需要解决的问题入手，重点解决乳腺肿瘤的早筛、分型以及新辅助化疗疗效评估的关键问题。

　　本项目分为5个课题，如图1所示。数据清洗、图像预处理以及图像增强是开展研究的首要步骤，规整的数据是后续研究的基础;影像病灶的精准标注是深度学习、组学分析关键环节;本项目拟研究的人工智能辅助诊断技术、影像组学分析技术以及新辅助化疗疗效评估方法等核心技术，是实现系统功能的关键途径;程序开发、可视化以及系统集成，是将技术转化为落地产品的重要手段。

图1 关键技术研究

　　具体研究方案(包括研究思路和解决问题的思路)如图2所示。针对乳腺肿瘤诊治的难点及需求，重点解决乳腺肿瘤的筛查、分型以及新辅助化疗疗效评估的关键问题，最终开发落地产品。重点研究人工智能辅助诊断、影像组学分析以及新辅助化疗疗效评估3个方面的核心技术问题。具体的技术路线如下：

图2 总体研究方案

　　(1)以提高乳腺超声影像肿瘤分割的准确率为目标，提出了一种基于U-Net算法的乳腺超声影像肿瘤分割模型(CSE-U-Net)。为了增强模型特征提取能力，在下采样阶段添加ECA注意力机制，为了加强模型对空间信息和上下文信息的学习能力，提出了多尺度上下文通道空间信息提取模块。实验证明，提出的模型能够有效提升肿瘤分割精度。

　　(2)针对乳腺X线影像征象检测问题，提出了一种基于YOLOV5算法的乳腺X线影像征象检测模型(YOLOV5-EA)。为了提升模型对X线影像征象特征提取的能力，YOLOV5-EA模型在主干特征提取网络中增加高效注意力机制和非对称卷积结构，为防止模型陷入局部最优解，使用One Cycle学习率调整策略周期性改变学习率，保证目标检测的精确率。实验证明，提出的模型能提升乳腺X线影像中恶性肿瘤、良性肿瘤及钙化灶的检测精度。

　　(3)为了解决通过乳腺超声影像鉴别三阴性乳腺癌的问题，提出了一种基于超声影像组学的三阴性与非三阴性乳腺癌分类方法。首先，利用影像组学技术对乳腺癌超声影像进行特征提取，并对特征数据进行归一化处理;其次，使用LASSO算子和T检验进行组学特征筛选与降维;最后，利用机器学习算法进行分类，其准确率达到82.22%。

　　(4)《中国女性乳腺癌筛查指南(2022年版)》推荐乳腺超声为中国女性乳腺癌的首选筛查手段，而本项目创新性的利用超声影像研发从智能诊断、新辅助化疗评估到预后精准预测的全过程的一体化系统，重要意义体现在：

　　1)实现乳腺癌早期筛查的同质化水平，服务民生，节省医疗资源和医保成本。

　　2)系统可快速辐射到全疆15家医院，实现大规模、高效全自动乳腺肿瘤筛查，1秒以内即可完成1张超声影像分析, 15分钟内即可完成1000个病例的超声影像分析。

　　3)首次在新疆建立乳腺超声影像的人工智能数据库、影像组学信息库以及临床病例数据库，对临床医生决策、科学研究以及教学有重要意义。

　　4)对乳腺癌新辅助化疗疗效实现智能化精准评估。

3 关键技术或产品描述

　　(1)数据库的独特性

　　训练的数据库是深度学习模型识别准确率的决定因素，本项目主要针对新疆地区乳腺肿瘤的特点建立深度学习数据库，对于识别新疆地区明显特征的富脂肪型乳腺(肿块大、不规则、分期晚以及炎性特征等)具有重要意义，创新开发的《超声影像实时智能乳腺肿瘤早筛及精准量化疗效评估系统》在国内具有领先地位。本项目建立的影像、临床数据库将为后续开展临床研究、教学等奠定重要基础。

　　(2)建立辅助诊断、穿刺到疗效精准评估的全流程的一体化精准诊疗系统

　　国内外关于乳腺超声人工智能的专利及成果均为医学影像分类模型等智能辅助诊断技术，主要实现病灶的自动分割、肿瘤良恶性预判以及扫描预警等功能，但还没有联合自动影像组学进行更精准评估的平台。本项目拟开发的平台融合了智能影像处理、深度学习、数据挖掘及自动影像组学等技术，通过精准量化智能评估乳腺癌新辅助化疗疗效。

　　(3)多维度评估新辅助化疗疗效

　　国内外关于乳腺超声人工智能的研究成果，如论文、专利等，主要都是与医学影像分类模型相关的智能辅助诊断技术，实现病灶自动分割、肿瘤良恶性预判和扫描预警等功能，但还没有结合影像组学(包括：Delta Radiomics影像组学技术)自动精准评估的系统，而本项目拟研究的人工智能系统，从多模态、影像组学以及深度学习多个维度评估新辅助化疗疗效，具有较高价值。

　　(4)引入注意力机制的目标检测模型

　　当前主流的目标检测模型对旋转和翻转目标特征提取能力有限，尤其是新疆地区脂肪型乳腺特征明显，并且肿块大且不规则、分期晚，本项目创新性的在YoloV5模型主干网络引入注意力机制，并在Conv模块中引入非对称卷积结构，通过增加一个纵向卷积核和一个横向卷积核，从而增强模型的特征提取能力。

　　(5)融合多尺度通道和空间感知的语义分割模型

　　新疆地区女性乳腺腺体富含脂肪，脂肪型乳腺癌常见，往往带有炎性特征，当前主流的语义分割算法，不能准确挖掘病灶。基于U-Net模型，本项目创新性的计划做如下改进：第一阶段，在U-Net主干网络特征提取部分添加ECA通道注意力机制，增强模型的鲁棒性;第二阶段，将多尺度通道注意模块和多尺度空间感知模块相结合，有利于解码器提取图像的特征信息。

　　项目组前期的研究成果见图3A-3C、图4A-4B、图5A-5C、图6A-6D和图7A-7B。

　　图3A-3C为乳腺超声肿瘤自动筛查效果，红框为自动标记的肿瘤，标签为良恶性。针对确诊的1200多例乳腺癌超声影像分析，准确率达85%。

图3A 自动筛查到1个病灶，恶性概率为98%

图3B 自动筛查到两个病灶，恶性概率分别为90.8%和54.9%

图3C 自动筛查到两个病灶，良性概率为：91.3%和87.9%

　　图4A-4B为利用深度学习技术自动计算新辅助化疗不同周期的肿瘤面积和多普勒超声血流信号变化情况。其中，横坐标为时间，即不同化疗周期的时间节点，纵坐标为像素面积。

图4A 不同NAC周期的肿瘤面积和血流信号变化(曲线图)

图4B 不同NAC周期的肿瘤面积和血流信号变化(柱状图)

　　图5A-5C为人工智能技术智能分割肿瘤，智能分析八大征象，并自动出具分析报告。

图5A 原超声影像

图5B 人工智能技术智能分割的肿瘤区域

图5C 自动出具分析报告

　　图6A-6D为自动影像组学技术分析LuminalA型和LuminalB型乳腺癌特征。通过对良恶性、化疗前后、LuminalA型、LuminalB型、Her-2阳性型及三阴性型不同分类的影像组学特征比较，系统分类的平均准确率可达80%以上。

图6A 自动提取200个病例的影像组学特征

图6B LuminalA型和LuminalB型分型的AUC值为81.13%

图6C 影像组学数据在训练(A)和验证(B)队列中的方差分析结果

图6D 12个特征的自相关热图

　　图7A-7B为深度学习及影像分析技术自动在肿瘤区域分析适合穿刺区域。

图7A 上传超声影像自动在肿瘤区域分析适合穿刺区域

图7B 最右边二维超声影像的白色区域为穿刺区域

4 应用效果

　　本案例完成了以下科学、技术、产业预期指标，并产生了良好的社会、经济效益。

　　(1)当前市面上尚没有此类成熟的产品，尤其是大规模、高效开展乳腺癌早筛、结合影像组学智能评估新辅助化疗疗效的平台更是空白，该产品对医疗资源缺乏的地区尤其适用，此项目将助力新疆乳腺肿瘤事业高水平发展。

　　(2)3年内，在新疆15家医院部署了《超声影像实时智能乳腺肿瘤早筛及精准量化疗效评估系统》，实现乳腺超声影像100%分析，并自动筛查乳腺良恶性肿瘤，培训相关超声医生50余名。

　　(3)开展的新医科、影像组学分析、大数据分析以及人工智能等技术方面的讲座、授课200余学时。

　　(4)系统与超声机连接，实时分析，在部署本系统的医院，实现所有的乳腺超声检查患者同步检测，肿瘤筛查全覆盖。

　　(5)本项目开发的深度学习及影像组学分析模块，同时又是科学研究的工具，计划和部署本系统的医院已发表高质量论文10篇。

　　(6)培养新医科方向的研究生10余名。

　　(7)项目的社会效益

　　1)实现乳腺癌早期筛查，服务民生，节省医疗资源和医保成本。

　　2)系统可快速辐射到全疆各大医院，实现大规模、高效全自动乳腺肿瘤良恶性筛查，可实现1秒以内完成1张超声影像分析, 15分钟内即可完成1000个病例的超声影像分析，且能提供同质化诊断水平。

　　3)首次在新疆建立乳腺超声影像的人工智能数据库、影像组学信息库以及临床病例数据库，对临床医生决策、科学研究以及教学有重要意义。

　　4)为人工智能结合影像组学评估乳腺癌新辅助化疗疗效提供新路径。

　　5)医疗机构可以获得更多技术支持及资源共享，系统性降低成本;大数据助力科学研究;肿瘤病灶信息量化，有助于提高乳腺癌新辅助化疗预测准确率;为临床医生提供决策依据，实现精准治疗。

　　6)解决不同超声医生对乳腺肿瘤诊断认知的同质化需求。

5 总结

　　超声影像实时智能乳腺肿瘤早筛及精准量化疗效评估系统在新疆医科大学附属肿瘤医院的应用，属于精准医学、智能医学的新医科范畴，聚焦于《中国女性乳腺癌筛查指南(2022年版)》中提出的“女性高发肿瘤的筛查、诊断、发生转移机制和精准诊断治疗中的瓶颈问题”，重点攻关“人工智能辅助识别、基于机器学习的影像组学分析、风险预警监测以及临床决策支持”的关键技术问题，开发了出能落地应用的产品，并推广至新疆15家医疗机构。

　　本项目研究的人工智能辅助诊断技术、影像组学分析技术以及新辅助化疗疗效评估方法，对乳腺癌诊疗指南提出的“为构建一体化精准诊疗体系和创新网络，为加快女性特高发恶性肿瘤防诊治技术”有重要意义。

　　申报单位

　　新疆医科大学附属肿瘤医院

　　案例赛道

　　应用场景与技术创新

　　案例业务领域

　　临床应用