傅昊阳：基于多模态数据的医疗智能应用探索

　　随着信息技术的发展，人工智能在多个领域得到应用，如能源、医疗、制造业、金融业和商业等，人工智能赋能产业发展已经成为主流趋势。由于医疗行业是一个非常复杂的行业，涉及的知识面广，有非常多专业，还有子方向，因此每位医生真正掌握的医学知识是有限的，这给医学人工智能带来了很好的发展机遇。“不过，AI也存在一定风险，包括伦理、数据安全、个人隐私保护等。随着AI在医疗行业应用的深入，这些问题不断出现，也会不断得到沟通和解决。随着上述挑战的不断解决，AI在医疗行业的应用会逐步加深。”在CHIMA 2023大会发表主题演讲时，广东省中医院信息管理办公室主任傅昊阳指出。

　　我国非常重视人工智能的发展，习近平总书记指出：“把新一代人工智能作为推动科技跨越发展、产业优化升级、生产力整体跃升的驱动力量，努力实现高质量发展。”自2017年至今，《国务院关于印发新一代人工智能发展规划的通知》《国务院办公厅关于促进“互联网+医疗健康”发展的意见》《国家新一代人工智能标准体系建设指南》《中华人民共和国国民经济和社会发展第十四个五年规划和2035年远景目标纲要》《“十四五”生物经济发展规划》等相关政策的出台，为医学人工智能的发展提供了政策支持。傅昊阳强调：“目前，我国有关人工智能的标准和指南，以及未来对大数据、云计算以及AI在关键领域应用的相关要求都在不断完善。”

　　人工智能赋能医疗主要应用于以下领域：检查，包括AI+PACS、AI+病理、AI+病案等;诊断，包括临床决策支持、智慧病案等;治疗，包括处方推荐、手术方案规划、AI医疗机器人等;科研，包括数据分析、数据挖掘、新药研发等。其中，在医疗人工智能应用中，AI影像发展较早，技术较为成熟，已成为医疗AI的代表性应用。对此，傅昊阳指出：“得益于算法的创新和图像的标准化，AI影像目前应用较为成熟，有很多标准图像，让AI施展拳脚。”

　　他表示，目前人工智能在医疗行业的应用多基于单一模态的数据，例如在肺结节检出与良恶性诊断中，常采用影像组学方法或深度学习方法，根据输入的肺部CT影像图片进行分析后输出结果。实际上，真实世界的诊疗是医生综合多模态的数据，如同时结合CT影像、超声检查和检验报告等，进行综合判断。“当AI发展到一定程度后，多模态的数据分析就显得非常重要。”他强调，“临床医疗业务产生的大量数据以不同模态存储于数据库中，对它们整理、清洗后，再经过预处理进行多模态融合。多模态融合可以有机整合不同的信息，相比单模态信息更加全面。”

　　傅昊阳进一步指出，多模态融合方法共有两种：与模型无关的融合方法，主要有特征融合和决策融合;基于模型的融合方法，主要是神经网络方法，包括多核学习方法和图像模型方法。

　　傅昊阳介绍，基于多模态数据的医疗智能应用主要体现在多模态医疗知识图谱、智能临床决策支持系统和智能医疗检索系统：

　　1.多模态医疗知识图谱。在广东省中医院，多模态医疗知识图谱的应用体现为建立名老中医知识库。通过对名老中医知识库的挖掘，建立名老中医经方与各种疾病、症候的关联关系，建立中医症候-经方知识库，将名老中医专家知识、经验进行传承。为丰富名老中医知识库，医院除了文本资料外，加入图片、音频和视频资料，利用自然语言处理、神经网络和机器学习的方法构建多模态名老中医知识库。基于多模态数据的名老中医知识库，在原来文本数据的基础上，扩充相关音视频资料，如在症状中加入舌诊和面诊信息、在治疗方法中加入了名老中医诊疗音视频等;

　　2.智能临床决策支持系统。在基于多模态数据的医疗场景下，AI赋能临床决策支持系统，可提供更加准确的辅助诊断、更有效的治疗方案和更精准的疾病预测功能。广东省中医院建设了失眠专病辅助决策系统，通过输入患者的症状，智能推荐中药处方。医院基于多模态数据的失眠专病辅助决策系统，在原有只能输入症状信息(文本)的基础上，增加图像信息的输入;对接中医智能四诊仪，采集舌象图片、面诊图像和脉诊信息，对多模态数据进行融合处理;根据采集的信息和在名老中医知识库查找处方，对多位名老中医的处方进行综合，输出最终的中医处方结果;

　　3.智能医疗检索系统。智能医疗检索系统是医疗与自然语言处理相结合的新一代信息检索技术，其将信息检索从基于关键词的层面提升至基于知识/概念的层面，是语义检索、多模态检索和个性化检索三者的有机结合。多模态融合检索可以对文本和图片进行特征提取，然后进行特征融合，最终输出结果，包括病历、处方、检查图像和检验检查结果。

　　傅昊阳认为，多模态智能医疗在应用中面临以下挑战：

　　1.异构数据的语义鸿沟。不同模态数据在计算机中的表示与人类认知系统的描述之间存在差异。此外，医疗数据由不同的设备生成，各设备生成的数据格式、编码方式、数据粒度大小等也存在很大不同，如何跨越语义鸿沟实现各模态数据间的对齐是一个难点;

　　2.隐私与数据安全问题。隐私和数据安全问题向来是医疗信息安全的重点。数据模态多样、数据量大等因素将导致加密解密和传输的困难。另外，当需要使用来自多家医疗机构的患者数据时，会存在很多限制条件。以上都将给基于多模态数据的医疗智能应用带来挑战;

　　3.多模态数据的复杂性。主要体现为部分医学图像无相关标准，如何快速、准确识别出动态和静态图像中的关键内容等。

　　“在实践中，促进多模态数据的深度应用，能有效减轻医务人员的工作强度，提高诊疗效率和准确率。充分挖掘人工智能技术在中医药领域的潜能也有助于中医药的传承与创新。提升多模态数据治理能力，可为多模态数据医疗研究与应用提供强有力支撑。建设完善人工智能人才储备梯队，一方面保障了基本的运维层面需求，另一方面也为医学发展提供了人才基础，以应对未来信息技术的快速发展。”傅昊阳总结，“未来通过我们共同努力，让AI成为医生的得力助手，可对未来医疗行业产生更深远的影响。”