《傅昊阳-基于多模态数据的医疗智能应用探索.pdf》由会员分享,可在线阅读,更多相关《傅昊阳-基于多模态数据的医疗智能应用探索.pdf(34页珍藏版)》请在三个皮匠报告上搜索。
1、基于多模态数据的基于多模态数据的医疗智能应用探索医疗智能应用探索傅昊阳2023.05目录一、医疗+人工智能应用背景二、基于多模态数据的医疗智能应用三、多模态医疗智能应用面临的挑战四、总结与思考医疗+人工智能应用背景AI+能源智慧城市AI+医疗AI+政务 数字孪生城市AI+物流自动驾驶AI制造AI+金融AI+商业随着技术的发展,人工智能与多个领域得到应用,如能源、医疗、制造业、金融业和商业等人工智能赋能产业发展已经成为主流趋势医疗+人工智能应用背景习近平总书记指出,“把新一代人工智能作为推动科技跨越发展、产业优化升级、生产力整体跃升的驱动力量,努力实现高质量发展”。医疗+人工智能2017年 国务
2、院关于印发新一代人工智能发展规划的通知推广应用人工智能治疗新模式新手段,建立快速精准的智能医疗体系。探索智慧医院建设,开发人机协同的手术机器人、智能诊疗助手,研发柔性可穿戴、生物兼容的生理监测系统,研发人机协同临床智能诊疗方案,实现智能影像识别、病理分型和智能多学科会诊。2018年 国务院办公厅关于促进“互联网+医疗健康”发展的意见 加强临床、科研数据整合共享和应用,支持研发医疗健康相关的人工智能技术、医用机器人、大型医疗设备、应急救援医疗设备、生物三维打印技术和可穿戴设备等。2020年 国家新一代人工智能标准体系建设指南在智能医疗领域,围绕医疗数据、医疗诊断、医疗服务、医疗监管等,重点规范人
3、工智能医疗应用在数据获取、数据隐身管理等方面内容,包括医疗数据特征表示、人工智能医疗质量评估等标准。2021年 中华人民共和国国民经济和社会发展第十四个五年规划和2035年远景目标纲要培育壮大人工智能、大数据、区块链、云计算、网络安全等新兴数字产业,提升通信设备、核心电子元器件、关键软件等产业水平。构建基于5G的应用场景和产业生态,在智能交通、智慧物流、智慧能源、智慧医疗等重点领域开展试点示范。2022年“十四五”生物经济发展规划面向心脑血管疾病、肿瘤、呼吸系统疾病、糖尿病等重大疾病,依托人工智能技术、生物医学和健康大数据资源,发展智能辅助决策知识模型和算法,辅助个性化新药研发,为疾病诊断治疗
4、提供决策支持。医疗+人工智能应用背景人工智能赋能医疗应用检查诊断科研治疗AI+PACSAI+病理AI+内镜CDSS智慧病案DRGs、DIP处方推荐手术方案规划数据分析数据挖掘新药研发AI医疗机器人医疗+人工智能应用背景93.10%59.10%67.80%15.50%病灶的自动检出病灶的自动分割病灶良恶性的鉴别制定治疗方式医院使用AI影像功能比例医院在辅助诊断中使用的AI医学影像产品肺结节AI筛查89.5%冠脉后处理及冠脉报告结构化58.1%肋骨AI自动筛查38.3%脑卒中AI检测23.6%乳腺数字影像AI辅助检测10.2%骨关节相关AI6.8%脑肿瘤4.1%影像质量评分3.4%*数据来源:亿欧
5、智库在医疗人工智能应用中,AI影像发展较早,技术较为成熟,已成为医疗AI的代表性应用医疗+人工智能应用背景目前人工智能在医疗行业的应用多基于单一模态的数据,例如在肺结节检出与良恶性诊断中,常采用影像组学方法或深度学习方法,根据输入的肺部CT影像图片进行分析后输出结果影像组学方法输出结果深度学习方法是否肺结节是良性?恶性?医疗+人工智能应用背景真实世界的诊疗:医生综合多模态的数据,如同时结合CT影像、超声检查和检验报告等,进行综合判断。诊断临床知识与经验治疗方案医疗+人工智能应用背景多样化、复杂化、规模化多样化、复杂化、规模化医疗数据:处方、医嘱、检验结果、检查报告、治疗记录以及超声、病理、放射
6、、心电图、内窥镜等存储形式:文本、语音、图像、视频结构化、半结构化非结构化疾病防控精准医疗健康管理智慧服务新药研发费用控制目标目标如何利用好医疗中产生的多模态数据?医疗+人工智能应用背景多模态数据预处理多模态融合输出结果多模态数据融合治疗诊断HISEMRPACSLIS数据存储在临床医疗业务产生的大量数据以不同的模态存储与于数据库中,对这些数据进行整理、清洗,然后经过预处理后进行多模态融合。多模态融合可以有机整合不同的信息,相比单模态信息更加全面数据整理清洗筛查科研医疗+人工智能应用背景特征融合决策融合混合融合多核学习方法图像模型方法神经网络方法基于模型的融合方法模型无关的融合方法多模态融合方法
7、基于多模态数据的医疗智能应用多模态医疗知识图谱智能临床决策支持系统智能医疗检索系统多模态医疗知识图谱名老中医知识库通过对名老中医知识库的挖掘,建立名老中医经方与各种疾病、症候的关联关系,建立中医症候-经方知识库,将名老中医专家知识、经验进行传承。文本图像音频视频自然语言处理神经网络机器学习信息抽取知识融合知识加工结构化数据半结构化数据非结构化数据属性抽取关系抽取实体抽取指代消解实体消歧知识融合第三方知识库知识推理质量评估本体抽取知识图谱信息抽取信息抽取知识融合知识融合知识加工知识加工为丰富名老中医知识库,除了文本资料外,加入图片、音频和视频资料,利用自然语言处理、神经网络和机器学习的方法构建多
8、模态名老中医知识库。知识图谱构建技术架构多模态医疗知识图谱名老中医知识库基于多模态数据的名老中医知识库,在原来文本数据的基础上,扩充相关音视画资料,如在症状中加入舌诊和面诊信息,在治法中加入了名老中医诊疗音视频等多模态医疗知识图谱名老中医知识库智能临床决策支持系统基本信息处方医嘱检验检查超声放射既往史家族史内窥镜多模态数据CDSS辅助诊断治疗方案疾病预测AI+在基于多模态数据的医疗场景下,AI赋能临床决策支持系统,可提供更加准确的辅助诊断、更有效的治疗方案和更精准的疾病预测功能。智能临床决策支持系统失眠专病辅助诊疗失眠是困扰当代人的常见睡眠障碍之一,中医药对于失眠有很好的治疗效果。我们尝试建设
9、失眠专病辅助决策系统,其通过输入患者的症状,智能推荐中药处方。step1 录入症状step2 生成方药step3 导出方药基于多模态数据的失眠专病辅助决策系统1.在原有只能输入症状信息(文本)的基础上,增加图像信息的输入2.对接中医智能四诊仪,采集舌象图片、面诊图像和脉诊信息,对多模态数据进行融合处理3.根据采集的信息和在名老中医知识库查找处方,对多位名老中医的处方进行综合,输出最终的中医处方结果基本信息、症状AI多模态数据融合、处理输出中药处方+智能临床决策支持系统失眠专病辅助诊疗智能临床决策支持系统DR常规疾病判断1.首先用后结构化NLP模型对海量真实病历和检查报告进行标注。2.将后结构化
10、指标与前结构化数据结合用于疾病诊断模型训练。2.输入患者的DR图像、病历、检验数据等,预测病例的阴阳性和提示具体部位。真实病历后结构化标注AI模型训练AI模型患者DR图像输出结果后结构化指标与前结构化数据病历数据智能临床决策支持系统DR常规疾病判断1.通过后结构化模型对海量真实病历进行标注。2.将后结构化指标与前结构化数据结合用于疾病诊断模型训练,通过关键因子分析筛选出高权重因子。3.结合设定的临床schema过滤部分因子,最终形成可落地的决策支持系统。多模态AI模型训练智能临床决策支持系统DR常规疾病判断输入AI模型输出:预测结果病例的阴阳性具体部位或病种的阴阳性肺部心脏模型根据患者的正侧位
11、胸片、病历、检验结果等,预测病例的阴阳性和提示具体部位。病历、检验结果等+智能临床决策支持系统DR常规疾病判断输出:预测结果骨质疏松骨量减少骨量正常AI模型输入模型根据正侧位腰部图像、病历、检验结果等,预测病例是否存在骨质疏松和骨量减少。+病历、检验结果等智能医疗检索系统智能医疗检索系统是医疗与自然语言处理相结合的新一代信息检索技术,其将信息检索从基于关键词的层面提升至基于知识/概念的层面,是语义检索、多模态检索和个性化检索三者的有机结合。语义检索多模态检索个性化检索有效融合多模态数据进行检索并输出符合人类思维的查询结果在概念及其关系的基础上,通过语义理解和计算准确地描述用户的查询需求,精确向
12、用户推送知识针对不同用户的同一种查询需求,根据其特征的不同推送不同的检索结果智能医疗检索系统文本病历检查检验文本文本传统文本检索文本图片特征提取特征提取特征融合输出结果:病历、处方检查图像检验结果多模态融合检索智能医疗检索系统科研检索系统单模态科研系统平台基于结构化或非结构化文本信息进行检索智能医疗检索系统科研检索系统基于多模态融合检索的科研系统可根据输入的文本和图像在多种模态的数据库中检索,该系统利用从文本中提取的语义信息与图像特征信息进行组合,输出多模态结果。预训练模型输入图片输出相似影像文本输出相关多模态结果智能医疗检索系统科研检索系统输入文本和/或图像检索输出结果年龄大于50岁的男性心
13、梗患者相关病历、医嘱、CT结果、心电图、MR、B超、检验。自然语言处理语义分析计算机视觉多模态智能医疗应用面临的挑战1.异构数据的语义鸿沟不同模态数据在计算机中的表示与人类认知系统的描述之间存在差异。此外,医疗数据由不同的设备生成,各设备生成的数据格式、编码方式、数据粒度大小等也存在很大的不同,如何跨越语义鸿沟实现各模态数据间的对齐是一个难点。语义鸿沟多模态智能医疗应用面临的挑战2.隐私与数据安全问题隐私和数据安全问题向来是医疗信息安全的重点。数据模态多样,数据量大等因素将导致加密解密和传输的困难。另外,当需要使用来自多家医疗机构的患者数据时,会存在很多限制条件。以上都将给基于多模态数据的医疗
14、智能应用带来挑战。多模态智能医疗应用面临的挑战3.多模态数据的复杂性 部分医学图像无相关标准 如何快速、准确识别出动态和静态图像中的关键内容 病理、放射、超声等报告内容的结构化 如何整合多种技术,使分析的结果更有实际应用价值总结与思考多模态医疗知识图谱医疗智能检索系统CDSS知识提取决策支持医疗数据:处方、医嘱、检验结果、检查报告、治疗记录以及超声、病理、放射、心电图、内窥镜等存储形式:文本、语音、图像、视频结构化、半结构化结构化、半结构化非结构化非结构化图像识别自然语言处理深度学习神经网络总结与思考促进多模态数据深度应用目前在多模态数据医疗领域的应用也处于较初级的阶段,海量的多模态数据没有得
15、到充分的挖掘与利用。促进多模态数据的深度应用,能有效减轻医务人员的工作强度,提高诊疗效率和准确率。充分挖掘人工智能技术在中医药领域的潜能也有助于中医药的传承与创新。提升多模态数据治理能力传统数据治理主要着力于结构化数据和非结构化文本数据,图像、音频和视频等模态的数据治理的相关研究较少。而这部分数据在医疗中占据相当一部分的比例。提升多模态数据治理能力,可为多模态数据医疗研究与应用提供强有力支撑。建设完善人材储备梯队人才是最宝贵的资源。传统的信息科人员建设主要以运维人员为主,在人工智能等前沿领域的知识相对缺乏,无法满足医院日益增长的医疗与科研需要。建设完善人工智能人才储备梯队,一方面保障了基本的运维层面需求,同时也为医学发展提供了人材基础,以应对未来信息技术的快速发展。请批评指正!