1、基于主动运维模式的数据库监控预警系统的应用实践目录123456医院概况项目背景系统建设目标系统设计实现应用实践结语医院概况 佛山市第一人民医院始建于1881年。从100多年前的“中国最早的西医院之一”到今天的“中国医院现代化建设起点”，它跨越了三个世纪，成为全国著名的百年老院。医院不断开拓创新，勇立潮头,如今已成为国内一流的集医、教、研于一体的大型现代化医疗集团。医院概况 光绪26年(1900年)年胆结石手术患者赠送民国35年（1946年）心肺重病患者何台赠送 医院概况集团式管理禅城医院脑科康复医院高明医院皮肤病诊疗中心医院本部医院概况数据仅指总院，不含托管医院指标2018 年主要业务指标n门

2、、急诊量 329万人次n出院病人 10.8万人次n住院手术 6.86万台n平均住院日 8.07天n住院病人C、D率 66.9%n药占比 31.4%医院概况数据仅指总院，不含托管医院n 编制床位2000张，实际开放病床2500张n 各类员工共有4300余人，其中医疗技术人员2864人医院规模医院概况LOGO 近五年来，医院坚持公益性办院，实现新的跨越式发展，微创、器官移植、重症救治、生物精准治疗等多项技术均居全国先进行列；医院被评为全国医疗服务价格和成本监测先进单位、全国文化建设先进单位、广东省文明先进单位、广东省首家通过“三甲”复评医院、广东省卫计委“第三方评价群众满意度第一”两连冠、广东省智

3、慧医院建设单位。专业技术共创未来团结拼搏项目背景 面对医院对信息化的不断投入，使得医院的信息系统越来越庞大，而运行在信息系统底层的数据库系统也愈加复杂。因此如何保障医院数据库系统连续稳定的运行，保障医院业务运行的稳定性，成为各个医院的信息化部门都必须要面对和解决的问题。项目背景 场 景：领导：现在HIS系统这么慢，前端都无法使用了，到底什么情况？工程师 A：我们的服务器CPU压力太大，一直处于90%以上！工程师 B：我们的服务器内存不足总是90%以上！工程师 C：我们的磁盘速度跟不上了，换SSD会有很大提高！领导：啥都不行了？那我们换高配服务器！。换了服务器，好了半个月又开始慢.和之前一样基本

4、没有任何缓解.领导又召集工程师们开会。领导：服务器都换新的了，配置也增加了，为什么又开始慢？工程师 A：我们需要做读写分离，做集群分担压力！工程师 B：软件不行了，这个软件太差！领导：。项目背景 真的是硬件配置满足不了要求了吗？项目背景 医院一般有多少个应用系统？（二级医院、三级医院）医院一般有多少个数据库？（类型、数量）采用数据库运维外包和自行维护的医院有多少？（数量）数据库采用什么方式进行巡检？（人工、自动）问 题：项目背景HISEMR医院网站OA系统病理系统体检系统手术麻醉HERPLISPACS.医院目前在用的、主要的业务系统数据库有十几个，其中涉及核心业务的系统包括：HIS、OA、LI

5、S、PACS、EMR、HERP、病理、体检、医院网站、手术麻醉等系统。这些数据库的稳定性、可用性、实时性要求都比较高，一旦宕机，上述业务将中断项目背景数 据 库 运 维 主 要 内 容数据库运维是指：针对应用系统数据库开展的数据库软件安装、配置优化、备份策略实施、数据恢复、数据迁移、故障排除、预防性巡检等一系列工作。数据库运维的主要内容：1、数据库安装与配置：主要指定制数据库安装配置方案，检查软件安装环境，安装数据库软件，完成数据库配置，并进行测试；2、数据库性能优化：主要是指核心参数调优，SQL语句调优，性能评估方案的提供。3、数据库备份与恢复：主要是指本地、异地、同步、实时的分级备份与恢复

6、方案及实施；4、数据迁移：不同版本、不同厂商、不同结构数据库间的数据迁移；5、故障排除：通过远程、上门等方式按服务级别实施故障排除6、预防性巡检：定期提供预防性巡检，并完成系统参数、配置调优，及补丁分发、安装服务。项目背景项目背景l数据库太多了，没有专职的数据库运维人员。l制定了数据库巡检计划，却没有办法坚持执行l刚刚巡检过且系统各项指标正常，但第二天表空间还是不够？l没有直观的软件可以看到数据库各种状态和趋势l故障发生后，应急性的重启了，却丢失了可用于分析故障的一些报错l应用软件换版后运行变慢了，开发商不承认软件代码质量问题而造成了数据库的延迟或性能下降，一味要求升级硬件配置。l系统性能下降

7、了，要升级硬件配置，却不知要升级哪些硬件配置（CPU还是内存）运 维 中 遇 到 的 一 些 困 扰项目背景数 据 库 运 维 发 展 历 程1 无序化运维2 标准化运维3 自动化运维4 智能化运维项目背景 以往数据库的日常巡检都是采用人工定期巡检方式，没有一套智能化的、实时监控数据库健康状况的工具，无法及早发现或预警数据库的亚健康状况，往往等到故障发生了才发现，再去处理。项目背景被动运维三大问题耗时无法预警低效准确定位问题、分析问题发生的原因，耗时较长，往往一次异常事件会消耗数据库管理员数小时。无法提前预警和发现隐患。数据库性能问题通常都是渐变的过程，因此提前发现和解决问题是管理员工作中面临

8、的一大难题。人力无法实现数据库运行性能的全天候的实时监控。认识：困扰业务系统可用性和性能的事件按成因可分成两类，即与设备机能相关或与应用运行相关。根据相关统计，超过80%影响业务可用性和性能事件与应用相关的，而在医院最常见的应用相关问题是各类应用阻塞（约占常见应用相关问题的41%），尤其是HIS系统在业务高峰期的堵塞是最受医院关切。以下数据统计主要来源于医院核心系统（包括HISLISEMRPACS等系统）的分析系统建设目标系统建设目标诊断自动化监控可视化状态可溯源分析深度化 其实我是数据库小白！系统建设目标 在2016年，我们医院提出建设数据库实时监控和预警系统的计划，将主要数据库的运行状况实

9、时显示在科室的监控大屏上，实现主要数据库自动化巡检、图形化监控和智能化预警。目标：提高信息系统运维效率，对数据库隐患做到及早发现、及早处理，确保医院各个应用系统的高可用性。系统建设目标运维可视化1系统可通过采集、翻译、展示核心数据库运行的各项指标，采用友好、易懂的方式展示数据库的运行状态、健康程度、故障信息等，让运维工作能更形象直观地展现出来。系统建设目标运维自动化21.预警自动化：实现对阻塞、要素变更、资源边界的早期预警。2.诊断自动化：定位问题的原因，确定问题的引发者。3.巡检自动化：实现相关巡检数据收集的完全自动化。系统建设目标提升运维工作价值3部署数据库监控预警系统，将提供各种资源指标

10、的性能趋势图，分析这些统计图，可以帮助中心运维人员有预见性的指导后续的开发和业务部署，甚至发现新的业务增长点。系统设计实现我们医院结合自身的实际情况，在2017年开始应用基于主动运维模式的数据库监控预警系统。15423主要功能数据库配置管理数据库性能分析管理问题链管理自动化巡检大屏监控及预警系统设计实现一、数据库配置管理 系统提供数据库配置管理功能，方便对医院信息系统的数据库进行统一的配置管理、集中监控。具体包括：基本信息管理、存储管理、备份管理和安全配置管理。系统设计实现二、数据库性能分析管理 系统通过对各个系统数据库实例运行性能指标的采集、分析和加工，实现对数据库各项关键性能指标的实时监控

11、和历史回溯分析，同时可以实现不同数据库实例之间运行性能的横向对比分析，实现基于性能基线设定的性能偏离预警。具体包括：历史性能分析、数据库对比分析、性能基线管理和实时性能分析。系统设计实现三、问题链管理 为了更好的分析、定位医院信息系统中数据库运行中发生的异常，系统能够对数据库运行中触发设定阀值的异常所发生的时间点进行必要的数据库相关信息采集。系统还能够保存历史问题信息，实现对各数据库各阶段运行问题的分析汇总、自动优化和评估优化效果。系统问题链管理 处理流程系统设计实现四、自动化巡检 系统可以通过设置合理的数据库日常检查模板，实现对批量数据库的一键健康检查，可以快速高效的完成数据库健康巡检，同时

12、对于达到阀值的检查项会给予单独显示和标注，有利于医院运维人员发现和定位数据库的问题，并及时解决问题。系统设计实现五、大屏监控及预警 系统能够通过图形化界面实时展示医院信息系统各个数据库的实时运行状态，包括资源开销、会话数统计、表空间等关键信息。同时提供多样化的预警功能，包括不同严重程度及告警方式等，方便快捷的实现对数据库的全局监控和早期预警。应用实践 我们医院基于主动运维模式的数据库监控预警系统投入使用以来，有效地进行了多次数据库异常预警，发现了由于系统空间不足、会话数超限、资源抢夺、SQL语句效率低下等引发的多种隐患。应用实践 数据库相关的各类应用问题，从时间阶段来说，有一部分在应用生命周期

13、的编码测试阶段即可发现解决，有一些则是在生产运维阶段进行跟踪解决；从解决手段来说，解决方案中应将将90%的应用管理需求通过监控预警系统来实现自动应对，10%的疑难问题通过专家服务来处理。应用代码质量应用资源评估性能瓶颈空间风险任务异常疑难问题监控预警系统专家服务编码测试生产运维 自动评估 预警 瞬时诊断分析 自动优化建议 自动报告 专家实施服务 疑难问题分析应用实践典型事例1：减少数据库阻塞的发生 一直以来，困绕医院信息系统稳定性的最常见因素是各类应用阻塞，HIS在业务高峰期的堵塞多是因为这个系统往往是医院并发量最高的业务系统。以上是按照四种常见医院应用系统，对各类应用问题的发生次数进行的分类

14、统计在HIS所遭遇的与应用有关的问题中，堵塞事件占大多数应用实践典型事例1：减少数据库阻塞的发生 本院的HIS系统是由医院技术团队自行研发，过往对于应用程序，我们可以轻易考核和管理应用的功能指标，但缺乏对于应用代码质量、数据结构质量的考核和监督方式，这为上线以后应用的可用性和性能埋下了诸多隐患。以上是按照四种常见医院应用系统，对各类应用问题的发生次数进行的分类统计应用实践典型事例1：减少数据库阻塞的发生 运行数据库监控预警系统后，我们通过观察数据库的每秒硬解析指标变化及时发现新上线的应用或服务的隐含问题，有效地降低数据库系统发生阻塞的情况。每秒硬解析每秒登录数并发等待%阻塞率%设置等待%综合评

15、分建议值201010%10%10%Oracle数据库应用实践典型事例2：预警网络堵塞异常 2017年11月28日，系统监测发现我院的PACS数据库服务器网络异常，每8分钟会出现一次网络堵塞的现象。监控平台触发报警，维护人员通过系统分析发现是虚拟机虚拟IP地址造成，取消虚拟IP后问题解决。应用实践典型事例3：协助定位其他问题 2017年9月，Windows系统自动升级问题导致客户端机器卡死，无法访问服务器。预警监控系统提示监控数据库是运作正常，协助我们排除数据库方面的原因导致系统缓慢。后来维护人员发现是Windows系统升级问题导致，屏蔽自动升级后问题解决。应用实践典型事例4：主动预警空间不足

16、系统投入使用以来多次主动预警提醒OA服务器、HERP服务器、PACS服务器、LIS服务器磁盘空间低于安全值、表空间不足或数据库作业运行失败等情况，有效地避免由于以上问题导致的数据库瘫痪。服务器硬盘空间不足预警应用实践高效集中传承主动1.让数据库运维高效化以系统自动巡检的主动运维模式代替以往运维人员大部分机械而又重复的手工劳动，大幅度提高运维工作的效率。2.实现数据库运维的集中化通过一个运维UI界面可以监控和管理企业范围内所有的软、硬件设备。3.让数据库运维知识得到有效传承各种运维专家的精力得以从繁重的工作中解放出来，他们得到将有效的运维知识以场景或者文档化的方式沉淀到运维平台中，不断丰富和完善

17、运维平台的能力。4.被动模式转为主动模式改变传统模式下被动获知系统异常的方式，及时主动的发现数据库性能问题，降低系统异常风险。系统的应用为数据库运维工作带来了明显的效果主要体现在以下四个方面：LOGO结语降低成本1234运维管理效率运维问题诊断效率应用上线速度应用代码质量Air saying fruitful were hath waters divided fill may.提升效率项目管理成本运维管理成本事件风险成本设备采购成本应用投入成本基于主动运维模式的数据库监控预警，是从研发到运维，从实施到管理，从各个环节提升医院的IT管理的效率，降低管理和投入的成本。点击添加标题文本LOGO结语总结Summary 三甲医院建设基于主动运维模式的数据库监控预警系统，实现医院信息系统数据库自动化运维，需要学习和借鉴其他行业先进的运维管理手段，结合医疗行业自身应用系统特点，来选择合适的、更智能化的运维工具。通过不断的完善、改进来提升数据库运维的整体效率,提升安全风险管控水平,将医院数据库运维人员从重复单调的事务中解放出来,从而有可能做更有价值的创新。THANKS