1、 全球敏捷运维峰会 广州站如何打造稳健数据库管理平台演讲人：洪斌 全球敏捷运维峰会 广州站我是谁 洪斌 上海爱可生南区技术负责人12年开源数据库技术咨询与支持致力于开源数据库技术的分享与传播公众号玩转MySQL作者Oracle MySQL ACE 上海爱可生 开源数据库解决方案和服务提供商为企业提供开源数据库的整体解决方案与技术服务客户覆盖金融、电信、能源、零售、制造业等行业 全球敏捷运维峰会 广州站数字化转型催生产业互联网，为运维带来机遇与挑战One size does not fit all数据库种类的增多，运维难度增大数据库数量的增多，运维工作量增大存储数据量的增多，可扩展性增大业务连续

2、性要求高，运维敏捷增大希望运维效率提升，降低运维风险数据库运维不同于其他无状态应用运维企业使用的数据库种类至少3-6种 全球敏捷运维峰会 广州站开源数据库正在成为主流，2021年首度超越商业数据库Stack Overflow Developer Survey 2020 全球敏捷运维峰会 广州站数据库运维如此专业，怎么才能把运维的门槛(成本)降低点？全球敏捷运维峰会 广州站我们需要具全生命周期管控能力的数据库运管平台数据库全生命周期管理资源审批资源交付资源创建规范基线资源回收选型调研开发规范运维规范不断改进架构基线(可靠性、稳定性）性能基线（高性能、高并发）部署基线（基础运行环境）已有资源纳管多

3、种架构（灾备、高可用、分布式、读写分离）模板管理SLA确认（RPORTO)资源清单确认权限划分与OA/ITIL等流程对接分钟级别交付数据库拓扑信息与CMDB对接资源使用监控告警数据库开发及测试备份恢复性能优化（锁、TOPSQL、慢SQL）故障分析资源变更数据库在线迁移数据库规格变更数据库版本升级数据库扩容参数变更高可用切换策略数据库归档数据库销毁资源回收 全球敏捷运维峰会 广州站服务编排平台多种数据库类型多种数据库架构高可用切换平台备份恢复平台监控告警平台故障诊断平台SQL审核平台拥有什么样功能才算是一个比较完整的数据库运管平台 全球敏捷运维峰会 广州站版本管理架构选型系统参数数据库参数目录规

4、范磁盘分区安装方式账户安全系统运维的稳定性从规范化的部署开始 全球敏捷运维峰会 广州站金融行业容灾标准规范容灾等级RTORPO年中断时间数据备份、数据处理、网络、运维技术要求（部分）复制方式选择3级24小时24小时4 天至少有一个数据副本在同城或异地；支持完成切换准备后，自动或集中切换；异步复制双副本4级4小时1小时10小时至少有一个数据副本在异地；异地处于就绪或运行状态，支持自动或集中切换；异步复制双副本5级30分钟01小时同城、异地至少各有一个数据副本；其中至少一个应同步复制；同城、异地，至少一个处于运行状态，可实时自动或集中切换；同城强同步复制3或4副本6级2分钟05分钟同城、异地至少各

5、有一个数据副本；其中至少一个应同步复制；同城、异地均处于运行状态，可实时自动或集中无缝切换；同城强同步复制+异地异步复制4或5副本 全球敏捷运维峰会 广州站A园区MasterSlave1B园区A园区B园区A园区B园区C园区半同步半同步异步半同步半同步半同步半同步Slave2Slave1Slave3Slave2Slave3Slave4MasterMasterSlave1Slave2半同步异步A园区MasterSlave1异步六级灾备五级灾备四级灾备三级灾备不同容灾级别下的MySQL高可用容灾架构 全球敏捷运维峰会 广州站数据库运维需要应对多种故障场景主机硬件网络故障(脑裂)操作系统数据库服务高可

6、用软件自身 全球敏捷运维峰会 广州站满足企业级需求的高可用架构 架构介绍透明访问：SIP绑定 或路由中间件，支持一主多备故障自动切换：检测网络、服务器、操作系统、服务进程等故障，实现故障秒级自动切换强一致性保证：A.支持异步复制，可选用binlog共享存储方式，切换前数据补齐，确保数据零丢失B.支持MySQL半同步复制C.支持组复制（MGR）技术D.当半同步降级为异步复制，此时主库发生故障，高可用软件会优先尝试采用主库节点上的binlog日志进行数据补偿，补偿完成后新主库对外提供服务，保证数据的一致性。故障自动恢复：主从节点故障自动修复数据复制自动修复：检测复制状态，自动修复复制故障，降级为异

7、步复制后自动恢复为半同步复制SLA协议保证：量化数据库服务指标，保障数据一致性切换易用性：图形化管理、一键式部署、数据自动备份、监控告警应用场景UcoreUcoreUcore核心配置组件切换决策组件Uguard_MGR(主)Uguard_MGR(备)UstatsUGuard_AgentUstatsUGuard_AgentMySQL主MySQL从数据库复制状态采集状态采集管理任务管理任务管理区数据区 全球敏捷运维峰会 广州站脑裂是指当发生网络分区时可能双主局面，即有两个节点都绑定VIP，客户端可对双主写数据，可能造成数据不一致。处理机制1.网络采用多链路聚合，降低网络链路分区的概率。2.多个视角

8、探测master节点的连通性，包括哨兵视角和slave视角，提高探测精确性。3.VIP漂移需发送免费arp包，避免原主被访问4.网络恢复后及时解绑VIP，降级为备节点如何避免脑裂 全球敏捷运维峰会 广州站特性特性云树云树DMP(Uguard)MHAKeepAlived高可用架构高可用架构基于逻辑复制的单主多从基于逻辑复制的单主多从基于逻辑复制的双主哨兵决策节点的高可用哨兵决策节点的高可用支持(多个哨兵节点以主备模式运行)不支持(单哨兵节点)对称架构(无第三方哨兵节点)主节点可用性监测主节点可用性监测支持支持支持从节点可用性监测从节点可用性监测支持不支持支持(双主架构)复制链路可用性监测复制链路

9、可用性监测支持不支持不支持GTID一致性实时监测一致性实时监测支持(发现GTID不一致告警并踢出高可用集群)不支持不支持从节点只读保护从节点只读保护支持(对从节点自动保持只读设置)不支持(需手动配置，容易遗漏)不支持(需手动配置，容易遗漏)主节点故障自修复主节点故障自修复支持(服务重启、主从切换)部分支持(主从切换)不支持从节点故障自修复从节点故障自修复支持(服务重启，数据自动重建(可选)不支持支持(双主架构)复制链路复制链路故障自修复故障自修复支持(复制通道重启/重建)不支持不支持连续主从切换连续主从切换(1主多从架构主多从架构)支持(只要存在可用从机)不支持(一次性切换，manager进程

10、退出)不支持(仅支持双节点)可用复制模式可用复制模式异步/半同步/组复制异步/半同步异步/半同步可配置切换策略可配置切换策略支持(基于权重/基于标签/基于RTO和RPO指标要求)不支持不支持binlog日志补偿日志补偿支持支持不支持可触发切换动作可触发切换动作VIP绑定/可触发自定义脚本需自行编写切换动作脚本VIP绑定/可触发自定义脚本脑裂防护脑裂防护支持(若主节点发生网络隔离，选出新主后，旧主网络恢复，降级)不支持容易产生脑裂，且无法防护告警通知告警通知支持不支持(可自定义通知脚本)不支持(可自定义通知脚本)从整体考虑数据库可用性管理，不是简单的主从切换 全球敏捷运维峰会 广州站通过切片（s

11、harding）对集中式数据库进行分库分表，把数据库的业务数据分成多个物理数据库分片 每个Shard 只负责自己分片数据的修改 实现Sharding 需要解决一系列关键的技术问题：切片策略、节点路由、跨节点排序/分组/关联、分 布式事务处理和Shard扩容等读写分离读的横扩展适合读多写少，读写比例极不均衡读一致性要求不高水平分片读写横向扩展容量的横向扩展数据分散到不同节点误区超过1000万行就要分表读写分离架构读只读读写写分片架构 主从主从主从SQL计算节点数据存储节点MySQL架构的横向扩展 全球敏捷运维峰会 广州站l架构：1主3从2确认l切换策略：DC内自动，跨DC联动l故障预警：主从gt

12、id实时监测，不一致踢出集群l故障自愈：复制重连；备库重做l容灾能力：RPO=0 RTO 30 m；园区A园区B管理节点管理节点一套高可用软件，实现多种高可用容灾架构不等ACK.APP ServerAPP Server等ACKDBLE 数据库分布式中间件集群分片1分片NDBLE 数据库分布式中间件集群 全球敏捷运维峰会 广州站备份l全量/增量l物理备份/Binglog备份l备份自动回收转储lftp、磁盘、带库l自动转储，故障无忧lNBU/S3备份对接灾备报告l展示RTO、RPOl备份数据有效性验证编排l自动编排所有备份任务l发送每天编排报表l异常编排任务告警恢复演练l自动恢复演练l指定时间点恢

13、复l故障恢复预测Urman_mgrUrman_agent下发备份任务开始备份备份集DB1转储归档空间下发恢复任务Urman_agent演练DB演练恢复如果本地没有则拷贝新DB1故障恢复备份策略备份、转储、恢复、演练一套完整闭环的备份恢复系统 全球敏捷运维峰会 广州站l备份成功=！顺利恢复；l高可用不能替代备份恢复；l可基于时间点恢复到指定event；自动恢复演练确保需要恢复数据时备份集可用，可恢复至任意时间点18 全球敏捷运维峰会 广州站l融合十年以上百个大型MySQL数据库系统运维经验，总结出9大类，25个子类，监控指标MySQL200 多项、Redis 80多项、MongoDB 50多项。

14、l结合系统资源，主机、操作系统、IO、网络等上百个监控指标，确保MySQL数据库系统稳定可靠地运行。l支持对数据库空间、性能、运行时间、报警、慢SQL等形成数据库性能报告。监控中心事务相关连接与线程表相关网络流量查询类型命令统计查询缓存MySQL排序InnoDB相关覆盖最全面的监控指标 全球敏捷运维峰会 广州站成千实例规模，成万监控指标，实时指标展示，告警异常及时传统监控面临的问题：无法分布式部署，扩展性差初始化配置复杂，后期运维管理成本高数据量增长导致后端数据库性能不足告警规则配置复杂，容易触发邮件风暴爱可生监控的优势：全分布式架构，扩展性好配置管理简单，可视化展现丰富采用时间序列数据库，高

15、效查询和存储支持两种数据采集方式：直接pull采取和短时Job的push gateway可自定义多维度数据模型独立的告警管理中心，提供API接口支持告警的抑制和收敛支持微信、邮件、黑洞等转发专业的MySQL监控模板Umon_mgr 全球敏捷运维峰会 广州站定时健康巡检，快速诊断数据库，将故障隐患扼杀在摇篮里健康巡检库表检查慢日志分析锁冲突分析磁盘容量分析DDL进度连接分析 全球敏捷运维峰会 广州站l热参数即时生效l重启参数特别标识l敏感参数默认不显示一键参数变更，避免误操作、漏操作22 全球敏捷运维峰会 广州站SQL审核落实开发规范，DBA不再为烂SQL发愁规范化数据库设计对象审核SQL语句审

16、核逻辑设计反模式物理设计反模式查询反模式数据反模式 全球敏捷运维峰会 广州站应用特征应用特征交易特征:高并发、低延时，日均交易量2亿交易延时10ms;业务数据量20T,7*24联机服高可用架构:MySQL分库分表,应用双活实施效果实施效果日均交易量1亿以上分库分表,-致性Hash算法、智能路由,128个分日间联机(读)、夜间批量(写)支持同城/本地高可用自动化切换,RPO=0,RTO30s某银行A类业务MYSQL两地三中心架构 全球敏捷运维峰会 广州站高可用主从集群MySQL主库MySQL从库l异步复制l半同步复制高可用MGR集群MGR组复制writesetwritesetwritesetMySQLDB1MySQLDB2MySQLDB3同城容灾集群MySQL主库MySQL从库MySQL从库半同步复制MySQL从库异地容灾集群MySQL主库MySQL从库MySQL从库异步复制MySQL从库分布式集群读MySQL从库MySQL主库写半同步复制快速部署服务部署云树DMP 数据库集群管理平台系统变更监控巡检安全审计架构优化实例接管资源隔离版本升级参数变更备份恢复实例诊断自动巡检平台权限高可用读写分离分布式监控告警SQL审核数据库权限组合开源数据库帮助企业降本，用好数据库运管平台帮助企业提效 全球敏捷运维峰会 广州站THANK YOU！