1、全球敏捷运维峰会广州站金融行业MySQL高可用实践全球敏捷运维峰会广州站金融行业MySQL高可用方案选型12爱可生金融级MySQL高可用方案2某大型国有银行MySQL高可用实践3目录CONTENTS全球敏捷运维峰会广州站301 金融行业MySQL高可用方案选型全球敏捷运维峰会广州站4金融行业MySQL高可用需求衡量数据一致性（RPO）？业务连续性(RTO)？同步力度？业务性能？业务规模？可维护性？全球敏捷运维峰会广州站5金融行业信息系统平台灾备等级要求数据来源-中华人民共和国金融行业标准 JR/T 01682018等级依据：影响的广度和深度，影响面分为：内部信息辅助影响、内部生产运营影响、法人

2、及其它机构影响、国家金融秩序稳定影响容灾等级RTORPO年中断时间数据备份、数据处理、网络、运维技术要求（部分）3级24小时24小时4 天至少有一个数据副本在同城或异地；支持完成切换准备后，自动或集中切换；4级4小时1小时10小时至少有一个数据副本在异地；异地处于就绪或运行状态，支持自动或集中切换；5级30分钟01小时同城、异地至少各有一个数据副本；其中至少一个应同步复制；同城、异地，至少一个处于运行状态，可实时自动或集中切换；6级2分钟05分钟同城、异地至少各有一个数据副本；其中至少一个应同步复制；同城、异地均处于运行状态，可实时自动或集中无缝切换；全球敏捷运维峰会广州站6金融行业MySQL

3、高可用方案选型容灾等级可用区运行状态MySQL高可用选型建议3级1同城 或 1异地主备+备份半同步/异步复制+备份4级1异地主备+备份异步复制+备份5级1同城+1异地同城双活中间件拆分+半同步复制+全局一致性备份6级1同城+1异地同城+异地多活全球敏捷运维峰会广州站7MySQL高可用架构/工具选型MySQL Replication MHA适用场景：历史遗留实例（MySQL 5.5）基于文件位置的主从复制解决的问题：从库一致性：一主多从环境，从库之间的日志回放进度对比数据补偿：GTID模式下，具备主动日志补偿能力（当时唯一的开源方案）问题及风险：从库调度：半同步复制下的从库会影响可用性业务访问：

4、SIP实现需要自行编写脚本数据补偿（MySQL 5.7.2以后）：5.7.2引入logic_clock并行回访，binlog格式发生变化其它风险：管理节点高可用、relay_log自动清理、SSH免密登录、切换策略、切换判断、后期维护支持全球敏捷运维峰会广州站8MySQL高可用架构/工具选型MySQL Group Replication Innodb Cluster适用场景：新规划的实例（MySQL 8.0+，相比5.7+版本增加多个重要功能）低延迟、少抖动、不易隔离的网络环境解决的问题：切换：基于组复制的自动选主业务访问：轻量级中间件MySQL Router统一访问数据补偿：灵活的一致性策略

5、（写多数派&读等待）探活：允许合入大事务中、超时时间有额外等待风险与难点：部署配置（多数派选择、内网外网配置、网络超时时间、事务一致性模式、实例权重、成员离开行为）网络隔离（同城切换），需要人工维护处理全球敏捷运维峰会广州站同城切换场景MySQL组复制风险主园区备园区方案2：主存在于少数派园区主园区备园区方案1：主位于多数派园区收益：主实例故障自动切换备园区故障对集群无影响风险：主园区故障，集群无法选主，需要人工介入处理9收益：主园区故障，集群仍可选主，配合业务集中切换风险：无法做同园区切换（可评估改为5节点）备园区故障，主园区受影响，需要人工介入处理（可评估自愈处理）全球敏捷运维峰会广州站1

6、002 爱可生金融级MySQL高可用方案全球敏捷运维峰会广州站核心：异步/增强半同步/组复制;Oracle提供源码保障；优化：切换策略自定义；RPO/RTO/跨园区补充：完整性：组件本身高可用、从库调度可维护性：动作历史、延迟历史、日志记录状态判断：多维度判断，避免误判运维体系兼容性：提供脚本执行接口11UcoreUcoreUcoreUGuard_MGR(主)UGuard_MGR(备)管理区高可用决策UGuard_AgentUstatsUGuard_AgentUstats业务区UMC数据库复制sync binlogsync relaylogwrite binlogcommittrans_ re

7、ceiptwait ackapply binlogcommit高可用产品逻辑架构-金融级高可用管理示意图集群配置中心WEB UI信息收集决策执行全球敏捷运维峰会广州站平台整体特性 完整的MySQL全生命周期管理安装部署快速部署云树DMP 数据库集群管理平台流程优化监控运维安全防护架构支撑实例接管资源隔离配置管理参数下发备份演练可视大屏自动巡检平台权限高可用读写分离分库分表监控告警操作审计数据库权限12MySQL数据库高可用架构-(A-S 数据主备)跨数据库读写分离-(A-Q 交易-查询)读MySQL拆分OracleDB2写数据库集群分布式分库分表架构-(A-A 同城异地双写)MySQL分片1主

8、从主从主从MySQL分片2MySQL分片NSQL变化和分发MySQL主库MySQL从库异步复制/半同步复制RTO/RPO/本地自动切换kafka夜间批量导入全球敏捷运维峰会广州站1303 某大型国有银行MySQL高可用实践全球敏捷运维峰会广州站14某大行-MySQL发展历程云树DMP数据库管理员云树DMP同城A数据中心MySQL 5.6异步复制主从replicationDBLE 分布式中间件集群MySQL 5.7半同步复制从主replicationkafka同城B数据中心高可用行为部分业务系统InfoSphere CDC现有运维管理体系监控告警统一巡检APIK8S容器编排核心目的：支撑行内灾备

9、5级业务系统；架构选型：MySQL半同步复制、开源分布式中间件；运维支撑：实例部署、监控、配置、巡检、备份恢复、告警；规模扩展：容器化，2000+实例下的物理资源；.全球敏捷运维峰会广州站15灵活切换：实现异地灾备快速切换（RPO、RTO由半小时提升至分钟级）；性能提升：本地SSD使单台服务器可提供IO能力大幅提升，交易响应时间提升50%；三层网络城市A（承载业务）城市B（MySQL异步复制）故障域A3主实例集群.故障域B4从实例集群.三层网络城市A（承载业务）城市B（存储复制）MySQL异步复制块设备复制LUNLUN故障域A1/A2管理集群故障域B1/B2/B3管理集群灾备3级部署 异地异步

10、复制（Active-Slave）全球敏捷运维峰会广州站16原方案：一主两从一返回；现方案：本地优先切换：从返回数可设置；优先本地切换；从库自动调度：从库出现异常主库自动调度；多数派管理节点：位于备园区；跨园区切换：人工二次确认，RPO=0；RTO60S；业务系统：满足三、四、五级灾备需求；故障域A3主实例集群1.园区A（承载业务）园区B（MySQL半同步复制）NBU备份集群故障域A4从实例集群1.故障域B4从实例集群2.故障域B5从实例集群3.故障域A1/A2管理集群同城网络故障域B1/B2/B3管理集群灾备4级部署 同城半同步复制（Active-Slave）同城网络全球敏捷运维峰会广州站17

11、原方案：业务侧路由；现方案：DBLE完成路由优先切换：从返回数可设置；优先本地切换；业务连续：中间件主备部署，7*24小时联机服务；跨园区切换：数据库随业务进行切换，人工二次确认；RTO30S业务系统：五级灾备且RTO要求高；故障域A3主实例集群A.园区A（承载业务）园区B（承载业务）DBLE 数据库分布式中间件集群DBLE 数据库分布式中间件集群故障域A4从实例集群A1.故障域A5从实例集群A2.故障域B4主实例集群B.故障域B5从实例集群B2.故障域B6从实例集群B2.故障域A1/A2管理集群故障域B1/B2/B3管理集群灾备5级部署 同城双写（Active-Active）同城网络同城网络全球敏捷运维峰会广州站某大行-MySQL建设核心价值18金融级可靠性：从脚本切换过渡到适应不同业务场景的金融级高可用；可维护性：从100+实例增长到2000+实例；未来计划5000+实例；核心系统保障：满足行内灾备5级要求，三类账户支付系统2018年双十一交易峰值12800TPS；数据库生产力：10+大型业务系统，100+小型业务系统，有效降低数据库TCO，实现商业数据库0增长；全球敏捷运维峰会广州站10年+金融/电信核心OLTP数据库转型服务19全球敏捷运维峰会广州站THANK YOU！