1、目录CONTENTS中国软件技术大会CHINA SOFTWARE TECHNOLOGY CONFERENCE爱可生助力金融行业为MySQL数据库提质增效目录CONTENTS爱可生产品简介1提“质”核心系统支撑2某大行MySQL发展实践4增“效”大体量运维301 爱可生产品简介金融级MySQL解决方案服务商覆盖MySQL全生命周期的产品&服务尝试、单机、主从高可用、一致性云树Guard金融级高可用、自定义切换策略高并发、高性能云树Proxy-读写分离中间件连接池、延迟检测、流量统计大容量、分布式云树Shard(开源-DBLE)数据分片、应用透明、动态扩容、复杂查询、分布式事务、全局序列自动化运维

2、管理云树DMP自动化部署、备份恢复、资源纳管、批量处理、日志、用户管理云平台、资源池云树RDS自服务、镜像模板、IAAS对接、流程审批、可用区管理、租户权限数据同步、灾备云树DTS（开源-DTLE）数据复制（灾备、双活）、数据过滤、数据汇聚、数据订阅消费、数据迁移（本地、公有云、混合云、私有云）技术服务运维规范体系、开发规范体系、技术咨询、维保服务（远程+现场）、数据迁移、项目实施、性能优化云树Guard-高可用软件金融级高可用、自定义切换策略DBLE/TXLE（开源）-拆分数据分片、应用透明、动态扩容、复杂查询、分布式事务、全局序列云树DMP自动化部署、备份恢复、资源纳管、批量处理、日志、用

3、户管理02 MySQL 提“质”如何让MySQL支撑银行核心系统？金融行业信息系统平台灾备等级要求（建议）容灾等级RTORPO年中断时间数据备份、数据处理、网络、运维技术要求（部分）3级24小时24小时4 天 至少有一个数据副本在同城或异地；支持完成切换准备后，自动或集中切换；4级4小时1小时10小时 至少有一个数据副本在异地；异地处于就绪或运行状态，支持自动或集中切换；5级30分钟01小时 同城、异地至少各有一个数据副本；其中至少一个应同步复制；同城、异地，至少一个处于运行状态，可实时自动或集中切换；6级2分钟05分钟 同城、异地至少各有一个数据副本；其中至少一个应同步复制；同城、异地均处于

4、运行状态，可实时自动或集中无缝切换；数据来源：金融行标 JR/T 01682018影响层级：内部辅助、内部生产、同业机构、社会秩序高可用要求：RPO、RTO、停机时间可控部署要求：同城双机房+异地（两地三中心）部署MySQL为何会“翻车”？数据来源：高性能MySQL（第三版）；不正确的使用复制可能带来负面影响；10%20%35%35%0%5%10%15%20%25%30%35%40%异常操作复制问题性能问题运行环境支持数据库运行的环境集合，包括硬件环境、系统环境并发与锁的冲突，查询与索引的优化主从一致性、切换策略、复制管理配置操作失误复制MySQL金融级高可用管理组件UcoreUcoreUco

5、reUGuard_MGR(主)UGuard_MGR(备)管理区高可用管理层UGuard_AgentUstatsUGuard_AgentUstats业务区UMC（web管理端）数据库复制sync binlogsync relaylogwrite binlogcommittrans_ receiptwait ackapply binlogcommit核心：异步/增强半同步/组复制；优化：切换策略自定义；RPO/RTO/跨园区补充：完整性：组件本身高可用、从库调度可维护性：动作历史、延迟历史、日志记录决策判断：多维度判断，避免误判运维体系兼容性：提供脚本执行接口MySQL金融级高可用部署实践（主备）

6、故障域A3主实例集群1.大二层网络园区A（承载业务）园区B（MySQL半同步复制）备份集群故障域A4从实例集群1.故障域B4从实例集群2.故障域B5从实例集群3.故障域A1/A2管理集群大二层网络故障域B1/B2/B3管理集群并发MySQL分布式中间件-DBLE并发账户类场景业务需求：面向用户，存在增删改，体验（延迟）要求高；应对方式：用户、卡号进行范围类拆分个人交易辅助类请求能内聚在节点内；一定程度规避分布式事务；妥协：分布式事务需要业务侧提供支持 分片节点范围内性能热点问题并发日志类场景业务需求：批量插入操作，热点时间内IO压力（吞吐）高；定期批量清理；应对方式：按照时间戳Hash类拆分按

7、照日期库内分表，快速清除历史table；分片均匀与业务逻辑无关，写入性能高；妥协：维护二次路由；需要事先规划扩容问题；MySQL金融级高可用+分布式部署实践（双写）故障域A3主实例集群A.大二层网络园区A（承载业务）园区B（承载业务）数据库分布式中间件集群数据库分布式中间件集群故障域A4从实例集群A1.故障域A5从实例集群A2.故障域B4主实例集群B.故障域B5从实例集群B2.故障域B6从实例集群B2.大二层网络故障域A1/A2管理集群故障域B1/B2/B3管理集群03 MySQL 增“效”如何让提“质”有效落地？MySQL为何难以“规模化”？配置管理扩容管理监控巡检数据备份故障处理性能优化设

8、计评审安全保障集群管理资源评估恢复演练安装部署架构选型权限分配安装配置功能架构安装部署快速部署云树DMP 数据库集群管理平台流程优化监控运维安全防护架构优化实例接管资源隔离配置管理参数下发备份演练可视大屏自动巡检平台权限高可用读写分离分库分表监控告警操作审计数据库权限高可用架构-(A-S 数据主备)读写分离架构-(A-Q 交易-查询)读写拆分架构-(A-A 同城双写)MySQL分片1主从主从MySQL分片NSQL变化和分发MySQL主库MySQL从库异步复制/半同步复制RTO/RPO/本地自动切换异步复制/半同步复制MySQL主库MySQL从库部署规模化批量处理主机批量添加、实例整组安装、批量

9、接管；具备30分钟安装200个MySQL实例的能力；配置便捷化参数变更热参数即时生效重启参数特别标识敏感参数默认不显示上线规范化SQL语句审核SQL审核告别“人工”智能；规避常见性不合格语法如；当前支持MySQL、DBLEMyCAT、SQLserver备份二次检查恢复演练备份成功=！顺利恢复；高可用不能替代备份恢复；可基于时间点恢复到指定event；监控主动化巡检报告巡检内容包括实例规格、实例状态、SQL统计、库表状态、慢SQL、实例性能数据等巡检报告评分，实例状态批量量化显示根据巡检结果提供优化建议告警智能化可定义易推送告警规则自定义告警内容可对接上级告警平台提供告警风暴抑制3.1 MySQ

10、L自助化“提质增效”模式如何大规模复制？RDS进一步降低MySQL的使用“门槛”数据库管理员IT管理者业务用户.布局基础架构确认创建模板申请DB资源申请资源扩容管理功能边界管理租户权限常规监控备份全局资源统筹标准模板标准配置审批申请SQL代码审核规则.DB资源释放中间件配置赋予权限资源隔离软硬解耦后台集群运维常规使用自助化：将云计算的便利性带给普通使用用户，由业务流程驱动，实现自助化服务数据库使用无需DBA过多参与；统一化：通过模板保证数据库符合参数要求、安装要求等统一规范；RDS-数据库云服务本地化整体逻辑架构功能解耦，按照微服务进行模块化拆分，可独立升级；逐层守护，自检告警，动作演练；开放

11、对接，高可用行为对接、告警信息输出、备份数据转储；04 某大型国有银行核心系统在MySQL的改造发展实践MySQL发展历程引入技术服务研究分布式方案上线IPVS系统（基于DBLE）引入DBLE中间件引入DMP平台建立运维规范去IOE自主可控数据库选型微服务容器实例上线.01232016.082017.112018.06高可用改造IPVS系统扩容2019.04CBPS系统上线同城异地RPO=0引入容器对接100+实例500+实例1000+实例2000+实例架构选型，研究试点业务驱动，转型实施运维驱动，快速增长资源驱动，大规模推广MySQL建设整体逻辑架构云树DMP数据库管理员云树DMP上海嘉定数

12、据中心MySQL 5.6异步复制主从replicationDBLE 分布式中间件集群MySQL 5.7半同步复制从主replicationkafka上海外高桥数据中心高可用行为部分业务系统InfoSphere CDC现有运维管理体系监控告警统一巡检APIK8S容器编排.MySQL重点项目1过度阶段：共20TB，DBLE HASH分片，承载业务查询（白天），由Kafka从DB2/Oracle批量写入（夜间）；稳定阶段：支撑50万读TPS，读写比10:1；表明细：当事人：557张表，存储容量10T，日均业务量1.83亿笔；介质协议：36张表，存储容量1.6T，日均业务量5800万；事件-其它：54

13、张表，存储容量2.8T，日均业务量5700万；产品-账户：48张表，存储容量1.2T，日均业务量5500万；MySQL重点项目2应用情况：银行间跨行汇款、支付辅助类业务，存在增删改操作，按照用户、卡号维度进行分片，交易数据能较好内聚在单库节点；部署架构：大二层网络，两园区都承载业务，由中间件层进行园区间数据流量转发以及限流；分片双活；可靠性：根据业务系统，最高可满足工商银行灾备等级第五级（采用一主三从两确认）灾备要求；可维护性：同数据中心自动切换，保障切换时RPO=0，跨数据中心API调度人工确认整体切换，RTO30S；MySQL重点项目3裸金属容器编排管理层数据库自动化运维管理MySQL R

14、DS数据库中间件裸金属网络存储资源计算资源数据库自动化运维管理MySQL RDS数据库中间件容器云平台已运行：K8S对接富容器，当主机使用，不使用K8S的HA切换；爱可生组件和K8S对接，负责数据库编排，K8S负责容器和存储等资源编排；进行中：Service-Catalog；K8S作为统一的容器云平台服务入口；组件单独资源池构建，以service Broker方式接入；MySQL建设核心价值金融级可用性：经历春节/双11压力；规模化维护性：2100+MySQL实例；数据库生产力：10+A类大业务系统；运维体系建设：自身+第三方+原厂；10年+金融/电信核心OLTP数据库转型服务银行业互联网金融行业保险行业通信运营其他行业技术即服务技术即服务Technology as a ServiceTechnology as a Service