1、阿里云企业级自治数据库RDS 详解宋利兵高级技术专家Contents目录01RDS MySQL 产品02RDS MySQL 自研内核RDS MySQL 产品高效支持阿里巴巴集团电商系统10余年01云存储（ESSD 云盘）高性能云服务器 ECS（神龙架构）计算与存储分离存储资源池化云原生 Kubernetes 多租户CPU 和内存资源池化MySQLPostgreSQLSQL ServerMariaDB数据库自治服务自动扩缩容、SQL限流、SQL自诊断、SQL自优化云原生 基于K8S+容器实现基础设施即服务(IaaS)与平台即服务(PaaS)垂直融合 ESSD 云盘资源池化支持预置 IOPS高可用

2、 主备架构承诺 SLA 目标 99.99%支持跨可用区与跨地域部署 三节点架构保证 RPO=0企业级 全链路安全与合规（支持透明数据加密 TDE、自带密钥 BYOK 和 SSL）吞吐率可达开源 MySQL 的 1.5x云数据库 RDS 自动优化周期数据采集数据库数据处理数据计算与存储消息管道实时数据计算数据归一数据聚合数据转化数据存储预测模型神经网络调整缓冲池缓存缺失率缓存大小调整响应时间控制器操作规划操作调度决策制定决策执行操作执行与回退数据库数据库国内规模最大，高效支撑阿里巴巴集团电商系统 10 余年智能化 数据库自治服务，支持自感知、自修复、自优化、自运维及自安全阿里云RDS-云原生自治

3、数据库DB(主)DB(备)HA切换实例探测复制可用区A容灾系统机房探测SLB可用区BOSSOSS稳定:完整的监控探测能力和快速恢复能力RDS MySQL 产品-服务高可用主备跨可用区部署与跨地域容灾部署能力99.99%的可用性、秒级切换OSSOSSDB(主)DB(备)HA切换实例探测复制可用区A可用区B容灾系统机房探测SLB可用区C日志RDS MySQL 产品-服务高可用稳定:完整的监控探测能力和快速恢复能力主备跨可用区部署与跨地域容灾部署能力99.99%的可用性、秒级切换自研三节点企业版跨三可用区部署机房级别的容灾切换能力，RPO=0OSSDB(主)DB(备)HA切换实例探测复制可用区A可用

4、区B容灾系统机房探测日志实时备份数据恢复SLBOSS可用区C日志RDS MySQL 产品-服务高可用稳定:完整的监控探测能力和快速恢复能力主备跨可用区部署与跨地域容灾部署能力99.99%的可用性、秒级切换自研三节点企业版跨三可用区部署机房级别的容灾切换能力，RPO=0实时备份保证异常情况下服务快速拉起计算存储结合架构本地盘宿主机动态流控切换秒级闪断计算存储分离架构更简洁的扩容流程计算、存储本地无感扩容分钟级的只读节点扩展能力DB(主)DB(备)复制DB(新主)DB(新备)复制全量数据的流式备份增量binlog的oss应用实时数据的主备同步VIP切换SLBOSS=6 TiB计算(主)计算(备)存

5、储(主)存储(备)复制TCP/RDMAVIP切换主存储扩容备计算节点扩容备存储扩容主计算节点扩容SLB=32 TiBRDS MySQL 产品 资源池化和云原生弹性:数据搬迁效率提升云原生能力读写分离地址写请求读请求主实例只读实例只读实例3000 100自动读写分离+只读权重设置自动读写分离，业务无需修改线性扩展读性能，最高可扩展至 5 只读实例支持延迟阈值设置，超过阈值的只读实例将不被分配读流量支持事物拆分和只读复制延迟读写分离地址 1业务请求主实例只读实例只读实例读写分离地址 2分析请求可以设置多个读写分离地址，实现业务流量隔离读写分离地址可以设置“只读”和“读写”模式多读写分离地址+业务流

6、量隔离RDS MySQL 产品 自动读写分离专有网络VPC&平滑切换能力传输链路的SSL加密自研AliIpFilter安全模块支持本地盘TDE和云盘加密等多种介质用户自带密钥加密BYOK能力支持密钥不落盘能力SQL审计能力API操作记录审计事前防护事中保护事后审计用户ECSRDSTDE透明加密云盘加密用户密钥管理密钥访问授权BYOK密钥加密RDS控制系统KMS密钥管理用户ECSSLB审计日志本地存储云盘存储云盾SLBIpfilter用户ECS云盾RDS MySQL 产品 企业级数据安全安全:最严格的安全合规要求日志同步公网访问他云IDC云下IDC克隆恢复实例管理链路管理备份管理SQL审计DAS

7、OpenAPIECSSLBSLB写流量数据库代理读流量RDS(主)RDS(备)RDS(只读)RDS(只读)可用区A可用区B可用区CRDS(日志)RDS(新)密钥管理数据备份+日志备份VPC云监控SLS监控数据审计日志日志同步日志同步控制台RDS MySQL 产品-整体架构KMSOSSRDS MySQL 自研内核面向用户需求和使用场景深度定制02客户角度技术要求RDS MySQL 自研内核-从需求和用户场景出发1、实用性应急手段（修复Plan、数据恢复）2、高性能更高的QPS，更低的RT3、稳定性高并发的稳定性，更快的问题分析4、安全性通信/存储加密，防删表，回收站1、云场景以云上用户场景驱动技

8、术2、通用性不需要修改SQL和应用3、连续性RDS 5.6/5.7/8.04、领先性技术或功能的原创性SQL 执行计划发生变化增减索引数据倾斜统计失效版本升级参数变更优化器 bug在线固化 SQL 执行计划无需变更应用SQL例如：固定 SQL 使用 t1表 ind_1 索引进行扫描灵活的接口设计和持久化保证实用性-在线固化SQL执行计划 DBMS_OUTLN.add_index_outline();增加 index hint DBMS_OUTLN.add_optimizer_outline();增加 optimizer hint DBMS_OUTLN.preview_outline();预览某

9、一个 SQL 语句命中 outline 的情况 DBMS_OUTLN.show_outline();展示内存中可用的所有 outline 及命中情况 DBMS_OUTLN.del_outline();删除内存和持久化表中的 outline DBMS_OUTLN.flush_outline();刷新所有的 outline，从 mysql.outline 表中重新 loadSQL OutlineCALL DBMS_OUTLN.add_index_outline(outline_db,1,USE INDEX,ind_1,SELECT*FROM t1 WHERE t1.col1=1AND t1.col

10、2=aliyun_rds);Perf Statistics 实例级统计Object Statistics 对象级统计SQL Statistics 语句级统计实用性-可诊断、可度量全方位，无死角，细粒度的 RDS MySQL 数据库监控快捷访问方式诊断指标丰富Server+InnoDB 55 个指标PFS.perf_statisitics 内存表实用性-可诊断、可度量实例级别 Table statistics 是业务系统 SCALE 的数据支撑 Index statistics 是业务系统优化 INDEX 的数据支撑对象级别实用性-可诊断、可度量CPU IntensiveMDL LockTran

11、s LockIO IntensiveConcurrencyCPULOCKConcurrencyIO Elapse time Cpu time Sever lock time InnoDB lock time Mutex_spins Mutex_waits RWlock_spin_waits RWlock_spin_rounds Data_reads Data_writes Logical_reads Physical_reads语句级别实用性-可诊断、可度量Adjust Buffer Pool Size Dynamically By Work Load稳定性-Buffer Pool优化BP O

12、nline Resize:Scaling BP Without PenaltyThread Schedulingone-thread-per-connection CPU 时间片公平调度 线程切换开销线性增长 无业务识别能力PriorityThreadPool 线程切换开销稳定 业务识别，事务优先 无 SQL 复杂度判断Multi-QueueThread Pool 线程切换开销稳定 针对不同的SQL，识别事务，复杂查询，短平快SQL等建立多队列，提升稳定和吞吐Performance stable多队列设计 提升吞吐、保持稳定稳定性 Advanced Thread PoolSQL 多维度并发控制

13、操作类型并发控制操作对象并发控制操作关键字并发控制call dbms_ccl.add_ccl_rule(SELECT,2,)call dbms_ccl.add_ccl_rule(SELECT,test,sbtest1,3,);call dbms_ccl.add_ccl_rule(SELECT,2,key);方便快捷查看并发控制规则和运行情况稳定性-并发控制Concurrency Control安全性 透明数据加密防御文件窃取细粒度表级别加密支持国密算法SM4-加密alter table encryption=Y;-解密alter table encryption=N;安全性 回收站Recycl

14、e Bin 设计Drop/Truncate 对象自动回收回收站对象支持 restore 还原回收站可灵活设置保留时常主备间可设置不同的保留周期Recycle Bin 操作表级数据快速找回安全性 Flashback Query为什么 FlashBack Query误操作删除数据不带 Where 条件的更新业务回档多语句忘记显式开启事务FlashBack Query 快速找回数据行级数据快速找回高性能 Binlog In RedoPrepare xidSync RedoWrite BinlogSync BinlogCommit xidTrx EventsBinlogPrepare RecordRe

15、doUser SessionRedoPrepare xidWrite BinlogTo RedoSync RedoCommit xidWrite BinlogUser SessionTrx EventsBinlogPrepare RecordRedoBinlog RecordPrepare RecordRedoBinlog RecordCommit Record事务提交减少一次IO，仍然保证数据可靠性Prepare RecordCommit Record高性能-Binlog In Redo保证数据可靠性的同时性能峰值提升40%136%136%144%81%42%34%38%39%0200004

16、0000600008000000865121024QPSoltp_update_non_index(Local SSD)Binlog In Redo OffBinlog in Redo On43%52%72%51%38%32%28%28%0500000200000250000300000350000400000450000500000865121024QPSoltp_write_only(Local SSD)Binlog In Redo OffRDS(Binlog In Redo)DD

17、L OptimizationFlush Single Table Benchmark 24GB Buffer Pool,4 Instances Write Only128 Tables*2M Rows Export tables sbtest1 for backup80.51sBenchmark:BufferPoolTableT1T2T3高性能 DDL优化Safe to Execute DDL Under High Loadpagepagepagepagepagepagepagepagepage0.34sDDL OptimizationOptimize Table Benchmark RDS-

18、8.0 8Core 64GB OPTIMIZE TABLE+oltp_read_write 被优化表数据大小 600MB220sBenchmark:BufferPoolTableT1T2T3高性能 DDL优化Safe to Execute DDL Under High Loadpagepagepagepagepagepagepagepagepage17sQuery Cache 策略调整并发控制内存管理缓存机制全局锁机制无锁 Hash内存预分配内存灵活分配全路径访问和置换自适应访问和置换高性能 Faster Query CacheFaster Query CacheRDS MySQL自研内核:企业级三节点事务提交流程LeaderFollowerLoggerServer LayerBinlog 新增 consensus_log_eventWrite Binlog通知协议层，发起异步发送日志事件Flush Binlog等待协议层 commit index 推进事务完成提交Consensus Layer协议层异步向所有 Follower 发送日志达到多数派后，协议 commit index 推进日志传输日志传输 中心化副本控制 Leader Follower 数据修改多数派达成 Quorum集群状态维护RPO=0THANKS