《PolarDB-X 2.0 核心技术能力解读-云原生分布式数据库PolarDB技术与实践论坛（30页）.pdf》由会员分享，可在线阅读，更多相关《PolarDB-X 2.0 核心技术能力解读-云原生分布式数据库PolarDB技术与实践论坛（30页）.pdf（30页珍藏版）》请在三个皮匠报告上搜索。

1、PolarDB-X 2.0 核心技术能力解读楼江航(七锋)阿里云数据库资深技术专家Contents目录01PolarDB-X 整体介绍02分布式的技术挑战03总结PolarDB-X 整体介绍面向MySQL原生的分布式数据库产品01云原生数据库架构演进概述共享状态DBDBDB共享存储分布式DBDBDB本地磁盘本地磁盘本地磁盘scale up单节点DB本地磁盘传统单机数据库RDS 系列MySQL/MariaDB云上最强MySQL+高可靠+高安全scale outPolarDB 云原生数据库MySQL版（共享存储，一写多读）超强弹性+百TB级容量+快照备份PolarDB-X 云原生分布式数据库1.0

2、版（计算层DRDS+存储RDS/PolarDB2.0版（金融级一致性保障，透明分布式）PB级数据+大表过亿+高并发大促+混合负载，上不封顶稳定&成熟阿里集团业务以及多年双十一的沉淀分布式解决数据库的线性扩展性开源&生态MySQL原生分布式数据库PolarDB-X 产品特点PolarDB-X 技术架构CN ClusterCNCNCNCDC ClusterCDCCDCGMS ClusterGMSGMSGMSDN ClusterTSO/TopologyMetaDataTopologyApplicationviaMySQLProtocol生态数据库DevOpsDMS数据库备份DBS数据传输DTS数据仓

3、库BI大数据数据库自治DAS工具集数据应用迁移ADAMPolarDB-X!#$%&!#$%&Global Meta ServiceGMS()*+,-.$%(TSO)/0Table/Schema1Statistic2Meta34/05617829+34:;=:;?APaxosBCDEFGHI:;JKLMNMVCCO%FHPQRSTU=&TU?VWXFSQLYZ)*LMNTUJKLMNO%F2PCD1+,_Y/02a=&a=&Change Data CaptureCDC()*bcMySQLdXFbinlogDE#eN)*bcMySQL ReplicationfghiFjkDNpaxosDNpaxo

4、sDNpaxos 经历多年实战磨练，MySQL语法高度兼容 完整的SQL解析层，实现精准算子下推 Serverless无状态，弹性能力对业务透明 提供HTAP 并行计算能力，应对混合负载场景计算节点 基于AliSQL内核，历经多年考验，稳定可靠 基于Paxos强一致协议，高可用能力进一步提升 全局MVCC改造，满足持金融级一致性要求 RPC协议改造，提升节点间通讯性能数据节点执行器优化器优化器执行器MySQL 协议层SQL解析Plan CacheOutlineInformation schemaCascades Optimizer(RBO&CBO)Physical Plan For TPPhy

5、sical Plan For APHintData Placement(Rule)Transaction(TSO/2PC)AP OperatorsShuffle、DriverFunctionsSequenceTP OperatorsSessionUsersAdmin&ProfileOperatorsDDL OperatorsDCL OperatorsGSIData TypeRPC协议FunctionsMVCCData TypeRow StoreVector-based OperatorColumn StoreRow-based OperatorReplication(X-Paxos)Buffe

6、r PoolPlan CacheResoureManagement(thread/mem/dop)存储引擎CNDNPolarDB-X CN/DN组件 EX：并行采集所有DN的变更日志 MR：分布式事务日志/DDL排序重组 DP：全局日志落盘并提供标准Binlog服务CDC节点 兼容事务(分布式事务全局排序)例：基于TraceId、TSO信息对Binlog全局排序 兼容分布式DDL例：可支持DDL同步到下游，比如ADB 兼容分布式扩缩容例：屏蔽内部分片迁移、广播表、索引等数据干扰全局Binlog主备Replication 兼容MySQL生态的主备复制 兼容DTS的上下游生态CDCExtracto

7、rMergerDumperDNDN1BinlogDN2BinlogDNxBinlogPolarDB-XMySQLDTS上下游对接Master/SlaveDNPolarDB-X CDC组件PolarDB-X 典型业务场景交易订单及相关高并发场景 典型用户：互联网电商、物流出行等 特点：数据量大/并发高；相互联系较弱海量数据集中存储，大表拆分+高并发MyCat/Sharding-JDBC/TiDB的用户 典型用户：泛互联网、数字政府等 特点：集中式存储，数据单表过大有并发 典型用户：基于开源自建的MySQL生态 特点：有扩展性诉求、运维复杂性的痛点有分布式改造诉求 典型用户：架构转型的业务，金融、

8、通讯等 特点：认可分布式方向，关注单机平滑演进分布式的技术挑战分布式事务、分布式适配和运维、HTAP混合负载02分布式下的数据一致性 跨分片的分布式事务 主备数据的一致性 跨地域容灾(RPO/RTO)数据备份和恢复(PITR、Flashback)业务改造和生态适配 数据如何拆分和改造 分布式下的扩缩容 分布式的SQL兼容性 分布式运维能力(DDL、慢SQL优化)数据库导入导出分布式焦点问题分布式事务备份恢复 PITR事务ACID数据导入导出MVCC多版本跑批大事务分布式备份库表级恢复读写分离主备复制flashback异地容灾事务是一切的基础影响重大关键点：基于Paxos的2PC原子提交、基于R

9、ead Version的MVCC并发控制PolarDB-X 分布式事务B+Treets=100ts=82ts=65undo log(rseg)rsegReadViewts=86B+Tree&undo logLeaderFollowerLoggerCNGMSTx BeginSQLTx Commit12获取start_ts=9943P1Plan ExecP4P7P2Plan ExecP5P8P3Plan ExecP6P944send sqlsend sql56获取commit_ts=1052PC提交流程1.通知所有参与者prepare2.记录事务状态为提交阶段3.通知所有参与者commitWrit

10、eReadcommit_ts例：ts=105start_ts例：ts=99DN多数派协议PaxosMVCC可见性判断Commited T.commit_cts R.snapshot_ctsRunning 不可见Prepared 阻塞等待分布式事务的生态下游分布式事务提交不同DN事务提交在某一时刻状态不一致数据库备份的一致性？业务系统数据库下游数据库增量同步的一致性？BinlogDNBinlogDNBinlogDNBinlogDNCDC-MasterCDC-SlaveGlobal BinlogKafkaMySQLCanalAnalyticDB下游ElasticSearchDTSMaxComput

11、e内部事件过滤DDL 整形单队列排序扩缩容处理分布式事务合并全局排序DDL 定位生成 MySQL Binlog 格式文件CNCNCN计算节点集群CNMySQL 兼容数据节点集群CDC节点集群?PolarDB-X 2.0 系统架构兼容分布式事务的全局Binlog事务全局版本号恢复实例数据范围SnapshotSnapshotGlobal Binlog时间线SnapshotSnapshotSnapshot周一周二周五周一周二全局 Binlog 保存时长周日 14:25:36能力特点针对数据全量恢复场景可指定任意时间点进行一致性恢复备份策略可定制备份无需锁库当前限制备份期间不支持扩缩容仅支持同构恢复兼

12、容分布式事务的备份恢复(PITR)兼容分布式事务的读写分离主实例数据节点集群DNDN只读实例数据节点集群DNDNDNDNPaxos复制组Paxos复制组learnerlearnercts:35cts:30cts:35cts:35cts:35cts:31CNCNGMS获取cts：35SelectSelect（要求 cts:35）Update只读节点满足分布式事务强一致性只读节点满足写后读的强一致性彻底解决“读不到最新数据”的问题connection.queryUPDATE user SET name=Apple WHERE id=1;COMMIT;SELECT name FROM user WH

13、ERE id=1;/name is Apple单机如何迁移到分布式DBA运维？拆分键选择？容量规划？建表的最佳实践不带拆分键的查询主备搭建DDL如何执行缩容扩容升降配SQL限流透明分布式多维度提升易用性第一步建表第二步应用跑起来第三步性能调优MySQL DDL语句0修改应用代码0修改，直接跑起来1.使用Jmeter、PTS等工具对业务做下压测2.使用SQL分析、DAS等工具找到热点SQL3.通过DDL语句（添加索引、修改分区键等）对热点SQL进行调优使用PolarDB-X 2.0的透明体验将WordPress从MySQL迁移到PolarDB-X使用PolarDB-X 2.0的透明体验建库建表应

14、用配置并启动index bdx(buyer_id)index sdx(seller_id)1.索引按索引key进行分片2.默认分片算法为一致性哈希建表语句与MySQL一致，无需指定分区键primary key(id)ordershash(id)hash(seller_id)hash(buyer_id)透明数据分区与索引index bdx(buyer_id)index sdx(seller_id)primary key(id)ordershash(id)hash(seller_id)hash(buyer_id)DNCNDNDNCNCN数据分片自动均衡到各个存储节点透明数据分区与索引分布式 扩缩容

15、Partition 1Partition 2Partition 1Partition 2Partition 1Partition 2Node 1Node 2Node 3Partition 3Partition 3Partition 3Node 4Node 5Node 6Paxos GroupPaxos GroupCN1CN2CN3CNDNleaderfollower计算层无状态扩容添加新节点，修改LB路由存储层有状态扩容，需要做数据迁移Partition 1Partition 1Partition 1Load Balance1.通过分裂与迁移，实现存储层自动负载均衡2.基于计算层透明的分片路由

16、，屏蔽扩缩容对用户业务的影响ParserCNExecutorStorageEngineRPC PortDNRelNodeRBO/CBOOptimizerExecutorPlanExecuteBlockBlockBlockRowintintintintInteger BlockChunk结构CatalogSchemaStatisticsGMSp SessionIdp Table、Indexp Project、Filter、Sort、AggPlanPayLoadRPC RequestRPC Response用户SQL分布式 SQL 和 兼容性1.兼容 MySQL SSL、Prepare、Load等

17、传输协议2.兼容各种 DML、DAL、DDL、DCL等语法3.兼容MySQL各种类型和精度，比如时间和浮点数4.兼容MySQL Charset和Collation的大小写行为5.兼容MySQL 8.0的视图、CTE、窗口函数等6.兼容绝大部分 MySQL 函数，包含5.7 JSON7.兼容绝大部分 information_schema 视图8.兼容常用的 MySQL 客户端9.兼容MySQL复制协议，比如Binlog/Replication等索引维护CREATE INDEX idx1 ON t1(name)CREATE CLUSTERED INDEX idx1 ON t1(name)分区算法变

18、更ALTER TABLE t1 PARTITION BY HASH(name)ALTER TABLE t1 PARTITION BY HASH(name)PARTITIONS 32ALTER TABLE t1 BROADCASTALTER TABLE t1 PARTITION BY RANGE(id)更多的INSTANT DDL任意位置加列：ALTER TABLE t1 ADD COLUMN扩大列的数据类型分区表单表广播表分区数Hash/Range/List表组分布式 Online DDL1.与DAS做深度整合，可以直接选择要限流的SQL模板2.性能影响5%限流规则1.精确限制的目标用户，比如限制某个IP的用户的行为2.指定要限制的SQL关键字 或 SQL模板，比如限制去参数化之后的一批慢SQL3.设置限流的规则，比如并发度、等待队列等分布式 慢SQL限流总结拥抱开源，可上可下03Big TableTableHot Table普通单表业务大表/热点表MySQL单机平滑演进Table普通单表MySQL原生分布式MySQL单机分片表分片表MySQL单机MySQL原生分布式(拥抱开源)单机到分布式的平滑演进，用户可上可下MySQL原生分布式分裂计算&存储引擎核心技术分布式事务分布式调度分布式DDL分布式CDCPolarDB-X 知乎专栏THANKS