1、深度解析云原生数据库技术趋势与最佳实践李飞飞阿里巴巴集团副总裁阿里云数据库事业部总裁New Future on CloudContents目录01数据库业界发展趋势:全面拥抱云原生02迈向云原生2.0:一站式全链路数据管理与服务03云原生数据库最佳实践云计算加速数据库系统演进New Future on Cloud1980-1990Oracle、IBM DB2Sybase、SQL ServerInformix商业起步1990-2000PostgresMySQL开源1990-2000TeradataSybase IQGreenplum分析2000-2010Hadoop、HBaseSAP HanaM

2、ongoDB、Redis异构 NoSQL2010-2019AWS Aurora,RedshiftAzure SQL DatabaseGoogle Spanner、PolarDB、AnalyticDB云原生、一体化分布式、多模、HTAP数据库发展历程结构化数据在线处理RDBMS SQL+OLTP 异构数据类型结构化图数据时序向量数据空间/时空文本数据海量数据计算与分析Data warehouseData Cube ETL+OLAP 关系型数据库NoSQL/NewSQL 数据库云原生分布式/软硬一体化 Multi-Model+HTAP 多模+混合业务云计算+数据库挑战与机遇云计算云的本质：资源高效

3、池化计算机的本质：计算+存储数据库数据生产+处理+存储+消费+计算分析一体化存储计算分离云原生+分布式 为基础减少数据移动减少数据移动资源池化、解耦资源池化、解耦云原生，是未来使用云的标准方式更领先的技术更先进的工程师更优质的水源更高效的供应链云原生云原生云计算资源非常丰富，不用关心云资源在哪里、有多少。就像今天我们使用自来水一样，没有人会费尽心思考虑水从哪里来。Yearly subscription-50%off分钟级别弹性按需按量计算节点资源需求在线资源消耗离线资源消耗时间根据业务发展的阶段，按需按量取用，最大化资源利用价值。云数据库的时代特征“Modern DBMS can do bot

4、h OPDBMS(Operational DBMS)&DMSA(Data Management Solution for Analytics）A single DBMS market has emerged”“DMSA and OPDBMS two MQs will be merged into a single Cloud DBMS MQ”“There Can Be Only One”DBMS Market.“”一站式数据处理平台覆盖数据生产、处理、分析、消费全流程数据管理数据分析合并OPDBMS+DMSA=Cloud DBMS Microsoft SQL Server：HTAP+在离线一体

5、化AWS Aurora 云原生与ServerlessOracle企业级向云原生发展Amazon Redshift云原生+融合分析TiDB分布式HTAP数据库Oracle一站式在线数据处理业界产品发展趋势Converged Database 业界趋势 Oracle（聚合数据库）核心价值：基于多模、多租户和混合负载三大核心特性，一站式适配企业级SaaS应用和互联网消费应用多模：原生支持关系/图/空间/JSON/XML类型与访问，支持跨模融合处理1/混合负载：IoT、机器学习、实时分析一站式优化与处理体系3/多租户：可组装、资源隔离&透明加密、线上线下快速迁移2/云原生分布式技术重塑数据库技术栈典型

6、代表单节点DB本地磁盘scale upOracleIBM DB2MS SQL ServerSybaseInformixMySQLPostgreSQLscale out传统单机数据库SpannerOracle ShardingGreenplumTeradataTiDBOceanBaseAnalyticDB 2.0PolarDB-X 2.0云原生分布式架构典型代表Oracle RACDB2 pureScaleAWS AuroraPolarDB 1.0典型代表云原生分布式DB共享存储共享存储DBDBDBDBDBSnowflakePolarDB-X 3.0AnalyticDB 3.0Barrier B

7、arrierBSP 模型MPP 模型典型代表共享状态分布式DBDBDBDBDBDB本地磁盘共享存储本地磁盘本地磁盘分布式数据库共享存储架构融合融合全球云数据库市场格局来源：Gartner 2020“先进的数据库管理系统 DBMS，具备操作型数据库管理系统OPDBMS 事务处理及管理与分析 DMSA 双重能力。”IDC 2020年H2中国关系型数据库市场，阿里云以超过28%的市场份额，排名行业第一；在云关系型数据库市场上，阿里云以绝对优势领跑，市场份额超过第2至7位的总和。来源：Forrester 2021，TPC 2020阿里云：28.08%其他：71.92%阿里云国内市场份额第一中国关系型数

8、据库市场厂商份额 2020年H2阿里云数据库产品进入 Gartner 领导者象限Gartner 2020 数据库魔力象限领导者象限云原生数据仓库 AnalyticDBForrester 全球云数据仓库卓越表现者象限TPC-DS 基准测试跑分-较之第二名 速度领先64%64%TPC-H 基准测试跑分-较之第二名成本减少3/43/4速度领先X3X3数据来源：IDC中国报告Contents目录01数据库业界发展趋势:全面拥抱云原生02迈向云原生2.0:一站式全链路数据管理与服务03云原生数据库最佳实践全场景解决方案一站式数据管理开放生态分销生态神州数码/驻云科技/青莲网络/开发者生态开源社区/高校/

9、ISV被集成生态用友/畅捷通/金蝶/管家婆/服务生态云和恩墨/新炬网络/传统商业数据库向云数据库升级PolarDB-O/X+DTS+ADAM大客户数据库搬站MyBase+DTS/DBS+DMS工业互联网/物联网海量数据采集分析Lindorm+物联网平台+OSIoft传统数据仓库升级AnalyticDB+DTS+ADAM+DMS异地多活/容灾RDS+Redis+DTS/DBS+DMS金融风控Lindorm+GDB+AutoML数据中台集成AnalyticDB/DMS/Dataworks/DataPhin/DataQ+QuickBI公共云数据生产和集成数据实时处理与存储数据分析和发现数据开发和管理

10、专有云DBStack云原生全链路管控DBPaaS行业应用新零售城市大脑政府事务金融医疗健康公共基础设施制造能源电信教育开源托管商业托管自研DTS数据传输DBS备份恢复DMS数据管理RDS MySQL关系型数据库PolarDB云原生关系型数据库PolarDB-X云原生分布式数据库RDS PostgreSQL关系型数据库RDS SQL Server关系型数据库RedisMongoDB文档型数据库HBaseClickHouseAnalyticDB MySQL云原生数据仓库Lindorm云原生多模数据库Tair云原生内存数据库DMS数据管理DAS数据库自治服务DMSAnalyticDBPolarDBR

11、DS云数据库专属集群 MyBase阿里云数据库:一站式全链路数据管理与服务Node 1C1C2C4C5Distributed Compute LayerScale OutScale UpAgg PushdownPolarDB:融合分布式与云原生架构RW-1Partition 0Part 1023Hash Range 0 21845.Resource HashtableP1P2P5Lock Grant QueueLock Wait QueueBuffer PoolRelation CachePlanCacheSGAPGAWork MemTemp BufferPolarFSRW-2Hash Ran

12、ge 21846 43690SGARW-3Hash Range 43691 65535SGACNNormal QueryCNDistributed QueryNative Interval Partition TableGRDCache FusionGESResource HashtableResource HashtableP3P4P7Buffer PoolP6P8P9Buffer PoolLock Grant QueueLock Wait QueueLock Grant QueueLock Wait QueueRelation CachePlanCacheRelation CachePla

13、nCachePGAWork MemTemp BufferPGAWork MemTemp BufferPolarFSPolarFSScale OutDistributed Compute LayerNode 2C2C4C3Node 3C1C2C3Node 4C3C4C5Node 5C1C5架构优势架构优势 融合 PolarDB 已有基础设施，存储、管控、监控、审计等功能共享 Share Nothing 基于存储计算分离架构，无限扩展，并且无需数据迁移，并可彻底消除传统分布式 Data Skew问题 Share Everything 场景写瓶颈大幅缓解，多节点可写 无缝升级，可由单表直接转化成分布

14、式表，一键操作即可完成分布式改造(alter table to partition_table by hash_range*)两种场景都有很强高可用性 兼容性和扩展性都能很好支持，在兼顾 legacy 业务的同时帮助客户完成数字化转型升级Partition 1Part 1021.Partition 1Part 1021.Distributed Compute LayerScale OutPolarDB In-Memory Column IndexVectorized Execution EngineSQL ParserLogical PlanExpression Framework(SIMD)

15、TableScanColumn Index Access APISchedulerSchedulerSchedulerGroup ByAggregationSIMDHashJoinSchedulerNested LoopJoinOtherOperatorSIMDRow Based Execution EngineTableScanOtherOperatorExpression Framework(Row Based)Handle APIPhysical PlanRow Based PlanColumn Based PlanCost EvaluationColumn Index Buffer P

16、oolNCIIMCI For TablePolarDBStorage Engine内存列索引Row-Based TableRow Buffer PoolParser/OptimizerParser/Optimizer100%MySQL兼容串行/PQ/列存混合调度Cost-based OptimizerExecutionExecution EngineEngine并行执行算子向量化执行加速SIMD表达式加速StorageStorage EngineEngine行列混合存储事务级别的行列一致性数据压缩&粗糙集索引列存物理复制及一写多读Nested LoopJoinIMCI For TablePol

17、arDB 多租户 多租户多写（multi-tenant multi-master）支持128个RW 支持 non-conflict multi-master write Partition/table/schema binds to R/W 库表写入点秒级切换多租户特性R/WR/WR/WR/WPolarProxyPolarFS on PolarStoreChunkServerAbcChunkServeraBcChunkServerabC多租户特点多租户特点数据跨地域同步，提供全球跨地域的容灾能力RPO=0 SLA为99.99%ROBPloglogdata主节点 RWBPlog同步节点BPlog

18、logdataROBPlogROBPloglogdata同步节点BPlog张北美国硅谷（美西）香港X-PaxosData sync protocol全球部署读操作就近读取数据适合不同地域读多写少的场景就近读加速多通道物理复制数据跨地域的高速同步大压力场景下全球同步延迟小于2秒多点跨地域写多点跨地域写功能业务的多地部署能力PolarDB 全球高可用GanosBase孪生强内核首个云原生+云孪生数据库数字孪生引擎植入云原生数据库多维数据人眼可读、机器能懂融合大存储BIM+GIS+IoT多模超融合一站式管理Inline+outline，支持OSS混合存储快速大计算多维实体编码和高效压缩算法弹性多级并

19、行查询与计算框架BIM 大型建筑复杂分析计算效率较传统软件提升100倍以上注：根据客户侧真实数据测试结果PolarDB 数字孪生引擎从云原生到云孪生PolarDB on DBStack 混合云输出形态自研全加密数据库光交换机光交换机运维1运维2运维3以太网交换机HBAHBAIPMIBOND0BOND1PolarDB RW管控鲲鹏-1HBAHBAIPMIBOND0BOND1PolarDB RO管控鲲鹏-2HBAHBAIPMIBOND0BOND1PolarDB RO管控鲲鹏-3Kubernetes以太网交换机数据国产共享存储存储网管理网(带外)管理网(带内)业务网ApplicationApplic

20、ation以太网交换机以太网交换机LUNWAL混合云一站式管控平台国产Linux操作系统监控dockeretcdnginxcalicoPluginsKubernetesmetAnalyticDBSMSAgent生命周期管理DBStack-Daemon存储-控制器DBCluster备份恢复审计HA迁移DBProxyStandbyWeb ConsoleGatewayControllerAPI面向极致体验的 PolarDB-X 2.0 核心能力构建CN ClusterCNCNCNCNCDC ClusterCDCCDCGMS ClusterGMSGMSGMSDN ClusterDNDNDNDNTSO/

21、TopologyMetaDataTopologyApplicationviaMySQLProtocol生态数据库DevOpsDMS数据库备份DBS数据传输DTS数据仓库BI大数据数据库自治DAS工具集数据应用迁移ADAM1、让用户以单机MySQL数据库使用体验操作分布式数据库2、PolarDB-X2.0提供默认主键拆分、分布式线性扩展、全局Binlog和全局一致性备份等透明分布式能力。透明分布式体验PolarDB-X采用自研X-Paxos协议保证数据存储在故障切换过程中RPO=0的基础上，使用TSO策略和分布式的MVCC能力保证了分布式事务的隔离性和一致性。高性能分布式事务阿里云及开源社区的多

22、种生态工具对PolarDB-X持续提供不断完善的支持：数据传输服务DTS、数据库备份DBS、数据管理DMS、数据库自治服务DAS、数据集成Data Integration、云监控、性能测试PTS等。完整的生态支持阿里云数据库开源：构建云原生分布式数据库生态模块化，组件化方式构建系列产品Compute NodeCompute NodeCompute NodeGalaxyStorebased on MySQL8.0Compute Node.DataNodesDataNodesAccess PointProxyHTAP workloadCluster ManagerTransactionManage

23、rCoordinatorNodesDataNodes(based on PG11)CoordinatorNodes.DataNodesDataNodesPolarFS(DB Access Layer on Storage)Distributed File System(Shared Storage)云原生管控平台DBStackdata shardingdata shardingPolarDB-X兼容MySQL一体化分布式数据库PolarDB PostgreSQL 引擎基于PG的云原生分布式数据库GalaxySQL:分布式计算层，兼容MySQL协议GalaxyStore:高可用MySQL，同时也

24、是PolarDB-X存储层X-Consensus:基于raft的高可用一致性协议库Contents目录01数据库业界发展趋势:全面拥抱云原生02迈向云原生2.0:一站式全链路数据管理与服务03云原生数据库最佳实践数据库国产化解决方案基于阿里巴巴多年迁移上云最佳经验：科学方法论+智能系统+专业服务Oracle/TDPolarDB-O/AnalyticDBPGAdvanced Database&Application Migration搬站评估架构发现数据库评估数据库改造应用评估应用改造Data Transmission Service全量迁移增量迁移数据校验数据订正ADAM工具通过采集、画像、评

25、估等过程，提前分析Oracle迁移到PolarDB的风险、成本、改造工作量、可行性等依据评估报告，提前指导应用侧进行针对性改造，大大降低前期调研、应用改造工作量，减少上线后的风险DMS(ADAM)使用 DTS 可对数据进行全量+增量实时同步在数据同步的基础上，支持业务分步割接，控制影响范围通过反向同步，支撑紧急情况下的业务快速回切DMS(DTS)智能代理 读写分离、负载均衡结合ADAM兼容度高达95%全面国产化PolarDB离线处理+实时数据处理能力支持可视化数据建模和规范化分析指标构建全面国产化AnalyticDB PG关键支撑产品PolarDB-X为各个业务中心提供在线数据库服务，通过水平

26、扩展能力来支撑集中式业务的大流量，是本方案的核心竞争力RDS为业务中台里流量较小的中心提供低成本的、通用的数据库存储服务AnalyticDB提供医保海量数据分析、查询、报表实时秒级查询计算能力DTS提供在离线一体化实时同步、老社保系统迁移到新医保系统的能力为了解决现有医保系统标准不统一、数据不互认、难以共享、区域封闭、孤岛现象突出等问题，决定建设统一、高效、兼容、便捷、安全的新医疗保障信息化系统国家/省（2级）、国家/省/市（3级）建设模式，系统可使用不同省、市的参保人口不同导致不同容量诉求稳定、高效、可靠的医疗保障信息化系统基于阿里云多样化数据库产品及生态能力，构建医保“双中台”基于分布式数

27、据库架构的水平扩展能力，提供业务线性的弹性容量能力，满足不同省、市不同的容量需求基于云原生数据仓库，提供医保对海量数据结算、分析、报表实时查询诉求拥有多年数据库运维架构经验的专家团队为医保架构的售前、售中、售后保驾护航客户核心诉求方案核心优势方案落地效果支撑500万 1亿不同规模的参保人25年数据的存储，提供每秒约1万笔核心经办业务能力，并且基于分布式的水平弹性扩缩容能力，为不同规模提供合理支撑为业务中台各中心提供安全可靠的、数据强一致的在线数据库服务为全国50%的医保系统持续提供服务，为全国人民医疗健康事业提供强有力的支撑省基本信息中心用户中心政策中心统一认证中心招采中心参保中心征缴中心结算

28、中心风控中心报表中心电子凭证中心工作流中心电子档案中心消息中心移动支付中心分布式数据库PolarDB-X关系型数据库RDS MySQL内存数据库Redis数据传输服务DTS数据管理DMS数据库备份DBS数据库专家服务数据仓库AnalyticDBMySQL智能报表大屏可视化设计数据治理数据建模数据加工数据转换数据清晰数据采集离线计算实时计算流计算混合云平台：双中心同城容灾数据同步混合云平台：双中心同城容灾业务中台数据中台混合云平台：单中心/双中心业务中台数据中台MaxComputeBlinkDataHubDataWorks方案整体架构国家数据中台业务中台国家省市医疗保障信息化平台“双中台”数据库

29、解决方案关键支撑产品PolarDB高度兼容Oracle语法，支持业务平滑迁移。高性能数据引擎，满足业务性能容量需求。DTS为在线库、离线库提供实时的数据同步，是构建数据流转的核心。业务少量改造代码，利用PolarDB、DTS、ADAM产品组合方案，快速低成本替换。PolarDB具有弹性变配扩展能力，分钟级完成集群节点增加，整体并发处理能力和存储容量得到线性提升。基于PolarDB与DTS的解决方案组合帮助客户构建实时数据计算平台，让业务数据可以实时供下游系统使用。方案核心优势方案落地效果使用PolarDB替换其原有的传统商业数据库架构，支撑寿险公司超6.5亿保险客户信息查询、客户开户、核心出单

30、等多项实时服务。为公司运营、服务、风控、营销等六大个领域的40多个系统提供数据和服务支撑，PolarDB数据库系统接口服务交易量稳居榜首，迁移后系统性能提升明显，处理能力最高提升了1000倍，响应时间最多缩短为优化前1/351。云原生数据库PolarDB，为运维团队提供了易用，高效，弹性的DBaaS服务，提升了用户对于数据库的整体管理效率，降低了运维风险与成本。前端触点反欺诈业务办理系统PolarDB客户数据全国大集中，当前数据库架构缺乏弹性扩展能力。资源使用没有科学评估手段，浪费严重。传统IT架构依赖传统商业数据库严重，面临巨额license费用和维保费用。集团要求加速国产化进程，拥抱国产化

31、数据库产品，要求短时间内实现快速替换传统商业数据库。客户诉求方案整体架构寿险APP联络中心微信服务短信服务移动大堂客户主数据管理系统保险核心出单系统保险核心系统某国有大型金融保险集团：核心业务系统全面采用PolarDB云数据库某超大型部委客户PolarDB-X 分布式数据处理在线业务DMS/DTS将数据无缝实时归集入仓AnalyticDB实时分析支撑高并发、低延迟的复杂查询8亿级 普通用户 和 100万级 工作人员综合业务查询峰值达到 1万 QPS60表Join，3000行SQL支撑基于千亿级数据的复杂查询在秒级内响应支持海量实时数据实时可见和高效入库在线交易的实时数据(百亿级)CURD(增删

32、改查)月末统计等分析数据(千亿级)在小时级别内同步支持金融级别的精准计算计算的准确性（1000+位Decimal）提供针对各种金融运算函数的全面支持经典组合解决方案AnalyticDB核算查询统计分析PolarDB-X清册通用业务实时同步DTS交易业务应用中心查询/分析/ETL/风控等业务数据开发及安全管理DMS业务中台数据库数据中台引擎游戏行业多场景数据库最佳组合解决方案使用存储计算分离技术，实现分钟级弹性扩容最大支持88c 710G，100TB存储秒级分析与决策打通了结构化和非结构化数据会MySQL就能做分析支持单库单表快速恢复急速型存储池 10min快照支持多环境/多种数据库典型客户Po

33、larDBAnalyticDBDBSDTSDLAOSS产品组合实时优化游戏广告及运营游戏运营带来的突发流量增长升级、漏洞导致的数据快速回档诉求PolarDB只读计算节点PolarDB主计算节点PolarDB主计算节点PolarDB存储扩展只读节点PolarDB升配RDS MySQLRDS MySQLECSECSDTS数据传输服务AnalyticDB高性能库Quick BI日志服务OSSDLA高并发低延迟分析AnalyticDB大存储库自助投递Logtail海量日志数据清洗、数据分析（历史数据）处理分析结果回流关系型数据库ACP认证2021年12月1日正式上线阿里云关系型数据库ACP认证重磅发布认证定位面向关系型数据库管理员及架构师，通过培训和认证，系统地了解阿里云数据库的核心功能，提升学员在阿里云数据库上进行规划部署、优化、问题排查的各项综合能力。认证内容关系型数据库ACP认证理论、实战多维度结合关系型数据库基础原理关系型数据库关键产品与技术关系型数据库行业架构方案生态工具备份恢复PolarDB 数据库核心技术新零售DMS性能优化PolarDB 数据库高可用架构传统政企DAS故障诊断RDS数据库核心技术金融DBSTHANKS