1、一站式数据库上云最佳实践王林平阿里云数据库高级解决方案架构师数据库上云路径和核心价值l 上云利器DTSl 数据库上云l 实时分析上云l 混合云灾备l 混合云双活l 备份上云上云路径l 高效使用数据库l 问题诊断优化l 批量智能运维l 稳定性和安全l 高可用容灾l HA优化用云l Auto-scalingl 云数据库降本lPolarDB ServerlesslAnalyticDB湖仓版lPolarDB4AI智能算法l 数据库上云愿景用好云上云路径和实践数据传输与加工DTS数据库上云实时分析上云混合云灾备跨云双活备份上云数据传输与加工DTS让数据自由流动不敢决策上云？全量慢、同步延迟？一致性无法保

2、障？不支持ETL Preview？控制台API任务编排评估预检查结构迁移数据校验一键诊断与处理DTS A2A 引擎SDK数据迁移数据同步数据订阅评估预检查结构迁移数据校验全量数据增量数据ETL能力11年打磨、10+发明专利毫秒级时延、100+MB/S20+数据源、60+数据同步组合400+ETL算子技术实时日志解析架构事务冲突与热点合模型劣网长传带宽优化海量订阅高效过滤分发典型应用阿里双11异地多活底座60万数据库上云百万实时链路10万+企业客户上云场景数据库上云混合云灾备跨云双活实时分析上云数据库上云和实时分析上云前台业务云数据库会员商城购物车广告快递聊天榜单推荐计费榜单RDS MySQLT

3、air持久内存MongoDB前台业务IDC数据库会员商城购物车广告快递聊天榜单推荐计费算法MySQLRedisMongoDBDTS双向复制DTS单向复制某电商客户搬站上云业务场景数据库平滑迁移上云尽量少停机数据需要保证一致业务库低成本回滚方案上云要点和收益支持专线、公网、VPN结构+全量+增量复制数据一致性校验功能MySQL双向同步，秒到分钟级回滚业务场景业务暂时不上云，报表和实时分析上云混合云数据复制跨云双活实时分析上云上云要点数据库上云混合云灾备跨云双活实时分析上云业务库交互业务DMSDAS北京IDC机房报表数据DTS单向复制AnalyticDB阿里云北京H区最佳实践支持专线、公网、VPN

4、结构+全量+增量复制数据一致性校验功能双向同步，秒到分钟级回滚最佳实践支持专线、公网、VPN结构+全量+增量复制毫秒至秒延迟某服务商实时分析上云MongoDBHBaseRedis库混合云数据库灾备DNS流量阿里云北京可用区H北京IDC机房SLBMySQL库DTSDTSDTSLTS业务A业务BAPP应用服务器RDSMySQL业务CAPP应用服务器HBaseMongoDB云RedisAPP应用服务器DMSDST双向复制防循环写单向复制流量流量流量流量流量流量RDSMySQLLindrom宽表MongoDB云RedisLTS双向复制业务场景数据库平滑迁移上云尽量少停机数据需要保证一致业务库低成本回滚

5、方案上云要点和收益支持专线、公网、VPN结构+全量+增量复制数据一致性校验功能MySQL双向同步，秒到分钟级回滚该方案没有业务双活，RTO长混合云数据库双活DNS流量阿里云北京可用区H北京IDC机房SLBSLB流量纠错流量纠错0%流量100%流量流量纠错业务A业务BAPP应用服务器RDSMySQL业务CAPP应用服务器Lindrom宽表MongoDB云RedisAPP应用服务器DTSDTSDTSLTS业务A业务BAPP应用服务器RDSMySQL业务CAPP应用服务器HBaseMongoDB云RedisAPP应用服务器DMSDST双向复制防循环DTS单向复制LTS双向复制流量流量流量流量流量流量

6、业务场景数据库平滑迁移上云尽量少停机数据需要保证一致业务库低成本回滚方案上云要点和收益支持专线、公网、VPN结构+全量+增量复制数据一致性校验功能MySQL双向同步，秒到分钟级回滚业务和数据双活，RTO短100%流量0%流量DBSOSS数据库备份上云业务场景IDC数据库备份低成本上云数据安全上云实时高效恢复数据上云要点和收益支持专线、公网、VPN支持MySQL、MariaDB、SQL server、Oracle、PostgreSQL、MongoDB、Redis、PolarDB-X支持物理备份、逻辑备份支持压缩、加密、流控、完整生命周期OSS保证数据可靠性RDS MySQLTair持久内存Mon

7、goDB业务系统数据库会员商城购物车广告快递聊天榜单推荐计费算法MySQLRedisMongoDB北京IDC机房PolarDB阿里云北京H专线互联网VPN最佳实践IDC数据库备份低成本上云数据安全上云实时高效恢复数据云上数据库使用实践提效-高效使用和管理DMS提效-问题诊断和优化提效-批量智能运维提效-自动SQL限流稳定性和安全高可用容灾底层能力DBaaS HA变Fail Over为Switch Over提效-数据库管理和使用数据资产管理数据安全数据库开发数据库变更发布数据传输与加工企业域账号对接数据自动分类、分级细粒度权限分配鉴权数据脱敏性能安全拦截语法规则拦截全流程操作日志水印追溯（防泄露

8、）设计规范 研发流程和审批流程 表结构设计 自助查询 SQL审核优化 测试环境构建 无锁变更 研发规范监测拦截 发布流程 变更异常回滚 异构数据迁移、同步 跨城容灾多活 跨云迁移数据库 全链路数仓开发服务 数据集成（实时/周期/ETL）DMS数据管理解决的问题：研发/测试安全、高效、自助使用数据库通过流程、安全规则、设计规范提高研发/测试效率，降低DBA工作量元数据采集管理元数据图谱构建安全管控快速查找数据数据质量、安全、成本治理数据血缘下一步规划：数据资产治理（知识图谱构建与应用）数据安全体系化（脱敏服务化集成、隐私计算）逻辑数仓建设（库仓一体）场景化解决方案（SaaS等）提效-问题诊断、优

9、化资源监控、实时报警DAS性能趋势、巡检、异常检测、实时性能、空间分析业务报警、业务异常问题发现DAS一键诊断DAS锁分析DAS会话管理DAS慢日志分析SQL洞察和审计DAS诊断报告DAS性能洞察专家诊断和判断问题诊断DAS会话管理固化执行计划CCL自动SQL优化自动索引创建自动空间优化自动限流弹性伸缩智能调参(待上线)问题/性能优化添加读实例垂直升配垂直降配释放读实例自动扩容基于规则弹升扩缩容下一步规划：自发现自优化自修复内核修复管控修复基础设施修复配合团队修复缺陷修复疑难问题，阿里云专家诊断提效-批量智能运维实例自感知和接入实例监控实时盯屏异常发现自动优化自动修复容量评估安全审计实例监控监

10、控曲线监控大盘实时性能大盘：大促、大变更、升级、故障复现 阈值报警 事件概览 查询治理 慢日志分析 巡检评分 空间管理 一键诊断 性能快照 性能洞察 锁分析 自动SQL优化 自动索引创建 自动空间优化 智能调参 自动弹性伸缩 自动限流 实时会话管理智能压测：迁移升级大版本、大业务变更、大促、故障复现 高风险请求 SQL注入 新增访问来源下一步规划：l 异常根因分析、自动优化增强l 自动修复增强：内存、报警端到端修复l 对象结构设计、引擎推荐(根据流量推荐最佳引擎)DAS数据库自治服务近期已上线：l 复制延迟、OOM自修复l SQL Review辅助提效-自动SQL限流异常检测超时自动失效跟踪评

11、估回滚解除限流自动限流全量SQL实时会话Performance Schema根因分析特征提取自动SQL优化什么时候触发？是否限流限制Kill哪条SQL是否有效其他自动化能力：l 自动SQL Review和优化l 智能压测l Auto-scalingl 自动修复稳定和安全高可用高可用同城容灾同城容灾监控与报监控与报警警实例数据实例数据安全安全异常事件异常事件主动运维主动运维异常自愈异常自愈机房级别的容灾切换能力同城跨机房高可用切换 内置多种自动化修复决策树 单点异常自动化修复保障SLA 自动化系统和人工形成正向反馈 复制、参数、主机巡检 复制中断 备库不可用 链路异常 参数不一致 主机异常事件主

12、售区以自建机房为主，机位充足同城不同机房间通过光纤传输，100%冗余机房配备双电系统，柴油发电维持48小时以上物理机配备双上联交换机，防止交换机故障主备物理同机房情况下跨机架部署高可用版主备间采用心跳同步实时备份保证异常情况下服务快速拉起 白名单高安全白名单 SSL加密、透明数据加密TDE 云盘加密 自带密钥加密BYOK能力 高危操作短信验证 SQL洞察、慢日志明细查看监控信息设置监控频率管理报警云监控DBaaS稳定-高可用容灾底层能力DB(主)DB(备)HA切换实例探测复制可用区A可用区B容灾系统机房探活数据备份日志备份数据恢复SLBOSS基础资源配置和架构优化：l主售去以自建机房为主，机位

13、充足l同城不同机房间通过光纤传输，100%冗余l机房配备双电系统，柴油发电机至少维持48小时以上l物理机配备双上联交换机，防止交换机故障l主备物理同机房情况下跨机架部署l高可用版主备间采用心跳同步l三节点企业版的三机房部署容灾防脑裂l机房级别的容灾切换能力l实时备份保证异常情况下服务快速拉起业务场景机房、网络、主机故障提前发现和切换系统异常预测切换容量瓶颈提前扩容性能问题限流优化实例异常主动切换稳定性提升-DBaaS HA，变Fail Over为Switch OverDB(主)DB(备)复制可用区A可用区BHA Agent主机监控Agent可用区容灾AgentHA Agent主机监控Agent

14、可用区容灾AgentHA系统容灾系统事件中心下发容灾切换读写探测主机事件主机事件容灾探测服务正常服务质量受损服务不可用T2T1事件采集预测提前切换DAS干预内核干预HA干预SQL限流索引优化支持自动IOhang磁盘故障内核故障CPU故障dmesg内核切换检查主备可用性检查复制状态设置只读Kill现有连接等待位点同步从OSS拉取缺失的日志检查心跳的时间戳(1min)切换VIP到备库打开备库可写状态再次Kill原主库链接预测切换99.99%30SOSS日志 可用区容灾：解决脑裂问题 事件中心：主机、网络、存储，IAAS层，事前切换，服务未受损，T1服务正常，switch over DAS做软修复：

15、基于规则弹升，SQL限流和索引优化 无限HA是我们未来要解的问题：高流量、慢查询、索引并不好DAS干预流量、资源占用率增加基于资源规则升配CPU、IOPS人工干预重启实例重启宿主等Switch OverFail Over业务场景机房、网络、主机故障提前发现和切换系统异常预测切换容量瓶颈提前扩容性能问题限流优化实例异常主动切换云上数据库使用进阶快速自动弹升-Auto-scaling云数据库降本PolarDB ServerlessAnalyticDB湖仓版Polar4AIAuto-scaling提升稳定l 突发业务流量l 负载不可预测的业务l 负载周期变化的业务降低成本l 不常用的业务l 新上线的

16、业务l 开发和测试环境支持引擎l PolarDB MySQLl RDS MySQL云盘Auto-scaling案例CPU利用率：96%Auto-scaling后Auto-scaling前CPU利用率：30%业务请求：800 QPS业务请求：1500 QPS云数据库降本AnalyticDB集群业务库&缓存DTS实时同步存储共享存储存储分析服务交互服务DMSDMSDBS运维管理冷热分层数据归档Serverless存储+存储包存储高压缩降存储成本提升热数据性能完整方案无业务入侵低操作成本RDS ServerlessPolarDB分钟级弹升ADB分时弹性MyBase、DTS专属集群资源超卖充分利用资源

17、应对流量高峰降低计算成本降低维护成本Tair持久内存RDMA+物理复制+SCCMongoDB on DBFS新硬件红利降低成本提高性能和一致性PolarDB HTAPPolarDB多主集群云原生架构在离线分析降低使用和维护成本提高链路稳定性存储降本计算弹性增效降本新硬件新技术增效降本架构优化PolarDB Serverless 高弹性功能业内第一个上限1000核的企业级Serverless数据库智能决策本地 ScaleUp跨机 ScaleUp跨机 ScaleOut无感 BP Resize基于热备技术的秒级切换连接和事务跨机续传集群维度高性能全局一致性热资源池实现秒级横向弹性功能优势弹的更广：0

18、1000核，业内范围最广弹的更快：秒级探测，秒级切换弹的更稳：全场景（本机&跨机、HTAP、全局数据强一致）无感弹升，性能线性提升弹的更细：三层解耦独立弹升，对比传统架构Serverless成本再降低60%弹升效果单节点 Polar Computing Unit(PCU)自动弹性测试过程固定Sysbench压力，实例初始配置为1个PCU；Serverless能够根据压力自动增加PCU数量，从而自动提升QPS压力停止后，PCU逐渐降低RO节点的自动弹性单节点规格达到上限后，通过自动增加RO节点提升性能降本：资源一体化增效：体验一体化融合引擎极致弹性一份数据融合MPP和BSP(批处理)两种执行模型

19、，一个引擎一份资源同时支持在线分析、离线处理在线分析任务支持分时弹性，离线处理任务支持Query级按需弹性，完美贴合业务负载一份数据同时满足在线分析（热数据）和离线处理（冷数据），提高数据一致性和时效性计费单位数据管理数据访问通过ACU作为计费单位，统一定价，统一管理统一元数据、权限LakeHouse API，提供统一的数据访问体验orc.pngOSS内部存储XIHE MPP SQL EngineXIHE BSP SQL Engine外部存储LakeHouse APIs（Arrow格式）AI：Spark APIBI：SQL存储层计算层应用层用户角色数据库(RDS/PoralDB)日志(OSS/

20、Kakfa/SLS)数据管道APS大数据（MC/EMR）数据源统一元数据/权限访问层采存算管用Spark Engine数据管道数据库、日志、大数据低延时、低成本接入橙色部分为湖仓版新增功能AnalyticDB湖仓版：数据分析处理一体化降本提效PolarDB4AI=云原生数据库+AIPolarDB+Polar4AI提供应用端到端的智能服务，统一数据存储和管理和基于数据库的智能算法服务场景：利用SQL语言高效建模训练评估推理提供In database MLOPs能力和SQL语法扩展，方便用户进行特征及模型全生命周期操作和管理，降低人工智能的门槛特性一：In-database Machine Lea

21、rning Operations（MLOps）场景：模型上传和SQL态模型训练推理平台对于模型生产者，提供自定义模型上传能力；对于模型消费者，提供模型在线服务能力；平台提供MaaS的SQL语法扩展，方便用户进行自定义模型的生产和消费特性二：In-database Model as a Service（MaaS）场景：场景化数据智能解决方案提供开箱即用的数据智能解决方案，方便用户使用具有行业经验和技术深度的一站式数据智能能力特性三：In-database Solution as a Service（SlaaS）DBAI模型数据/算法工程师 业务工程师业务系统DBAI模型模型生产者模型消费者业务系统DBAI模型业务专家业务系统解决方案应用场景客户价值典型案例MLOps:通用AI平台-组件紧耦合一站式数据智能服务：集成MLOps和算法模型，快速转化数据的业务价值，模型上线时间从2周缩短到2天。某数据服务商MaaS:通用AI平台-组件松耦合做强生态：融合DB和AI能力，通过SQL驱动AI能力，一体化体验某视频在线客户SlaaS：ID-Mapping、智能客服、搜索推荐用好数据：提供开箱即用的行业解决方案来深度挖掘数据数据价值，使得数据价值最大化某投资服务客户数据库上云愿景自动驾驶一站式云原生高效降本更快、更稳、更安全