报告预览

关系型分布式数据库最佳实践.pdf

编号：136456

PDF 24页 2.81MB 下载积分：VIP专享

下载报告请您先登录！

关系型分布式数据库最佳实践.pdf

1、关系型分布式数据库最佳实践阿里云GTS-王宗瑞MySQL DBA负责百度分布式数据库方向百信银行分布式数据库设计主导网盘用户元信息分布式数据库，冷热数据分离设计、落地DB-SA负责阿里云政府、能源、新零售行业数据库商机拓展和轻交付负责数据库架构师团队解决方案与最佳实践沉淀输出负责分布式数据库中间件技术售前方向DB-TM参与保险TOP客户核心业务系统从Oracle向原生分布式数据库迁移改造负责数据库交付标准化+工具化方向推进负责国产数据库改造“交付平台化”方向规划与落地分享人简介01/数据库从集中式到分布式的演进02/分布式数据库分类03/关系型分布式数据库最佳实践04/关系型分布式数据库总结与

2、展望数据库从集中式到分布式的演进视图触发器存储过程事务传统单机数据库虚拟化计算层云存储层云原生数据库中间件1.分布式数据库中间件2.原生分布式数据库通用性强，特性全可控数据规模性能优秀受单机资源瓶颈制约资源难以扩展水平拆分场景性能优异资源可线性扩展需解决分布式事务、一致性研发人员入门门槛高计算存储分离资源弹性伸缩单机数据库特性强兼容对云平台强依赖Proxy集群化什么场景适合选择分布式数据库高并发查询高并发更新（事务）海量在线数据存储单表数据量大，性能退化实时复杂分析查询超时国产化数据库改造数据库异地容灾1.只读副本，读写分离2.热点缓存（分布式缓存）1.数据垂直拆分2.分布式数据库分布式数据

3、库1.数据归档2.索引调优3.分布式数据库中间件1.流计算、预计算 2.分布式HTAP、OLAP数据库原生分布式高兼容数据库方案选型优先级原生分布式数据库分布式数据库选型基于应用场景的分类在线事务OLTP在线事务OLAP非结构化&专有领域NOSQL分布式数据库中间件原生分布式数据库ADB分布式缓存文档数据库宽列数据库专有领域CODIS副本集关系型分布式数据库最佳实践分布式数据库中间件场景一单机数据库演进分布式1.业务增长迅速，单机存储瓶颈，并发更新瓶颈2.大表DDL耗时长，冲击业务IO痛点问题Big TableTableHot Table普通单表业务大表/热点表MySQL单机平滑演进Ta

4、ble普通单表分布式MySQL单机P0P1P2P3P4P5分片表分片表MySQL单机1.大表拆分键选择、小表广播2.分布式事务保证3.分布式ONLINE DDL4.增量数据实时回流核心技术场景二线性平滑扩容Partition 1Partition 2Partition 4Partition 5Partition 7Partition 8Node 1Node 2Node 3Partition 3Partition 6Partition 9Node 4Node 5Node 6CN1CN2CN3CNDN计算层无状态扩容添加新节点，修改LB路由存储层有状态扩容需要做数据迁移Partition 1Pa

5、rtition 5Partition 9Load Balance1.突破单机瓶颈，扩容对业务应无感知2.存在热点数据，拖累同分区数据访问3.分布式中间层同样存在计算瓶颈痛点问题1.partition数据全量+增量迁移+数据校验2.扩容粒度层级：库级别表级别避免大表和清理问题2.透明分布式(SQL+事务)=分片对业务透明3.HTAP分析（并行计算）=历史数据报表分析Tableinsert into msg(id,time)values(325,2021.01.31)2020.062020.072021.012020.05数据库内置定时任务(event事件)2021.02创建新分区处理历史分区处

6、理策略：过期清理转移到归档数据压缩存储1.在线业务表中数据量过大，性能恶化2.存储增长导致昂贵的在线数据库存储成本企高3.手工归档操作繁琐易出错，对IO有冲击4.在线服务有访问归档需求需要切换入口痛点问题1.归档策略可配置，自动清理过期数据，自适应限速2.归档数据访问路由与在线路由归一化3.归档库自动调度廉价存储设备4.并发查询提高分析效率核心技术分布式数据库中间件设计最佳实践1.确保分布式表拆分键是业务最常用的等值查询条件，数据分布均匀度其次考量2.底层是MySQL数据节点innodb引擎条件下，单行长度不建议超过2KB，以此为条件，数据量不超过2kw，一般不会出现单表性能瓶颈，不必拆分3.

7、广播表的确定，更新频率低的优先级，远大于表内数据量多寡4.如果支持，当然可以使用分布式事务，简化业务开发逻辑，但有代价，涉及SQL占整体SQL比例不要超过10%，最好不超过5%，且无高并发场景5.如果支持，也可以使用全局二级索引，但一张分布式表不建议创建超过3个，不然写入性能、事务吞吐都将受到影响（前提是有数据强一致性保证，否则不要使用）分布式数据库中间件+数据节点分布式缓存负载均衡消息队列服务总线对象存储分布式服务框架业务服务WEBAPP标准服务核心服务个性服务号码查询靓号费用成卡占用号码入库卡入库靓号减免减免结果号码中心卡中心操作中心报表中心协议转换注册订购异步事务流程接耦通知服务号段成卡

8、文件报表其他业务参数会话信息业务数据号码卡操作报表日志某运营商号码业务、资源卡业务等核心业务数据库采用分布式数据库中间件。成功从传统架构转型到互联网架构。通过在客户域，订单域，产品域进行分布式解耦，以及数据库拆分，使得业务域获得了水平扩展的能力。对于多维查询的需求，通过增量数据传输同步到其他数据库中。如同步到ES中满足实时业务的做多纬度数据查询，再如按照省的纬度同步到多个只读数据库中，为每个省提供数据库级别查询能力。分布式数据库中间件实战案例-运营商号卡业务关系型分布式数据库最佳实践原生分布式数据库场景一高并发交易业务P1P2P4ServerZONE_1P5P6P8ServerP7P1P3P

9、4ServerZONE_2P5P6P8ServerP7P1P3P2ServerZONE_3P5P6P8ServerP7Paxos/Raft GroupProxyProxyProxyAPPAPPAPPP3P2P4主副本备副本1.事务更新并发高，单机难以承载或scale up成本高昂2.业务有大促、抢购场景，资源需要快速伸缩3.数据一致性要求非常高4.分布式改造希望平滑，应用改造少痛点问题1.分区表技术，全局+本地索引2.多点写入，实现分布式数据写入负载均衡3.资源智能调配，一键扩缩容4.单机数据特性、语法兼容度100%5.数据由分布式一致性算法保障核心技术场景二数据库多地多中心多活单机房架构三

10、地五中心多活架构两地三中心架构同城双机房架构异地多活架构1.业务对数据容灾有高要求2.不同基础设施下的数据库高可用需求3.海量数据条件下，备份恢复难题4.小型数据故障需快速修复+数据安全需求痛点问题1.分布式一致性算法，RPO=0（少数派故障）2.自恢复机制，确保RTO分钟级3.快照+增量日志的快速备份恢复技术4.数据闪回、全链路数据审计核心技术场景三国产化数据库改造可行性和风险评估迁移规划和准备迁移改造和验证切割上线风险保障1.老系统在Oracle、DB2，业务复杂改不动2.正式割接难以确定新系统表现，存在未知风险3.需要平滑可靠的改造回滚方案4.改造分布时候，性能退化严重痛点问题1.高兼

11、容传统数据库的SQL、特性2.完善的评估报告、采集回放方案3.可靠的异构数据双向回流技术4.根据需要选择分布式，不要刻舟求剑核心技术原生分布式数据库设计最佳实践没有高并发更新的数据表，不需要刻意分区，付出不必要的性能代价关联查询条件固定的表，要放在相同表组，杜绝跨节点关联数据的自均衡，同样有性能代价，要根据业务访问压力权衡是否打开关注分布式执行计划，通过hint指定最优的join方式，弥补优化器自身的失准如果可能，绑定执行计划是很好的调优手段可能的话，复杂分析类查询，走OLAP入口特定场景下，可配合数据库中间件食用，效果更佳原生分布式数据库实战案例-XX银行/保险水平扩展、高并发

12、处理、低采用成本等分布式优势，为银行业务的快速发展提供了强有力的保障。业务挑战：银行业传统的IOE架构无法支撑高并发量和数据库的高弹性需求，限制业务的快速发展。互联网金融业务在“科技引领”战略目标指引下，发展需求巨大。解决方案：原生分布式数据库DBPaaS，提供核心基础数据服务，遵循以高性能和稳定性为主、高兼容性为辅的设计原则，通过集群部署，能够自由增加数据库节点，实现弹性扩展，不需要停止业务系统进行割接操作，满足了客户对性能及高可用的严苛要求。本地化的弹性扩展能力，解决了传统关系型数据的实时结构化数据存储容量瓶颈问题；数据安全能力，采取一主多备，当主节点异常时，系统自动切换至备节点，保障系统

13、操作连续服务不中断，从而保证了SLA。客户收益：在线水平扩展能力：只需增配节点即可，且能够在不中断业务的情况下，快速扩展硬件能力高并发处理能力：能够轻松应对远高于原架构的突发高并发流量软硬件和运维成本：采用普通的PC服务器，其成本低于小型机+SAN存储，使用分布式数据库后的硬件成本和硬件维保费用也有所降低OracleMySQL动态伸缩原生分布式数据库分布式数据库总结与展望关系型分布式数据库总结分布式数据库中间件优势架构简单，易学习理解灵活，可挂载不同数据节点 ShareNothing架构，数据天然分片场景几乎具有无限线性扩展型劣势对于分区键的取舍是技术活分布式事务是天然难题与存储

14、节点解耦，过于依赖存储节点实现，如数据一致性原生分布式数据库优势计算存储高耦合，技术深入，如CBO、与MySQL、Oracle协议高度兼容等天然分布式一致性保证，异地多活使用体验与单机数据库几乎一致劣势往往架构复杂，单机数据库维护调优经验难复用对于OLAP场景表现欠佳扩展性依然受限于固有硬件条件关系型分布式数据库展望二者虽然在各自起点选了不同的科技树，但现在大有融合趋势；开源是趋势所向分布式数据库中间件整合云原生数据库分布式一致性备份恢复分区表一致性hash，自均衡HTAP混合负载分布式binlog分布式事务增强绑定存储，异地多活原生分布式数据库整合分布式中间件HTAP混合负载物理备份恢复传统单机数据库高兼容国产化硬件适配!#$%&()*!#$%&()*

友情提示

1、下载报告失败解决办法
2、PDF文件下载后，可能会被浏览器默认打开，此种情况可以点击浏览器菜单，保存网页到桌面，就可以正常下载了。
3、本站不支持迅雷下载，请使用电脑自带的IE浏览器，或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩，下载后原文更清晰。

本文（关系型分布式数据库最佳实践.pdf）为本站（2200）主动上传，三个皮匠报告文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。若此文所含内容侵犯了您的版权或隐私，请立即通知三个皮匠报告文库（点击联系客服），我们立即给予删除！

温馨提示：如果因为网速或其他原因下载失败请重新下载，重复下载不扣分。

上海品茶

关系型分布式数据库最佳实践.pdf

关系型分布式数据库最佳实践.pdf