报告预览

分布式数据库DragonBase架构设计与实践.pdf

编号：136493

PDF 20页 1.24MB 下载积分：VIP专享

下载报告请您先登录！

分布式数据库DragonBase架构设计与实践.pdf

1、Fintech技术沙龙金融级数据库架构设计及运维实践金山云分布式数据库DragonBase架构设计与实践1分布式数据库发展背景金山云DragonBase架构设计金山云DragonBase应用实践2商业进阶（19801990）开源+分析（19902000）NoSQL数据库（20002010）云原生分布式、NewSQL、多模（20102020）软硬一体化云化+分布式+HTAP数据库系统演进OracleIBM DB2SQL ServerSysbaseInformixMySQLPostgresqlTeradataSybase IQGreenplumRedisHbaseMongoDBHadoopAuro

2、raRedshiftGoogle SpannerCockroachDB/TiDBSequoiaDBNEWDBs结构化数据RDBMS数据仓库ETL+OLAP在线关系计算在线/离线数据抽取&分析多样化异构数据计算文档KV空间向量时序结构化图半结构化多模&混合计算数据库统一服务HTAP软硬结合云原生分布式MutiModeDBaaS3分布式数据库技术架构演进APPAPPDB单体数据库分布式数据库垂直拆分APPDBAPPDBAPPDB配置中心分布式数据库分库分表APPAPPAPPproxyproxyproxyDBDBDBDISKsDISKsDISKsDISKsDISKsDISKs云原生数据库-计算存储分

3、离APPAPPAPPproxyproxyproxyDBDBDB分布式存储系统（FS/S3/NAS）高速网络HTAP数据库TP Server ClusterAP Server ClusterData AssociationAPPAPPAPPproxyproxyproxy分布式存储系统（FS/S3/NAS）高速网络4分布式数据库核心技术要素核心要素一致性高可用安全性能扩展性兼容性可运维性多副本一致性分布式事务能力RPO0,RTO30s数据访问、数据传输、数据存储、数据备份安全聚合计算性能、数据访问时延动态弹性扩缩容应用兼容、功能兼容运维平台自动化运维5分布式数据库发展背景金山云DragonBase

4、架构设计金山云DragonBase应用实践6数据库管理平台接入服务管控服务数据服务控制台API/SDKLB安全控制系统Zeus高可用系统Hera运维系统Beacon校验系统Homles监控系统Eagles数据传输DTS数据备份DBS数据管理DMS数据库集群计算节点DragonServer(DS)存储节点DragonData（DD）DSSQL解析执行计划并行计算DSSQL解析执行计划并行计算存储单元Group全局管理服务GMS全局序列全局元数据全局事务管理DD（主）DD（从）存储单元GroupDD（主）DD（从）金山云分布式数据库DragonBase架构7分布式数据库DragonBase：副本间

5、数据一致性Raft强一致复制MasterServerControlChannelDataChannelConsensus ServerBraftEngineSlaveServerControlChannelDataChannelConsensus ServerBraftEngineReplication副本数据一致性：支持异步同步、半同步和基于raft的强同步，兼顾不同应用场景【同步特性】异步同步：性能高，但容易丢数据半同步：性能较高，网络不稳定时会丢数据 Raft强同步：性能较高，保证数据一致性【客户价值】保障全局数据一致性，RPO0 按业务需求调配同步模式8分布式数据库DragonBas

6、e：事务ACID属性保障分布式事务的ACID属性，难点：分布式事务跨多个DB，部分DB提交成功，如何保证全局事务的原子性(A)多个分布式事务并发，全局事务间不知道彼此分支事务提交状态，如何保证事务之间的隔离性(I）举例如下：时刻事件账户A（DB X）账户B（DB Y）备注T0初始化100100T1分布式事务GTrx1开启：A给B转50元100100T2Gtrx1完成账户A扣款5050100T3分布式事务GTrx2：查询账户A和账户B50100此时全局事务GTrx1还未提交T4GTrx2读到账户A为50元，账户B为100元50100全局事务GTrx2事务读到GTrx1未完成提交的中间结果T5GT

7、rx1完成账户B加款5050150T6GTrx1完成提交501509分布式数据库DragonBase：事务原子性APPDSDD0DD1commitbeginoksql1okbegin;sql1oksql2okxa start xid;sql2okcommitokxa end xid;xa prepare xidokupdate meta;commitokxa commit xidokAPPDSDD0DD1beginoksql1okbegin;sql1oksql2okxa start xid;sql2okrollbackokxa end xid;xa prepare xidokupdate me

8、ta;rollbackokxa rollback xidokrollback2PC+XA，乐观通过本地事务处理，提高性能10分布式数据库DragonBase：事务隔离性【关键点】全局事务管理GMS，中心授时时间戳记录到数据事务日志中基于Batch和Pipeline控制授时网络开销对性能影响=5%【客户价值】支持RC事务隔离级别，满足会计记账准则要求全局事务管理对应用透明基于全局时钟，实现RC/RR隔离级别的全局读一致性11分布式数据库DragonBase：高可用-故障感知与恢复DSDSDDDD计算节点存储节点Old masterLB管控服务HeraDSZeusstandby(new mas

9、ter)DDstandby（new）故障感知处理主动+被动资源调度任务下发复制复制所有组件无单点故障，包括计算节点DS，存储节点DD，管理节点GMS以及管控系统组件。故障感知系统Hera，采用实例节点探活+服务端口探活+租约等多重机制，探测系统组件的服务状态；若出现故障向控制系统Zeus汇报；故障控制系统Zeus根据故障感知系统Hera上报故障详情，完成故障恢复的控制操作。12智能 GSLB长途高质量网络专线/VPN同城双活+异地备份，保障数据的安全可靠中间件服务IDC1数据库服务数据强同步数据异步传输客户IDCIDC2IDCX专线/VPN客户IDC专线/VPN地域A地域B路由负载均衡分片2

10、从分片1主中间件服务数据库服务路由负载均衡分片1从分片2主中间件服务数据库服务路由负载均衡分片2从分片1从分布式数据库DragonBase：高可用-两地三中心13计算节点DragonServer(DS)存储节点DragonData(DD)DD 1Table A子表1Table B子表2Table C子表3DD 2Table A子表2Table B子表3Table C子表2DD 3Table A子表3Table B子表1Table C子表1主表ADD1_1,DD2_2,DD3_3主表BDD1_2,DD2_3,DD3_1主表CDD1_3,DD2_2,DD3_1DD 4Table C子表1添加存储节

11、点Table B子表3迁移子表到新扩展节点主表ADD1_1,DD2_2,DD3_3主表BDD1_2,DD4_3,DD3_1主表CDD1_3,DD2_2,DD4_1数据迁移管理3.拓扑变更拓扑更新控制数据迁移控制弹性扩展：基于分库分表+按子表自动迁移，支持按容量迁移、按访问热度迁移分布式数据库DragonBase：弹性扩缩容14分布式数据库DragonBase：安全机制DS 1DS M数据库代理OpenSSL传输加密DD 1DD N数据库分片DISKDISKOpenSSL传输加密表空间加密三权分立安全访问控制密钥管理中心（公钥&私钥）密钥管理审计系统DBTCP copy审计日志备份系统S3加密文

12、件三权分立+访问控制+安全审计+加密技术15分布式数据库DragonBase：运维管理平台运维操作监控告警故障排查日志管理资源管理集群部署参数管理备份恢复管理权限管理监控指标管理监控展示告警策略管理告警内容管理服务日志审计日志慢日志运维日志全链路日志追踪日志可视化/下载日志分析慢日志检索审计日志检索故障巡检故障诊断16分布式数据库发展背景金山云DragonBase架构设计金山云DragonBase应用实践17分布式数据库DragonBase实践：OLTP&OLAP结合关系型TP数据库DSDSDSDDDDDD数据同步软件分析类数据库在线业务交易CRM风控报

13、表分布式缓存在线并发交易+离线交易分析18分布式数据库DragonBase实践：传统商业数据库迁移业务系统应用服务节点技术平台JAVALinux OSVMWAREPC Server(X86)PC Server(X86)PC Server(X86)应用服务节点技术平台JAVALinux OSVMWARE应用服务节点技术平台JAVALinux OSVMWARE数据库服务分布式数据库DragonBaseDTS双向同步Oracle RACLinux OSVMWAREPC ServerMySQL单体计算节点计算节点计算节点Linux OSVMWAREPC ServerLinux OSVMWAREPC Server【产品优势】分布式数据库替代传统商业数据库：金融级强一致分布式数据库，可扩展。降低成本：降低硬件和商业软件成本【客户价值】分布式开放架构，弹性扩展，满足未来发展需要提高新业务上线效率19THANK YOU！20

友情提示

1、下载报告失败解决办法
2、PDF文件下载后，可能会被浏览器默认打开，此种情况可以点击浏览器菜单，保存网页到桌面，就可以正常下载了。
3、本站不支持迅雷下载，请使用电脑自带的IE浏览器，或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩，下载后原文更清晰。

本文（分布式数据库DragonBase架构设计与实践.pdf）为本站（2200）主动上传，三个皮匠报告文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。若此文所含内容侵犯了您的版权或隐私，请立即通知三个皮匠报告文库（点击联系客服），我们立即给予删除！

温馨提示：如果因为网速或其他原因下载失败请重新下载，重复下载不扣分。

上海品茶

分布式数据库DragonBase架构设计与实践.pdf

分布式数据库DragonBase架构设计与实践.pdf