1、分布式数据库下5000亿+数据秒级响应的探索与实践首款入选Gartner数据库推荐报告的国产分布式数据库产品超过100家大型金融企业核心业务系统上线使用SequoiaDB巨杉数据库简介应用程序开发面临怎样的趋势？应用程序开发从烟囱式架构向分布式的转型应用前端数据库中间件微服务数据库微服务微服务微服务数据库微服务微服务微服务数据库微服务微服务传统架构向微服务转型应用前端数据库该如何应对微服务应用框架？数据库如何应对微服务应用框架集中式关系型数据库MySQLMySQLPGSQLS3对象存储分布式数据库MySQL实例MySQL实例PGSQL实例S3实例集中式存储 数据紧耦合 无法弹性扩张 单点故障碎

2、片化存储 数据碎片化 数据无共享 运维成本高分布式存储 微服务对应独立实例 物理分散存储 逻辑集中管理微服务1微服务2微服务3微服务4微服务1微服务2微服务3微服务4微服务1微服务2微服务3微服务4？联机交易业务需要什么样的分布式数据库联机交易业务需要什么样的分布式数据库ACID的支持事务、一致性等，处理OLTPSQL完整支持MySQL/PostgreSQL语法的完整兼容分布式与扩展性分布式是新一代架构的基础，扩展性能应对变化的数据量Multi-model与多租户multi-model多模数据库引擎，同一引擎处理多种数据应用场景，符合微服务和云数据库的架构理念HTAP混合事务和分析场景，适应更

3、多数据应用需求传统技术兼容性新技术前瞻性分布式交易型数据库技术发展体系Applicationclusterclusterclustercluster核心信贷CRM票据应用垂直分库Applicationclusterclusterclustercluster核心信贷CRM票据核心DB1信贷DB1CRM-DB1核心DB2信贷DB2CRM-DB2核心DB3信贷DB3CRM-DB3核心DBn信贷DBnCRM-DBn票据DB1票据DB2票据DB3票据DBn原生分布式数据库分库分表分布式中间件（路由分发）clustercluster用户组1Application核心信贷CRM票据核心DB1信贷DB1CRM

4、-DB1核心DB2信贷DB2CRM-DB2核心DB3信贷DB3CRM-DB3核心DBn信贷DBnCRM-DBn票据DB1票据DB2票据DB3票据DBn用户组2用户组3用户组4XXXXXXXX Xclustercluster分布式数据库技术发展体系对比垂直分库起点比较早，应用控制能力强，可进行深度定制化对于底层数据库没有任何特殊要求，完全在应用程序内部进行分库分库分表构建中间SQL解析层，尽可能将标准SQL拆分成多个子查询下压到下层数据库，在SQL层进行结果拼装对于底层数据库无特殊要求，在中间件进行SQL切分（支持XA即可）部分兼容传统SQL，应用程序开发难度小于垂直分库原生分布式数据库数据库内

5、部处理分布式事务与数据切分逻辑，对于应用程序完全透明，不需感知底层数据分布数据库内部原生支持分布式事务，性能远远高于分库分表高可用与容灾能力由数据库内核原生支持，不需额外辅助工具应用程序逻辑侵入性极强，应用程序需要进行复杂逻辑才能进行合理数据分布拓扑结构调整或扩容时非常痛苦，几乎不可能完成在线扩容很难支持跨库事务应用程序逻辑侵入性较强，应用程序需感知底层数据分布结构，才能设计出优化后的查询逻辑中间件实现分布式事务，跨库事务使用XA机制，性能大幅度下降作为单点向新型分布式数据库转型的过渡阶段，技术延续性堪忧技术较新，业界成熟案例相对较少辅助工具相对较少，生态环境有待完善优势劣势巨杉分布式数据库“

6、计算存储分离”架构三大核心应用场景交易型业务场景替换 MySQL、PGSQL 等传统关系型数据库数据中台数据服务与高频只读类业务提供比 Hbase 更加友好的开发接口以及更加简便的运维能力音视频、图片、文件等对象存储类业务提供比 Ceph 更优的实时容灾能力以及更加丰富的内容管理特性内容管理联机交易新一代分布式数据库如何适应微服务云化架构需求数据分片能力TargetPartition=DHT(Row-PartitionKey)datagroup1datagroup2datagroup3高可用能力同分区内数据节点之间通过心跳保持连接主节点2轮接收不到超半数节点心跳会自动降备备节点2轮接收不到主节

7、点心跳会发起选举投票超半数节点同意后备节点当选新的主节点DataDataDataDataDataDataDataDataData1840192.168.1.1192.168.1.2192.168.1.3datagroup1datagroup2datagroup3MySQLCoordMySQLCoordMySQLCoord330611810数据库实例192.168.1.4192.168.1.5192.168.1.6水平扩展能力CatalogCatalogCatalog11800编目节点组CatalogCatalogCatalog11800编目节点组DataDataDataD

8、ataDataDataDataDataData1840datagroup4datagroup5datagroup6强大的分布式事务能力 传统二段提交机制 保证数据跨节点一致性 流水类数据按时间与ID二维切分，避免数据搬迁 余额类数据按ID散列，保证均衡无热点 悲观锁 MVCC读已提交能力MySQL/PGSQL/SparkSQL保持100%兼容原生MySQL/PGSQL/SparkSQL解析与执行引擎，不需担心语法兼容访问计划兼容性锁机制二段提交2PC表设计原则MySQL兼容能力语法增删改查语法（SQL、DML）视图、存储过程、触发器、自增字段（DDL、DCL）跨节点跨表事

9、务、四种隔离级别、读已提交能力通讯协议协议级兼容MySQL客户端协议级兼容JDBC驱动支持所有MySQL开发框架访问计划访问计划计算方式兼容MySQL统计信息收集策略兼容MySQL准实时数据复制准实时数据复制策略1、异构数据源使用相关的工具将日志文件实时解析并写入管道2、通过Apache Storm对管道信息监听并转换为标准DML/DDL命令3、指令分发至多线程处理服务进行巨杉历史数据库的增删改查4、满足异构数据源T+0的数据复制策略，秒级延时5、当前支持Oracle Golden Gate（对应Oracle数据源）、IBM CDC（对应IBM DB2）、IIE（对应IBM Informix）

10、、以及Cannel（对应MySQL）6、对于当前不支持的数据库需要寻找开源的日志解析工具或进行独立开发OracleDB2InformixMySQL历史库准实时数据复制策略实时推送日志解析格式转化任务处理异步数据复制异步数据复制策略1、使用JSON或CSV格式定期将异构数据源的原始数据进行导出为文本文件2、通过FTP等方式将文件传输至巨杉数据库的客户端3、通过sdbimprt工具将文本文件导入巨杉数据库4、满足异构数据源T+1的数据复制策略，简单可靠OracleDB2InformixMySQL导入工具历史库异步数据复制策略定期任务数据备份恢复数据库实例级备份 MySQL/PostgreSQL原生

11、记录备份策略集群级备份 全量离线备份 全量在线备份 增量在线备份文件系统级备份 读节点文件系统全量备份 静态文件增量备份分布式集群数据库实例数据库实例数据库实例HTAP读写分离能力MySQL实例1（高可用）MySQL实例2（高可用）MySQL实例3（高可用）MySQL实例4（高可用）SparkSQL实例1SparkSQL实例2微服务框架下，对成千上万个MySQL数据库实例做到统一化管理，防止数据碎片化，并对来自不同实例和服务的数据统一实时分析，避免联机交易与分析业务相互干扰多租户物理隔离能力在一个集群内同时提供关系型数据库以及对象存储实例尽可能减少用户对于异构产品的学习与运维成本MySQL实例

12、1MySQL实例2S3对象存储Posix文件系统结构化存储格式非结构化存储格式多租户权限管理能力核心账务实例信贷实例信用卡实例渠道业务实例每个实例提供完全隔离的权限控制与数据可视范围确保不会管理员不会有意无意使实例访问被隔离的其他信息多中心容灾能力同城方案同城方案1、主备机房使用可靠高速光纤直连2、每个分区主节点在主中心3、平时使用强一致同步策略保障数据不丢4、故障发生时使用takeover工具进行集群分离，备集群独立运行5、故障恢复后使用merge工具进行集群合并双活方案双活方案1、应用程序直连本地数据中心数据库协调节点2、应用程序不需要关注底层数据存储主备中心复制和通讯策略两地三中心两地三中心1、远程数据中心使用异步机制进行数据复制2、数据中心之间可进行流量控制保证不会占用过多带宽金融级分布式关系型数据库