《专场2.2-基于易鲸捷分布式2.0数据库的银行核心交易系统落地实践-王燮元.pdf》由会员分享,可在线阅读,更多相关《专场2.2-基于易鲸捷分布式2.0数据库的银行核心交易系统落地实践-王燮元.pdf(31页珍藏版)》请在三个皮匠报告上搜索。
1、基于易鲸捷分布式2.0架构国产数据库银行核心交易系统落地实践王燮元 易鲸捷 解决方案专家2022/12/12易鲸捷公司银行核心交易系统需求分布式2.0架构数据库项目落地实践1234易鲸捷信息技术有限公司技术优势关于易鲸捷领域成果易鲸捷:专注于全新一代分布式数据库技术的研发与应用中国电子作为国家网信工程的主要建设单位,战略投资易鲸捷,打造中国金融IT更安全的分布式技术底座生态,形成全栈解决方案,基于易鲸捷分布式数据库产品打造创新生态,就金融业务未来发展对安全性、扩展性、云化进行全面支撑。易鲸捷是国家队中唯一一家主打分布式数据库的公司中国电子(CEC)旗下中国软件在2021和2022两年总计战略投
2、资超过4亿元,目前持股比例达25%,为易鲸捷第二大股东。自 主 可 控国 产 可 信安 全 高 效CEC中国电子战略投资核心分布式产品应用于核心业务系统产品案例TP集中式架构、可无缝升级到分布式架构支撑中小企业、中等以下业务量场景MPPMPP架构,大规模并行处理、分析挖掘支撑数仓、数集、BI等分析类业务HTAP融合数据处理架构提供一站式融合数据处理方案xTP分布式2.0,去中心架构、金融级安全支撑核心、关键类业务金融行业数据仓库银联数据信审平台贵阳农商行全栈数仓系统运营商数据支撑平台联通cBSS集中业务支撑系统浙江移动位置大数据分析平台制造&政务领域国创中心“智能制造”研发云平台贵阳公安、广西
3、工商局、东盟信息港、上线两家银行核心交易系统贵阳银行全栈核心系统银行核心交易系统银行核心系统数据库的需求移动互联网使得金融服务生活化,业务量迎来爆发式增长,银行架构从传统集中式架构向分布式架构转型是必然趋势。业务模式由线下转到线上分布式架构转型是必然趋势业务复杂度持续增加,IT系统建设、迁移及维护成本居高不下,数据库需要简单开发与方便运维。系统开发迁移和统一运维需求数据库开发和运维便捷性要求与日俱增金融行业特点决定系统要时刻保证“数据不能丢,账务不能错,系统不能停“,提供更高级别的一致性、可用性和安全性保证。金融行业特点及监管要求必须提供极致的安全和可靠性信息技术应用创新环境的推动,需要系统架
4、构各层级产品做到自主可控和彼此适配,构建新的技术生态体系。国家安全战略的宏观背景下信息技术应用创新需求银行核心系统替换的难点监管要求监管部门没有因为信息技术应用创新建设而降低银行的服务标准;大部分银行处于创新和监管的夹缝之中,缓慢加速。产品选型数据库厂商多,产品架构和能力差异大;缺少可参考的关键实施案例和明确的政策引导;技术源头不清,依赖开源技术是否符合技术安全要求不明。核心系统的替换工程,需要按照“年”单位计算,还会涉及厂商系统和产品的修改、测试、多轮验证、长周期实施,投入不菲。建设成本核心系统替换难点解决思路以产品能力为根本,努力扩大试点范围,在满足监管要求的前提下,逐步降低整体成本。产品
5、能力安全和可靠性架构安全数据安全系统安全迁移和维护开发运维外围工具生态兼容性能和并发产品性能扩展性数据容量技术架构集中式数据库传统部署分布式1.0:分库分表架构业务耦合分布式2.0:原生分布式透明分布架构图架构特点单机,SD共享存储集群;底层架构对应用透明。单机数据库(MySQL,PG)+分布式中间件;基于应用和数据模型实现分库、分表。原生分布式存储+分布式SQL+分布式事务引擎;通过Paxos/Raft分布式一致性协议实现数据副本高可用管理。底层架构对应用透明。MySQLMySQLMySQL中间件应用内部一致性协议Node3Node1Node2负载均衡应用单机数据库应用集中式存储分布式数据库
6、典型架构对比易鲸捷分布式2.0架构数据库产品完全无中心设计彻底去中心部署,没有管理节点,没有单点瓶颈,消除单点风险。副本强一致通过Raft协议保证多副本数据一致性,完全满足事务的ACID特性。fxx金融级安全保障高可用保障,RPO=0,RTO30min;缺失副本自动补全,故障自愈,应用无感知。多区域部署支持单中心以及异地多活、两地三中心、三地五中心等多种跨数据中心部署方案。原生分布式架构应用透明,数据库内部实现数据分片,传统应用快速迁移。标准&易用ANSI SQL标准支持,兼容PG协议,兼容Oracle语法,易安装,简运维。QianBase xTP设计理念面向核心、关键业务系统需求,以及信息技
7、术创新环境进行设计与优化消除单一元数据管理节点,“传染”协议保证元数据极速传递。消除全局事务/时钟服务,分布式节点混合逻辑时钟服务保证事务时间戳递增。基于国产基础设施,提供安全性保障 彻底消除单一瓶颈节点,完全去中心化架构2复杂留在数据库,简单留给用户 原生分布式,数据透明、运维简单1开发:数据分布透明、访问透明、原生分布式式事务、标准SQL。运维:急速部署扩容,自动负载均衡、数据重分布、自动容错恢复、参数简化。滚动重启容错容灾在线扩缩容在线备份在线升级在线DDL永不停机、持续在线 保证核心、关键业务的连续性3分布式架构解决并发和扩展性问题应用系统计算层计算层计算层连接层连接层存储层存储层存储
8、层连接层连接层负载 均衡计算层存储层分布式事务HLC授时QianStoreQianStoreQianStoreQianStoreQianStoreQianStoreQianStoreQianStoreQianStoreQianStoreQianStoreQianStoreRange 4Range 2Range 1Range 5Range 1Range 5Range 3Range 2Range 3Range 4Range 5Range 1Range 3Range 2Range 4存储层基于KV存储架构通过Raft协议保障多副本数据一致性DTM(分布式事务管理)DSQL(SQL解析优化)DSE(分
9、布式存储引擎)DTM(分布式事务管理)DSQL(SQL解析优化)DSE(分布式存储引擎)DTM(分布式事务管理)DSQL(SQL解析优化)DSE(分布式存储引擎)DTM(分布式事务管理)DSQL(SQL解析优化)DSE(分布式存储引擎)Range元数据路由Node1SQL/KV模型映射Node2Node3Node4SQLSQLSQL存储引擎SQL事务管理器本地存储本地存储Node1存储引擎SQL事务管理器本地存储本地存储Node5存储引擎SQL事务管理器本地存储本地存储Node4存储引擎SQL事务管理器本地存储本地存储Node2存储引擎SQL事务管理器本地存储本地存储Node3一致性协议负载均
10、衡完全去中心化,没有管理节点,允许任意节点发生故障。架构安全通过分布式一致性协议保障副本一致,允许1/3数量的副本故障。数据安全支持灵活的跨中心部署模式,实现同城双活、两地三中心部署,保障同城RPO=0。系统安全通过架构安全保障全栈技术底座的系统性安全。通过全国第一个金融核心交易系统全栈项目实施,用生产环境打穿国内基础软硬件IT技术底座,为彻底去除外部技术依赖提供基础保障。全栈技术底座安全可持续保障业务系统安全、稳定、连续运行屏蔽底层软件故障、设备故障、机房故障、地域灾难通过分布式技术基于国产服务器设备实现大机下移、替换的最快捷、最有效解决方案重要行业核心关键业务安全完全去中心化分布式数据库架
11、构去中心化架构解决安全和可靠性问题数据自动切分,透明访问开发透明、运维智能,兼具分布式2.0架构先进性和传统关系型数据库通用性。按照数据库(Database)、模式(Schema)、表(Table)、列(Column)的组织结构进行数据的逻辑划分;数据自动切分,像使用集中式数据库一样操作QianBase;数据副本自动分布,根据节点存储与流量负载进行自动位置分配;自动均衡,扩容、缩容后数据副本自动规避业务高峰,进行均衡;热点数据自动切分,自动按访问流量进行切分,并迁移到不同节点。极致高可用,永不停机Range1Range3Node1Range2Range4Range1Range7Node2Ran
12、ge2Range5Range1Range1Range3Node3Range5Range8Range4Node4Range6Range8Range7Range6Node5Range4Range2Range5Range6Node6Range7Range3Range8Range2Range3Range4Range1多副本保证数据可靠、不丢失;节点故障,主副本立刻重新选主;基于Raft协议,只要半数以上副本存活,则服务可用;故障自愈:超过5分钟(默认)未恢复,副本数量自动在剩余节点中补齐;整个过程对应用透明。采用无中心化架构,确保任意单节点故障不影响集群整体的可用性。3 副本3 副本1 副本异地灾备库
13、增量数据同步工具一致性协议一致性协议生产中心同城中心异地中心3 副本强一致性同步副本最终一致性同步副本配置“数据中心”参数,并设置生产中心为“主中心”各数据中心实现“内部多副本强一致性”,3-3-1、5-3-1副本机制保障同城RPO=0;一旦同城中心故障后,系统自动收敛为“主中心”模式,仅要求主中心内部数据副本多数派强一致,其他中心数据由后台程序实现最终一致性;主中心3份副本,此时允许1/3副本主机发生故障,数据安全、系统稳定;故障排除后,系统自动伸展为跨中心容灾模式。灵活的部署和副本配置策略,保障核心业务安全稳定。跨中心部署优化,金融级安全保障打造基于信息技术创新产业的新生态QianBase
14、通过多家银行项目实施,已经和国内70多个软硬件厂商完成了200余项兼容适配认证。数据库监控管理工具:DB Manager统一监控图形化界面,易于操作,全指标、多种维度监控;问题排查和诊断、性能分析;支持第三方监控平台接入。统一运维智能化:自动健康检查、故障检测、主动修复,触发告警;可视化:基于Web的可视化界面操作;易用性:一键安装升级,简化运维。完善的管理工具DBDesigner工具:服务器连接管理SQL 编辑器模式浏览器管理表管理视图管理索引管理完善的管理工具数据库SQL GUI工具:DB DesignerDBMigration迁移工具支持Windows、linux操作系统;无需安装,直接
15、打开使用,简单配置;支持迁移Oracle、MySQL、PostgreSQL、SQL Server等数据源;快速迁移表、视图、序列、主键、外键、索引、约束;支持迁移结果核对。完善的管理工具数据集成迁移工具:DB Migration某城商行全栈核心系统项目核心备系统核心主系统系统切换实时数据同步查询系统数据同步云管理平台建设统一运维平台历史数据查询支付清算柜面系统专用前置系统专用后置经营环境的变化业务量快速增长业务复杂度提升响应信创号召分布式数据库技术日趋成熟上下游厂商生态兼容适配沙箱系统充分验证项目必要性项目建设范围项目可行性全栈核心系统实施步骤系统调研与评估适配及风险评估可行性沙箱验证生态仿真
16、实验优化系统设计与开发自测SIT/UAT测试数据迁移与专项测试割接演练及试运行投产与保驾护航2022年10月10日进入试运行阶段,业务成功率达到6个9,各项指标均满足预期,符合国家金融信息创新要求。全栈核心系统实战优化方法经过银行生产系统深度打磨,众厂商深度适配优化,最终形成一整套全栈方案兼容适配、问题处理及性能优化的方法论,有效防范全栈技术系统性风险。并可快速复制到其他金融信息系统创新类项目。通过故障树分析,使用可复现测试,缩小问题范围,结合系统审查,定位问题原因;精准分析经过16项深度测试优化。仿真,准生产,sit,sit长周期,专项,非功能测试,uat,uat长周期、数据业务检核、自动化
17、测试,混沌测试,性能调优等。仿真测试全面观测通过全方位的关键指标观测,针对设备指标值异常情况,全面筛查、定位解决;垂直打通通过从下到上,硬件,操作系统、数据库,针对各层技术架构与特性深度集成;安全控制通过专业的安全扫描系统全面扫描,并提供解决建议,进行代码优化,屏蔽风险。解决服务器故障与操作系统“假死”问题;修改端口聚合方式,解决负载均衡流量异常;优化bios硬件配置、网络配置、I/O调度方式、Snappy包优化、数据库分区、应用的绑核策略;使用网络安全控制策略、修改数据库、核心应用代码,修复全部风险漏洞。全栈适配垂直打通关键优化路径 微服务绑核核心应用 NUMA架构绑核 分片策略调整 Ran
18、ge分裂策略数据库 进程调度调整操作系统 CPU:寄存器读写接口优化,增加prefetch_tuning模块 I/O优化:更新ARM架构优化的snappy包,修改调度方式 BIOS:电源策略PowerPolicy调整、关闭CPU预取和虚拟地址转换硬件服务器 垃圾回收优化 HINT优化 统计信息优化 MyBatis框架优化 JDBC驱动调整 索引优化,最左原则,表达式索引 二级索引 分布式事务优化 Mdadm阵列卡服务 数据库运行环境参数调整 内存:禁用hugepage、关闭swap内存 网卡:网卡队列调整,网卡中断绑核优化实践1:NUMA架构多实例部署node1QianBase xTPnode
19、2QianBase xTPnode3QianBase xTPnode4QianBase xTPnode5QianBase xTPnode6QianBase xTPnode7QianBase xTPnode8QianBase xTPnode1QianBase xTPnode2QianBase xTPnode3QianBase xTPnode4QianBase xTP飞腾S2500:16个NUMA 每个NUMA 8Core,共计128Core;每个NUMA挂载本地内存32GB,共计512GB;鲲鹏920:4个NUMA 每个NUMA 32Core,共计128Core 每个NUMA挂载本地内存128G
20、B,共计512GBQianBase xTP 针对多NUMA架构服务器,支持多实例部署,充分利用系统资源,发挥多核算力优势的同时,减少跨内存访问的性能和稳定性问题。流水表主键单调递增,导致Last Range热点,无法充分利用多节点并发能力,Hash分区打散数据写入,充分利用分布式计算能力,性能提升5倍。优化实践2:Hash分片解决写热点问题range分片 1【1-3】Range 分片range分片2【4-6】range分片3【7-12】1SDAS2ASDS3AASTableId(pk)Nameadd4SDAS5ASDS6AAS7SDAS8ASDS9AAS Range 分片:数据按主键进行顺序存
21、储,每个range里的数据是连续的、靠近的;当写入递增主键时,所有负载都落在了最后一个range上,导致性能瓶颈。range分片 1【mod(hash)=0】Hash 分片range分片2【mod(hash)=1】range分片3【mod(hash)=2】1SDAS4ASDS7AASTableId(pk)Nameadd2SDAS5ASDS8AAS3SDAS6ASDS9AAS Hash 分片:预设hash bucket数量,数据按主键计算hash取余,分布到对应的bucket中;有效消除“连续递增写”的热点瓶颈。10sdalks11sdalks12sdalks10sdalks11sdalks12
22、sdalks大于阈值上限的Range进行分裂小于阈值下限的Range进行合并QPS大于阈值的Range进行分裂根据QPS进行Range的重新分布优化实践3:Range Split优化策略Range分裂后统计信息并行采样,基于现场实际测试设置Range分裂及合并阈值,优化整体系统性能。基于Range Size的分裂与合并基于Range QPS的分裂和平衡node1node2node3node4range分片 1range分片 4range分片 3range分片 1range分片 2range分片 4range分片 1range分片 2range分片 3range分片 4range分片 2rang
23、e分片 3node1node2node3node4range分片 1range分片 4range分片 3range分片 1range分片 2range分片 4range分片 1range分片 2range分片 3range分片 4range分片 2range分片 3分布式数据库运维服务支撑服务器数量增加,如何高效运维?结合厂商提供工具和接口,引入统一运维管理工具,优化监控指标,主动监测故障,逐步实现自动化运维。分布式数据库备份策略如何设置?作为客户,我们如何快速掌握新产品?设置分布式数据库备份调度任务,以全栈核心为例,日间两次全备,15分钟一次增量备份,设置备份验证库进行验证。提供完善详尽的产
24、品文档,构建企业级运维服务生态,对项目指定用户开放相关support知识库。实战铸造品质-全栈国产化解决方案金融核心系统双链路全栈解决方案深度优化各个厂商历经8个月深度研发适配,数千项功能项迭代、性能优化,用真实业务数据验证、打磨。安全稳定经过长期仿真测试、高压力测试,系统稳定,数据安全保证一致性,容灾RPO=0,RTO30min。高效性能复杂混合交易数万TPS,数百万级QPS,能够支持大部分金融核心业务性能需求。开箱即用无需复杂的项目集成管理,兼容测试,开箱即用,仅需少量应用层个性化开发,减少项目实施周期。快速复制QianBase标准SQL语法,具备HTAP广泛业务场景支撑能力,快速实现金融行业全面国产化建设目标。易鲸捷数据库王燮元