1、1单元化架构助力银行数字化转型长亮科技平台技术部副总经理秦金卫(kimmking)2023-06-162Apache Dubbo/ShardingSphere PMC高可用可伸缩微服务架构合著作者 JVM 核心技术32讲技术专栏作者阿里云 MVP/腾讯云 TVP/TGO 会员个人介绍十多年金融系统架构和数字化转型经验3PART ONE为什么银行数字化转型需要单元化PART TWO单元化架构具体包括哪些技术要点PART THREE如何实现单元化架构快捷高效落地401为什么银行数字化转型需要单元化银行信息系统发展需要银行数字化转型的难点单元化架构带来的价值5为什么银行信息系统这么重要？金融是现代经

2、济体系的命脉。而银行是金融体系的核心，承载所有经济活动，关系国计民生。6银行信息系统发展阶段1970-2000电子化/联网化2000-2012信息化/移动化2013至今数字化/智能化关键词：大机、小机，电算化90年代开始全国电子联行；99-2000年人行天地联网，覆盖10000多网点，转账3163万笔，交易金额23万亿。关键词：核心，大集中，电子银行工行Nova/中行SBS/农行ABIS；工行 99-04年完成全国大集中；农行 02-06年完成全国大集中；现代化支付和网络渠道开始兴起。关键词：普惠金融，数字化转型支付体系和营销体系发展，电子渠道代替率高，业务创新快；分布式核心系统，主机下移；国

3、产化加速，开源自主可控。7银行数字化转型为什么这么复杂？业务从稳定-快速更新技术从保守-快速迭代数据从简单-飞速暴增研发从瀑布-逐渐敏捷More is different-8单元化架构中小银行(C+IOE)中小银行(Java+IOE)中小型银行(Java+去IOE)国有大行部分农信和股份行(COBOL、RPG等)基于中大机基于小机基于应用分布式单元化+云原生APP+DBDBDBDBDB应用集群应用集群分库分表中间件PPP单元1单元2单元n基于分库分表中间件应用集群分布式事务数据库(GTM)PPP基于分布式事务数据库大中型银行(Java+去IOE)APPAPPAPPAPPAPPAPPAPPAPP

4、APPAPPAPPAPPAPPAPPAPPAPPAPPAPPAPPAPPAPPAPPAPPAPPAPPAPPAPPAPPAPPAPPAPPAPPAPPAPPAPPAPPAPPAPPAPPAPPAPPAPPAPPAPPAPP银行核心分布式技术发展9所谓单元，是指一个能完成所有业务操作的自包含集合，在这个集合中包含了所有业务所需的所有服务，以及分配给这个单元的数据。单元化架构就是把单元作为系统部署的基本单位，在全站所有机房中部署数个单元，每个机房里的单元数目不定，任意一个单元都部署了系统所需的所有的应用，数据则是全量数据按照某种维度划分后的一部分。-引用自金融级分布式架构素描单元化何为“单元化架构

5、”10大规模交易系统通过单元化分布式架构主要解决了以下关键问题：容灾问题单元级容灾库级容灾应用级容灾容量和扩展性问题海量数据和交易单元可横向扩展高可用问题单元级故障隔离 单元级灰度发布应用级灰度发布架构治理问题标准单元部署模型规范IT治理细粒度数据分片数据迁移便捷风险效率问题单元粒度隔离风险可控技术有更多选择单元三层含义：容灾单元容量单元治理单元单元化架构解决什么问题？11单元化架构带来的优势容量上限：提升整个系统的容量上限，以应对日益增长的客户规模。性能提升：全链路降低交易的延时，提升系统性能和用户体验。容灾粒度：提高容灾能力，机房级容灾，单元级容灾，减小容灾粒度。故障隔离：系统级/机房级/

6、单元级隔离，单元自治，减小故障影响面。异地多活：地域级容灾；降低硬件资源成本；规避单机房资源瓶颈。可伸缩性：避免数据库连接数瓶颈制约水平扩展；支持单元水平扩容。灰度发布：支持全链路灰度发布，随时快速便捷发布新的功能版本。信创改造：使用特定单元进行创新研究，提供了极大的便利性。建设难度：缩小应用系统到合适的尺度规模，降低了系统建设难度。1202单元化架构具体包括哪些技术要点单元化整体架构模式维度划分与数据分片单元化交易如何路由数据查询与事务处理13 按业务维度切分数据，采用单元化架构，每个单元有自己的应用和数据；按业务维度切分数据，数据库中间件作为代理，隔离应用和数据库，屏蔽底层数据库细节，简化

7、应用架构；数据切分以及分布式事务由数据库统一管理，理论上对应用透明；分布式定位服务分布式事务框架DB1（01）DB1（02）单元1API 网关单元路由DB2（01）DB2（02）单元2DB3（01）DB3（02）单元3DB4（01）DB4（02）单元4API 网关分布式事务框架Proxy层数据库管理服务分片1-DBDB1（01）DB1（02）分片2-DBDB2（01）DB2（02）分片3-DBDB3（01）DB3（02）分片4-DBDB4（01）DB4（02）API 网关GTM(全局事务)Proxy层数据库管理服务分片1-DBDB1（01）DB1（02）分片2-DBDB2（01）DB2（02）

8、分片3-DBDB3（01）DB3（02）分片4-DBDB4（01）DB4（02）单元化架构方案数据库中间件方案分布式事务数据库方案大中型银行数字化转型的三种主流分布式扩展架构目前这三种模式也在逐步融合，出现单元化+数据库中间件，单元化+分布式数据库的方案14单元维度如何划分1、基本参考原则：参考经典的单元化GCR三Zone模型，按数据特点拆分。2、服务范围原则：针对不同的提供服务方，或者可访问的范围进行拆分。3、部署模式原则：针对于不同组件的部署方式，不同的高可用灾备要求，划分到不同的单元类型。4、数据归属原则：各个单元类型的数据，落地到本单元的数据库。跨单元间的处理都通过远程通信，在这个要求

9、下对不同归属的数据进行划分。典型情况就是划分为右侧示例的4大类单元。业务单元1业务单元2全局单元本地单元业务单元N通用单元15业务数据如何拆分使用组织机构分片，还是客户号分片？一般使用客户号分片。如果使用分布式数据库，则使用数据库的内置拆分。拆分为多少个数据表分片合适？一般拆分为1000或1024分片。通过拆分平衡每个单元的数据量，控制每个单元、分库、分表的数据量，以及应用侧和数据库的连接数。具体拆分为多少个业务单元？一般常见拆分5、10或16个单元。通过调整单元数和单元内的分库数，实现连接数资源，资源利用率等的合理搭配。分片规则分片规模单元数量16交易请求如何路由客户端SDK服务自动转发请求

10、应用或网关集成企业级组件服务单元与分片寻址贯标通信上下文单元定位交易路由提供从客户号或客户要素，查询客户数据存储的单元和分片的能力。微服务调用时首个服务或网关处获取。数据通过多副本就近访问。根据请求报文中的客户号或客户要素，将当前交易请求转发到对应的单元去处理。一般情况可能会转发到对应的网关，再由网关调用注册中心获取服务。17跨库查询如何处理实时查询T+1查询 通过分库分表框架或中间件聚合 通过多写聚合库实现聚合查询 通过数据库流复制实现聚合 新旧切换过程中读取旧库 通过批量处理时将数据库表进行下数，生成数据文件后聚合到下游 对于历史查询涉及的实时交易和历史交易，将实时和历史数据合并实现全量的

11、准实时数据18跨库事务如何处理4.AT模式3.TCC模式1.XA模式5.消息事务模式2.SAGA模式尽量减少跨单元/跨库的业务交易操作。考虑在保障一致性的前提下交易性能。分布式事务需与微服务、开发框架结合。目前主要实践以SAGA模式为主，在热点账户等场景也会考虑TCC模式。SAGATCC1903如何实现单元化架构快捷高效落地单元化架构落地效果单元化改造点与步骤单元化架构案例分享20同城-IDC2业务单元1公共单元DB-PDB-1弱从DB-2弱从DB-PDB-1强从DB-2强从ProxyP1P2P3P4APPAPP1-2APP2-2APP3-1APP4-1APP3-2APP4-2APP1-1AP

12、P2-2业务单元2DB-PDB-3主DB-4主DB-PDB-3强从DB-4强从ProxyP5P6P7P8APPAPP5-2APP6-2APP7-1APP8-1APP7-2APP8-2APP5-1APP6-1全局单元DB-PDB1弱从DB2强从DB-PDB1强从DB2弱从ProxyGP1GP2APPAPP-B-1APP-B-2APP-A-1APP-A-2APPAPP-B-1APP-B-2APP-A-1APP-A-2ProxyCP1DB-PDB主DB-PDB强从异地-IDC3业务单元1公共单元DB-PDB-1备DB-2备ProxyP1P2P3P4APPAPP3-1APP4-1APP1-1APP2-

13、2业务单元2DB-PDB-3备DB-3备ProxyP5P6P7P8APPAPP7-1APP8-1APP5-1APP6-1全局单元DB-PDB1备 DB2备ProxyGP1GP2APPAPP-B-1APP-A-1APPAPP-BAPP-AProxyCPDB-PDB备同城-IDC1业务单元1公共单元DB-PDB-1强从DB-2强从DB-PDB-1主DB-2主ProxyP1P2P3P4APPAPP1-2APP2-2APP3-1APP4-1APP3-2APP4-2APP1-1APP2-2业务单元2DB-PDB-3强从DB-4强从DB-PDB-3弱从DB-4弱从ProxyP5P6P7P8APPAPP5-

14、2APP6-2APP7-1APP8-1APP7-2APP8-2APP5-1APP6-1全局单元DB-PDB1主DB2强从DB-PDB1强从DB2主ProxyGP1GP2APPAPP-B-1APP-B-2APP-A-1APP-A-2APPAPP-B-1APP-B-2APP-A-1APP-A-2ProxyCP1DB-PDB主DB-PDB强从单元化架构落地是什么样子的？21单元化改造点1.业务系统改造2.基础组件SDK改造3.全局路由组件4.开发平台改造5.批量开发框架改造6.分布式事务组件7.单元化相关规范贯标开发态运行态维护态1.微服务框架改造2.API网关改造3.交易转发组件4.交易引擎改造5

15、.批量调度处理改造6.服务治理改造7.数据迁移/数据聚合1.运维平台改造2.监控系统改造3.告警系统改造4.全链路监控系统5.全链路灰度发布6.多活容灾切换22单元化落地步骤单元规划技术选型组件改造数据迁移逐步上线规划单元范围，估算数据容量，确定单元划分，设计分片规则，评估分片数量，制定路由方案。明确微服务框架，明确数据库方案，明确分布式事务，明确分布式组件，明确高可用部署，明确两地三中心。改造微服务框架，改造分布式组件，改造技术平台，改造API网关，改造交易引擎，改造批量引擎。梳理迁移范围，制定迁移方案，细化迁移步骤，演练迁移实施，验证迁移数据，完成迁移目标。先行技术上线，业务试点运行，双线

16、并行验证，逐步迁移核心，外围配套改造，全面实现升级。23单元化架构案例-银行Y新一代核心系统Y行新一代个人业务核心系统采用单元化部署架构，采用开源+增强的自主可控研发模式，形成核心系统的快速弹性扩展支持能力。采用16单元64库1024表拆分方式，两地三中心部署。系统可用性超过99.99%，设计容量10亿客户，支持超过5万TPS的交易峰值。24单元化架构案例-银行Z新核心技术中台Z行为实现软件国产化，以及完成主机核心系统下迁，建设了一套微服务+单元化技术中台用于承载原主机核心处理能力，实现一整套单元化架构。采用10单元+百库千表拆分方式，四地八中心部署。设计容量支持15亿用户，10万以上交易TPS。25单元化架构总结单元化架构在当前的银行数字化转型中如火如荼，也带来了非常多意想不到的化学变化。基于单元化，我们已经在当前的主流分布式架构在通过大量实践解决了一系列技术和工程问题。同时，还有更多可以深入探讨和持续研究的领域课题，等待着大家的挖掘，形成下一代的单元化架构。单元化+微服务单元化+分布式数据库单元化+？单元化+技术平台单元化+DevOps单元化+云原生26谢 谢 观 看thanks27