1、核心银行系统分布式转型夏龙飞中国工商银行软件开发中心云计算实验室转型，构建分布式技术体系夯实，打造银行系统技术架构底座赋能，助力智慧银行转型新形势要求银行信息系统向分布式架构转型一、国家对使用安全可靠技术提出了更高要求。在中美贸易摩擦、全球战略竞争可能加剧的背景下，加快在金融业推广应用安全可控产品，促进信息产业核心技术突破发展，维护金融安全是明确的政策要求。二、银行业务线上化及多样化的新形势下，要求银行信息系统具备更高的性能容量水平。随着银行业务互联网化，线上业务不断出现秒杀、抢购等互联网业务高峰，传统集中式架构缺乏快速有效的横向扩容能力，不能满足大型银行快速发展的业务需求三、金融服务场景化、

2、生态化要求银行使用主流、开放技术来增强合作。在主流技术路线向分布式架构转型的背景下，商业银行需要采用开放、合作、共享的理念和态度来参与生态建设。四、商业银行经营竞争及互联网企业的跨界渗透要求商业银行必须快速灵活创新。商业银行需要在产品的推出效率、客户体验、精准营销、业务场景方面随需应变，传统单体应用无法满足灵活创新的业务需求。基于开放平台技术建设企业级分布式技术体系，推动IT架构从单体集中式架构向分布式服务化架构转型。建立分布式开放平台基于分布式技术体系，建设开放平台核心银行系统，为主机应用下移开放平台提供可复制的解决方案。支撑开放平台核心银行系统建设实现灵活弹性扩展的能力，满足对大容量、高并

3、发和突发峰值场景的需求，实现超越主机的性能容量和高可用水平。实现高容量、弹性扩展的能力实现应用系统分层解耦，通过组件化研发，快速组合服务实现灵活创新。实现灵活可复用的IT架构建设企业级分布式技术体系目标-建设企业级分布式技术体系2017分布式技术体系初步形成开展调研选型，研究主机业务下移后开放平台架构选型方案。完成软负载、分布式数据库、事务、批量及消息上线；基于分布式技术体系，完成个人结算账户平台、纪念币预约落地。完成线下店商圈、e生活秒杀、电子银行等互联网场景大规模落地。构建开放平台核心银行系统，实施主机业务全面下移，完成快捷支付、积存金、账户外汇等重点产品下移主机。同业首家基于业界主流微服

4、务框架，建设分布式服务框架并完成试点；分布式缓存上线及使用。分布式架构技术预研2014构建开放平台核心银行系统2019分布式技术体系全面推广2018分布式服务及缓存试点2015工行分布式技术体系建设历程体系完备自主可控性能强大规模应用 服务、事务、消息、存储等9大技术平台，技术体系完备 访问请求接入、服务集成、数据处理完整闭环，功能体系完备 参考业界主流开源软件，结合行内应用特点，通过大规模的平台自研及深度定制开发，实现性能、特性方面的全面提升。经过大规模生产考验，在150个以上应用落地 日均服务调用量近140亿笔 缓存日均访问量200亿+笔 消息发送峰值150万笔/秒 n 同业首家建成自主可

5、控、体系完备的金融企业级分布式技术体系l 已达到主流互联网企业的分布式技术能力水平l 同业最完善的分布式解决方案，形成面向应用实施分布式转型的研发、运行、运维等全方位能力l 同业最广泛的应用落地实践：250+应用服务化，2万+服务，3万+设备，近140亿日均服务调用量；在业务承载能力上，可支撑十万+服务，日均千亿级服务调用。l 已形成分布式服务共享体系，覆盖个人、对公、资管、互联网等领域服务复用。分布式技术体系特征 9：九大运行支撑平台，面向生产运行环节，建设了分布式服务、软负载、事务、消息、批量、缓存、数据库、对象存储、文件存储等九大运行支撑平台，实现公共技术能力的集约建设与运营；2：研发支

6、持平台+运维支持平台，提供高效运维支持平台，为开发人员提供一站式解决方案；1：云平台基础支撑，提供计算、存储、网络等基础设施资源云化供应，实现万级集群支撑、秒级弹性伸缩能力。1、分布式系统运行支撑平台3、基础支撑弹性计算能力(IaaS/PaaS)接入处理服务集成数据处理容灾能力(两地三中心)2、研发支持平台资产共享2、分布式运维支持平台研发协同持续集成测试支持部署配置全息监控日志分析流量调度分布式服务分布式事务软负载均衡分布式数据库分布式缓存分布式消息分布式批量分布式对象存储分布式文件存储开发支持工行分布式技术体系：“9+2+1”技术特性深度定制、自主研发，实现同业最高自主可控水平基于Dubb

7、o、Kafka等39项业界主流开源技术，结合工行特色需求，通过深度定制+大规模自主研发，实现在性能、功能、稳定性方面的全面提升，其中分布式服务平台较社区方案提升10倍以上性能容量，达到业内领先水平。大容量、易扩展，超越主机性能上限在应用层通过服务节点的云化快速弹性扩容，应对交易量爆发式增长；通过数据库分库分表对应用透明，具备海量数据的处理能力。整体具备远超主机性能容量的集群处理能力。体系完备、行业领先，实现最佳整体性能针对银行业务系统，工行面向生产运行建设的九大技术平台完整覆盖了分布式技术的主要领域，通过有机协同、相互补充可发挥出分布式技术的最佳性能。高可用、自恢复，达到99.999%高可用水

8、平通过综合使用采用三园区三活部署、无状态、可用性监控和一键切换机制等多种灾备高可用技术，工行分布式技术平台及相关应用已达到99.999%的高可用水平，可实现秒级自愈。组件化研发、松耦合架构，大幅提升研发效率依托服务化、松耦合的分布式技术支撑，实施应用分层解耦设计，通过组件化研发承接业务架构建模，提炼形成2万个标准服务，113个业务组件，年服务复用逾18万次，平均节省13%的研发成本，极大提升了研发效率。可视化运维实现分布式服务精准治理通过深度定制ElasticSearch，将日志分析能力提升至每日数百TB；采用孤立森林、逻辑回归等算法实现交易级异常点检测及波动报警；还通过结合字节码增强、Dru

9、id和Zipkin等技术创新实践，实现日均千亿指标的实时聚合及百亿链路信息的实时分析能力，实现交易端到端闭环监控，故障秒级发现。140亿 日均服务调用量250+分布式架构转型应用数92%开放平台部署应用占比3万+生产接入服务器l 客户信息、会计核算、柜员管理等主机核心基础服务l 网联清算、积存金、账户外汇等重点产品峰值每秒10万笔服务数超2万个n 开放平台分布式技术在境内系统已实现大规模应用，基于开放平台分布式架构已能实现核心业务完整闭环处理，大型商业银行的“平台版”核心银行系统已初具雏形。此外，工行基于开放平台分布式技术体系建立了境外核心银行系统，并已在印尼、莫斯科等境外机构的推广应用，实现

10、了“平台版”核心银行系统建设的初步目标。落地实践转型，构建分布式技术体系夯实，打造银行系统技术架构底座赋能，助力智慧银行转型n 分布式技术体系：“9+2+1”9：九大运行支撑平台 2：研发支持平台+运维支持平台 1：云平台基础支撑1、分布式系统运行支撑平台3、基础支撑弹性计算能力(IaaS/PaaS)接入处理服务集成数据处理容灾能力(两地三中心)2、研发支持平台资产共享2、分布式运维支持平台研发协同持续集成测试支持部署配置全息监控日志分析流量调度分布式服务分布式事务软负载均衡分布式数据库分布式缓存分布式消息分布式批量分布式对象存储分布式文件存储开发支持分布式技术体系概览九大运行支撑平台软负载均

11、衡n 产品介绍：工行软负载均衡由四层负载节点（LVS/DP）和七层负载节点（Haproxy/Nginx）、管控平台几个部分组成，具备高可用、可扩展、动态配置等特性。n 技术特点：l丰富的负载均衡能力：支持四层、七层负载均衡，支持多种均衡算法、均衡策略和会话保持策略；l灵活的节点部署能力：通过与IAAS云平台联动，实现软节点应用节点自动化管理，分钟级实现环境搭建；l完善的故障隔离能力：支持后端应用节点基于连接、基于内容的健康检查，自动隔离检查失败的节点；l丰富的定制扩展功能：实现PAAS云容器动态自发现、云容器动态自发现、SSL证书卸载、灰度流量调度、证书卸载、灰度流量调度、HTTPDNS等功能

12、。应用集群软负载均衡SLB管控平台管理请求系统管理七层软负载管控台Agent监控模块安装部署性能容量配置中心业务请求四层软负载电子银行电子商城快捷支付卡支付13软负载均衡-解决方案n 为了解决开源软件管理能力缺失的问题，工行自研实现了软负载管控平台，实现节点信息配置、健康检查上送、远程命令下发、自助化配置等功能。通过管控平台，实现软负载产品实现规模化部署和管理，形成了企业级的负载均衡能力。软负载均衡-解决方案（续）n 软负载均衡可以用于支持分布式应用高可用架构，支持互联网高并发场景，支持业务级灵活负载调度，支持PAAS云容器动态联动流量调度。n 工行软负载均衡广泛使用，支持银行核心互联网应用系

13、统，如电子银行、电子商城、快捷支付、卡组织支付等，提供银行应用提供负载均衡支撑。日均处理请求60亿，经历了多次“纪念币预约“双十一快捷支付“的生产高并发考验，满足了”双十一“每秒2万笔处理需求。软负载均衡-使用场景访问库存或会话更新网点库存加载网点库存同步到核心库CDNCDN软硬负载业务群组PaaSSET1主备节点库主备核心库软硬负载业务群组PaaSSET4主备节点库分布式缓存外高桥嘉定安全控制安全控制九大运行支撑平台分布式服务n 工行技术路线：工行分布式服务采用高性能RPC调用模式，为应用提供了高性能、灵活、可扩展、高可用的运行方式，为业务研发提供了高效、标准化、可复用的开发模式。l 架构兼

14、容：自研服务网关协议转换，提供传统应用与分布式服务应用之间的互联互通；l 高性能：毫秒级的RPC调用网络延时，单节点超1万TPS的处理能力；l 大规模：具备日均千亿级的服务调用能力，统计监控数据实现秒级汇总；l 高可用：运行节点与注册中心、监控中心解耦，服务节点故障与注册中心、消费方自动重连。分布式服务-解决方案首创多点多活架构深度定制dubbo，实现多注册中心订阅，支持跨园区部署，具备就近接入、无损接管的多活能力。开源版本已规划参考我行实践建设多地多活的通用能力。业界领先的注册中心减少97%的网络流量，优化核心选举算法，自研注册熔断机制，首创多中心异构架构，提高系统整体性能及可用性。超高性能

15、的RPC框架提供单节点万级TPS、毫秒内延迟处理能力，可横向扩展，实际支撑日均数十亿次服务调用。深度定制内存模型，内存减少35%以上。支持分片路由、全链路灰度、多协议接入、二次扩展业务路由、同端口双协议等13项金融级新特性。突破性的服务网关实现对应用透明的高性能服务网关，自动生成并热加载服务存根，实现标准协议的透明转换。填补开源版本服务网关的空白，为开源社区建设DubboProxy提供了思路、原型及方案。分布式服务-技术特征n 双园区同时工作：多集群数据一致、多点接入n 开源增强：智能会话、观察者模式n 异构部署：双技术栈保护分布式服务-企业级注册中心acbdabcdacbd消费者节点调用代理

16、缓存acbd嘉定acbd外高桥外高桥注册中心嘉定注册中心订阅订阅注册自定义路由负载均衡调用代理bdd主备1234n 分布式平台账户体系。基于分布式技术平台打造开放、融合的账户金融生态体系，实现“开在合作方的工行线上网点”，达到获客、活客目标。l 建设分布式平台账户体系，实现全行借记卡快捷支付、个人借记卡管理类、合作方电子账户类等高频交易下主机，承载2.4亿个人借记卡数据，日均1.1亿快捷支付交易，超过全行总交易量的五分之一，全链路交易平均响应时间300毫秒以内。l 为合作方提供统一的金融解决方案：“工银e钱包”以电子账户为载体，贯穿账户管理、支付结算、投资理财、融资信贷，为合作方提供一体化金融

17、服务输出能力。l 为客户提供开放的全新服务模式：实现与政府民生、互联网、薪酬管理、类保证金等合作领域的深度融合。主机产品平台产品平台账户主机账户介质协议第三方快捷支付收单收单余额更新业务迁移协议账户账户介质余额余额理财存款贵金属服务化改造客户视角个人结算账户产品视角账户视角主机账户平台账户分布式服务-典型案例九大运行支撑平台分布式事务2.122n 事务一致性是分布式架构转型的核心难题，我行采用完全自研的方式，在应用侧形成了成熟的分布式事务解决方案，广泛用于账户、客户、介质等场景，支撑日均百亿次跨库事务的一致性处理，为应用服务化改造及主机下平台过程中的跨服务、跨应用交易的事务最终一致性提供保障。

18、提供SAGA、TCC、可靠消息等事务解决方案，具备多级事务失败处理机制。应用1应用2应用3应用4业务应用（参与者）业务应用（参与者）1N业务应用(发起方)分布式事务事务客户端事务接收器事务Shard事务控制器事务扫描器MySQL事务管理链路回溯事务查询人工补账持久化事务记录事务补偿查询、管理支持SAGA、TCC、可靠消息等模型，全面覆盖金融级一致性场景。接入成本低，增加代码注解即可使用事务微服务。提供多租户、线性扩容、故障自隔离、灰度升级等高可用能力，日均处理上亿笔分布式事务。事务具备多级失败接管机制，确保事务100%最终一致。u 同业领先的事务一致性解决方案分布式事务-解决方案n 基于服务自

19、定义路由及动态配置热更新能力，完成租户隔离、动态水平伸缩、园区异常切换等核心企业级能力落地，全面提升服务端运行的稳定性。l隔离性：通过租户区分不同接入应用，并单独分配存储资源，隔离应用间影响。l扩展性：服务无状态部署，支持水平伸缩，实时切换流量到新增扩容分片。l高可用：三园区多点接入，对于园区级异常，通过配置中心设置可实时切换园区。分布式事务-解决方案（续）分布式事务-典型案例n 典型案例：主机核心通用转账业务分布式改造，通过分布式事务平台提供的一致性协调能力，保障各类账户一借一贷到多借多贷的交易事务最终一致性。贷方渠道接入柜面电子银行API网上银行个人账户通用转账服务对公账户信用卡内部户.借

20、方个人账户对公账户信用卡内部户.分布式事务最终一致性协调九大运行支撑平台分布式消息n 工行技术路线：基于业界主流消息引擎Kafka建设企业级消息服务平台，为分布式系统内部以及系统间异步解耦、消息通知、流量削峰、数据共享等场景提供解决方案。n 消息服务平台提供节点安装部署、监控告警、水平扩缩容等完善的自动化运维能力。消息引擎 Kafka，包含服务端Broker、客户端SDK。运行支撑组件Zookeeper：分布式协调器，负责Kafka消息集群元数据管理。Monitor：监控组件，负责节点状态、性能数据监控。MirrorMaker：负责异地园区消息集群数据复制。HTTP REST Proxy：HT

21、TP代理组件，负责将客户端HTTP收发请求转发至Kafka。Stream Plugin：负责消息过滤/聚合等处理。运维组件 性能数据处理：性能数据分析，报表输出。管理控制台：运维操作、集群状态展示。分布式消息-解决方案n 提供跨AB园区、C园区两套Kafka集群，实现三园区三活架构，为业务系统跨多园区之间数据共享提供支撑。n Kafka集群，跨AB集群、C园区独立集群，Topic分区多副本，A、B园区间数据延迟10ms。分布式消息-典型案例九大运行支撑平台分布式数据库n 开源分布式数据访问层+MySQL+自研运维管理平台l 分布式数据访问层：采用开源产品DBLE；l MySQL数据库集群：一主

22、多备架构，保障数据一致性；大规模实施云化部署，一键式快速供给；l 自研运维管理平台：DBLE本身没有配置运维管理功能，通过自研运维管理平台，并对DBLE进行扩展，联动实现安装配置、监控告警、性能容量、健康检查、高可用、节点扩展、数据备份/灾备、安全审计等全生命周期的管理，提升我行运维自动化水平；分布式数据库MySQL管理平台数据操作状态上报动态管理状态上报动态管理数据库管理系统管理节点Agent节点Agent服务端口管理端口配置中心高可用管理模块性能容量监控模块安装部署备份恢复交易请求交易请求交易请求分布式数据访问层负载均衡MySQL集群分布式数据库l 多站点数据存储，保证数据强一致性，实现同

23、城双活RPO=0。l 本地故障秒级恢复，无需人工干预，业务系统无感知，园区级故障分钟级同城切换。高度自主可控能力l 基于开源分布式数据访问层和开源MySQL数据库，构建分布式数据库解决方案。l 自研运维管理平台，实现大规模节点集群化、自动化、标准化管理。广泛运用于各业务场景l 应用于多个重点业务场景。l 支撑双十一、春节业务高峰万级TPS。领先的数据云化服务l 在同业率先实现MySQL数据库大规模云化服务，数据库节点数量达到数千个。l 一键式快速供给，一体化运维管理。秒级恢复、分钟级切换01020304分布式数据库-技术特性n 实施效果：总记录数超过160亿，日均交易量超过2亿，最高并发数76

24、00TPS，平均交易耗时小于30ms，支撑应用范围同业最广、日均访问数量同业最高。渠道类应用分布式服务网关SET1B服务分布式事务渠道类应用分布式服务网关A园区B园区数据访问集群A服务 公共服务数据库集群1 （128片）数据库集群2 （8片）SET2B服务分布式事务数据访问集群A服务 公共服务数据库集群1 （128片）对数据库集群2 （8片）数据库集群1 （128片）数据库集群2 （8片）C园区RPC调用数据库处理数据访问群组异常处理数据库主库数据库备库数据库同步31分布式数据库-典型案例（全行性业务）九大运行支撑平台分布式缓存2.1n 分布式缓存通过自研高性能、高可用、可扩展的分布式缓存服务

25、，提供高性能的主备模式，RPO=0的异地多活模式，主要技术能力如下：低延时高吞吐：主备模式站点内单笔请求可保证在1.5ms以内处理完成，同城跨站点在2ms以内完成。高可用：通过异地三活，同城双活等实现高可用；通过自动预警及实时切换等机制避免缓存服务中断；数据一致性保障：支持同城同步更新和异步更新两种机制；动态扩容：通过准实时监控，支持缓存节点动态扩缩容，应对复杂的缓存负载场景；33分布式缓存管理平台配置中心高可用管理模块性能容量监控模块安装部署备份恢复状态上报动态管理快捷支付电子银行纪念币嘉定负载均衡节点Agent代理节点（Proxy）存储(Redis)集群数据请求转发节点Agent外高桥负载

26、均衡节点Agent代理节点（Proxy）存储(Redis)集群数据请求转发节点Agent西三旗负载均衡节点Agent代理节点（Proxy）存储(Redis)集群数据请求转发节点Agent同步节点同步节点同步节点同步同步同步分布式缓存将高速内存作为数据对象的存储介质理想情况下可以获得DRAM 级的读写性能准实时监控，动态扩缩容，应对多变的负载场景可最大限度地提高资源利用率通过异地三活，同城双活等机制实现高可用通过自动预警及实时切换等机制避免缓存服务中断API 接口简单易用、且与拓扑结构无关提供友好的图形化管控平台实现一体化运维分布式缓存-技术特性n 平台个人结算账户通过分布式缓存集群，完成数据的

27、核对工作n 平台个人结算账户在A园区首先将数据写入B站点分布缓存集群，然后将数据写入本站点Mysql，本站点Mysql会通过主备复制同步数据至B站点的备节点，B站点对Mysql的备节点与分布式缓存进行数据核对。n 通过lpush,rpop实现。提升服务性能，降低数据库读写，连接数过多等压力分布式缓存-使用场景n 电子银行在分布式缓存中存放会话(session)信息A园区B园区redis-1(主)分布式会话集群Anos分布式会话集群Bnosredis-1(从)redis-2(从)redis-2(主)n 使用分布式缓存系统跨园区主从模式：实现A、B园区分布式会话双活部署，支持园区内会话信息共享，实

28、现应用服务器无会话状态。key:用户sessionID field：登录时间，IP等 value：登录时间值，IP值等解决应用上云去状态，缓存数据共享分布式缓存-使用场景九大运行支撑平台分布式批量、文件存储、对象存储n 定位：解决传统批量调度工具不能与分布式应用有效适配、存在单点故障、性能容量上限的问题。通过数据分片、作业编排、自动调度等功能提升批量并行处理能力，缩短运行时间；n 技术特点：l高可用：多活部署，执行器动态上下线、故障自动转移，保障批量作业高可用；l易扩展：灵活设置作业分片，动态调整执行器数量，保障运行效率，控制资源开销；l完善的运维能力：提供了可视化监控、依赖管理、预警管理、应

29、急处置等运维功能，提升批量运维管理效率；n 实施效果：已在平台个人结算账户、外汇买卖等50多个应用落地，日均调度超过20万次作业。.开发式基金外汇买卖实物黄金个人结算账户执行器-1.执行器-2执行器-n业务数据库分布式批量任务数据库调度控制器批量控制台批量协调平台&主机统一管理作业依赖调度作业容错处理文件拆分合并数据分片并行调度作业断点再续作业断点重做重复批量控制分布式批量n 定位：解决传统共享存储高可用能力低的问题，支撑我行开放平台业务系统文件共享存储需求，并打通云上云下应用的文件共享；n 技术特点：l高可用：无元数据服务器的分布式架构，支持跨园区多副本，自动障域隔离机制，保障存储数据的高可

30、用；l水平扩容：存储卷的海量横向扩容，具备横向扩容后自动数据均衡能力，提升业务连续性；l集中管理：图形化统一管理监控平台实现一体化运维及监控指标展示，提升整体运维效率；n 实施效果：已落地工行应用50余个，对外提供总计300多TB的共享文件存储。集群客户回馈全球单证客户信息企业财资管理平台存储管理员应用用户分布式文件存储门户管控节点操作系统NFS/mnt操作系统客户端/mnt挂载管理管控环境管理存储管理副本管理卷存储XFS存储XFS存储XFS卷存储XFS存储XFS存储XFS读写读写分布式文件存储n 定位：实现海量小文件快速读写，为行内的业务文档类、影像类、音视频类等非结构化数据提供高并发访问平

31、台；满足行内的业务影像类、与业务流程密切相关的音视频类，业务文档类的服务；n 技术特点：l大容量：通过分级存储架构，为业务系统提供海量非结构化数据存取；l易扩容：提供在线水平扩容，满足业务弹性存储需求；n 实施效果：已落地60多应用。解决以融e联、融e购等为代表的互联网应用的密集存储需求，支持1万TPS，数据存量已经达到2500多TB。分布式对象存储对象服务 接口 信贷综合档案远程授权个人网银企业网银融E购.存储服务代理服务器chunkServerchunkServer块存储服务调用HTTPcoordinatorMETRICS序列服务注册中心服务调用分布式对象存储研发支持平台+运维支持平台运维

32、支持平台n 定位：与分布式9大平台匹配，建成涵盖日志、指标、链路、诊断、治理等完备功能的运维系统；n 技术特点：l对应用透明：监控治理能力下层至基础设施，应用无改造成本，标准统一；l监控能力完备：对齐日志、指标、链路三大业界监控标准，可实时在线诊断，提供全面的监控诊断能力；l治理能力丰富：具备熔断/限流/降级、启用/禁用、灰度调整等治理能力，满足运维人员快速应急的需求；n 实施效果：全面覆盖已转型的150多个分布式应用，有序保证了快捷支付、ETC、电子银行等重点业务的连续性。应用实例基础镜像OSJVMagent治理中心监控诊断中心配置中心Kafka流式业务拓扑分析链路监控指标聚合高可用保障平台

33、报警聚合日志中心ElasticSearch智能运维监控网关诊断网关在线实时诊断熔断/限流/降级服务启用禁用灰度策略调整日志收集/存储/查询业务实时分析统计智能分析及运维细粒度指标聚合分析在线实时诊断全链路交易跟踪业务拓扑实时分析应用一站式监控故障报警聚合快捷支付信贷电子银行.ETC应用程序分布式运维支撑2.143n 全息监控平台面向应用提供一站式可视化监控分析能力，通过打造以交易链路观测为核心，整合提供链路、指标和日志等各专业系统集中展现的平台，实现端到端问题分析、故障逐级钻取、快速归因、实时告警、架构感知等能力，帮助应用快速直观掌握生产运行状况。DSFSQLHSMNOSCTPEBTSprin

34、gHTTPDSRMyBatis概览查询压缩报送规则设置测试团队监控运维底座业务拓扑一站式分析链路中心指标中心告警中心开发部门架构管理部资源对象使用部门限流熔断流量调度数据中心单元管控应急处置运维部门应用支持链路追踪外部事件源AMC对接外围基础EAM标签日志文件异常快照单元化监控架构感知故障诊断分析业务运维保障HMP场景化能力产品运营开发框架系统指标视图应用全局视图业务自定义视图交易指标视图系统指标采集交易指标采集调用链路采集应用层容器层物理节点元数据服务监控中间件专题批量监控事务监控事件告警指标告警ECC大屏展示掌上运维APPCMC配置DMQS消息跨单元流向图单元流量分布图在线实时诊断采样率设

35、置业务标签同步个金快捷支付信用卡信贷金融市场业务领域 。园区切换 全链路追踪 在线实时诊断 一体化监控 业务拓扑分析全息监控2.1n 提供应用对日志进行统一的采集、存储、检索、下载与监控能力，目前接入应用数已达407个，日均 60T。44 统一的采集客户端：提供统一的日志采集技术路线和部署，搜集应用、系统、设备日志，并通过加入采集特征信息对原始日志进行丰富。标准的投递缓存能力：基于针对持久化存储日志提供标准的日志投递、消费接口，实现海量日志的可靠缓存存储。分布式集群存储能力：基于Operator技术实现日志集群云上快速搭建和扩容，提供百万tps级分布式日志存储能力。全面的日志服务能力：基于用户

36、需求，提供按模板、容器、关键字等灵活的日志搜索和日志下载能力，实现基于日志指标的监控、报警、诊断分析功能，提高问题分析时效性。日志中心2.1n 自研企业级限流中心，解决分布式架构下治理能力分散、技术方案不统一、管控视图缺失的企业级需求。45接入应用限流中心（服务端）限流中心（客户端）统一管控视图业务处理CTP调用fallback配置中心应急调整实时下发通过阻拦EBT调用HTTP调用远端策略监听请求拦截数据采集DDS调用SQL调用本地策略加载NOS、HSM调用JAVA内存调用信息上送动态变量管理限流中心配置中心接入应用DSF调用限流中心分布式治理场景全覆盖：平台总结提炼并形成标准化的限流、熔断、

37、阻断治理能力，提供对异常流量稳定防护的同时，满足分布式领域的场景全覆盖，填补之前边缘场景治理能力的空白。生产快速止血能力：通过引入分布式配置中心，结合平台“服务端+客户端”的架构设计，运维人员可以对运行节点进行治理策略的秒级调整，实现对生产异常流量的快速闭环能力。监控治理一体化视图：为提升运维效率，打破与全息监控的壁垒屏障，形成监控治理一体化视图，真正做到“监控为治理提供依据，治理为监控展示成果”。推广成效：目前平台已在中心多个业务领域完成能力落地，核心场景守护效果明显。截至目前，平台已在生产运行6个月，接入应用59个，每日监控防护流量超20亿笔，有效帮助应用快速应对生产异常流量，提升全行业务

38、运行稳定性。2.12.18 运维支撑体系-混沌演练平台n 建设企业级的混沌工程演练平台，提供系统级异常进行验证的模拟和演练，促进基础架构提升，促进应用架构提升，保证基础设施平台稳定运行，进一步保证上层应用的稳定性。46 统一的任务编排能力：通过搭建混沌工程管理平台，实现混沌演练任务的可视化编排，任务状态监控，任务的统一管理，以及生成演练评估报告。分布式集群调度能力：基于DCAP和PaaS平台Ansible实现针对企业分布式集群下发混沌演练介质，并进行任务调度的能力，满足混沌演练需求。丰富的混沌演练场景：通过自研+开源产品的方式，实现针对操作系统CPU、内存、磁盘IO、网络等资源的故障演练能力，

39、同时支持针对Java程序以及Docker容器的故障演练，并根据演练经验形成专家库模型；推广效果：目前全行已超过250个应用接入混沌工程故障演练平台，共实施了一万余次故障演练，发现并解决了400多个应用深层次的高可用问题，有效避免了在生产环境触发这些问题。混沌演练平台2.12.19 运维支撑体系-流量录制回放平台47n 自研流量录制回放平台，实现对生产环境流量进行录制脱敏，并在测试环境重放交易进行程序逻辑验证，帮助应用解决常规测试时边界场景覆盖不全的问题，提前揭示系统升级的风险，提升系统健壮性。生产流量应用服务流量录制底座流量录制回放管理平台(F-TRRP)注册中心F5/SLB网关网关网关DMQ

40、S消息数据处理节点数据处理节点数据处理节点ES回放工厂DMQS消息回放节点回放节点回放节点非生产环境配置中心录制任务下发回放任务下发回放进度同步流量整形接入应用外部节点录放平台节点服务发现流量录制流量持久化流量回放ES回放节点回放节点回放节点应用1应用2生产环境流量镜像数据脱敏流量录制回放管理平台(F-TRRP)配置中心、zookeeper回放任务管理流量导出任务应用服务服务mock应用服务服务mockHTTPRPC文件导出FSS流量导出仿真场景流量录放平台独创交易特征识别技术企业级的全链路监控产品深度定制的企业级日志中心一站式的诊断分析平台独创交易特征识别技术，提供智能的业务维度的监控预警能

41、力。自研链路在线聚合计算技术，提供百万TPS性能的实时链路拓扑聚合，具备IT架构感知，故障逐级钻取，快速归因，快速识别影响范围能力。全链路端到端覆盖，支持每日数十亿次服务无死角监控，可快速适配企业内部技术架构，具备同业产品输出能力。通过深度定制ElasticSearch，将日志分析能力提升至每日数百TB；采用孤立森林、逻辑回归等算法对应用日志进行实时分析，实现交易级异常点检测及波动报警，大幅提升快捷支付等重点业务的可靠性。故障秒级发现，分钟级定位。提供各系统监控指标的集中展现。打造云上云下线上实时诊断平台，在不影响业务运行的情况下，提供从内存到代码行级的7项实时在线诊断和故障定位手段。2.调用

42、链反查疑似环节1.定位异常点3.关联日志、性能、诊断1.定位异常点运维技术特征49n支付交易TPS、支付交易成功率、交易响应时间、耗时过长交易、交易返回占比等多个交易指标的实时监控。n支持从具体模板和交易渠道维度精细化展现监控指标。n支持应用拓扑节点健康程度的实时检测并对接集中监控。运维典型案例-快捷双十一研发支持平台+运维支持平台研发支持平台n 定位：提供面向分布式技术的工具及平台，提升研发速度，促进各团队之间的研发协作，加快线上问题分析效率；n 技术特点：l快速开发：通过一站式Java开发环境，支持联机、批量各类应用开发；建设服务市场，推进应用服务组合创新；打造前后端协作平台，规范化前后端

43、协作机制；lDevOps：通过一站式研发协同平台，实现从需求受理到版本发布的一站式、可回溯、自动化处理能力，实现一键式DevOps快速开发及产品上线能力；l混沌工程：通过混沌演练平台提供了一站式故障编排、运行分析、评价打分等功能，提升云平台、各分布式平台和业务系统承受生产环境中各类异常故障的信心；开发支持开发框架自助分析平台文档中心软件仓库服务市场一站式协同平台环境供给自动化测试性能测试混沌工程构建部署前后端协作平台资产共享研发协同持续集成测试支持研发支撑平台云平台基础支撑 金融云n 随着分布式、服务化工作的深入，对传统运维模式带来了新的挑战l服务节点数量会呈现爆炸式增长；l服务动态横向扩展需

44、求：快速扩容能力不足，难以满足互联网业务高峰；l服务快速交付：传统的运维模式越来越难以为继，搭建周期长（新集群环境准备耗时两周以上）、成本高、扩展能力有限，不能支撑业务的灵活创新。分布式架构部署挑战n 分布式与容器的结合：l 通过建设金融云，提供分布式系统应用快速部署、快速启动、弹性伸缩等能力，支撑应用快速横向扩展、以及灵活创新。n 金融云：l 基础设施云IaaS：提供基础的虚拟机、物理机和卷的全流程自动供应。以开源OpenStack+自主研发云管平台，建设基础设施云IaaS。l 应用平台云PaaS：提供软件资源（环境、中间件和应用程序）弹性快速供给能力。采用Docker、Kubernetes

45、等开源技术，架构PaaS平台。通过自主研发结合本行技术特性，定制、扩展PaaS云平台能力，有力支撑银行技术架构发展。分布式与容器的结合n借助应用容器秒级启动、应用集群分钟级的弹性供给能力，提供业务快速弹性扩展，应对业务突发高峰场景n在定时弹性伸缩的基础上，针对典型应用提供基于业务监控的自动化弹性伸缩支持n支持按业务均值配置设备，改变了应用按业务峰值配置设备的现状，使设备大幅减配。n以纪念币为例，5分钟内完成300台容器节点准备及对外服务。55金融云-秒级弹性伸缩n基于云平台及分布式服务，提供快速弹性伸缩能力，可在分钟级完成容器弹性伸缩，支撑了工行快捷支付“双11”大促、春节红包、纪念币抢购、线

46、下店商圈秒杀等互联网高并发场景。n基于云平台及分布式服务，提升我行快捷支付弹性可扩展能力，支持20000笔/秒以上的支付能力，可在分钟级完成容器弹性伸缩，有效支撑业务突发高峰。n所有交易全部运行于工行PaaS容器云上，纪念币300个容器节点集群，5分钟内可提供服务。秒杀完毕后，服务器快速回收，有效提升资源使用率。应用100%容器化入云，支撑互联网业务高峰金融云-典型案例转型，构建分布式技术体系夯实，打造银行系统技术架构底座赋能，助力智慧银行转型n 基于分布式技术体系，我行初步构建起包括业务基础服务、核心账户体系、重点产品服务等体系较为完整的开放平台核心银行系统。业务基础服务提供企业级公共服务，

47、支撑业务交易在开放平台闭环处理；核心账户体系提供核心金融服务；基于业务基础服务和账户体系，实现重点产品下移主机，打造开放、融合的金融生态体系，有效支撑高频业务快速增长。l平台核心银行系统在可靠性、可用性、可维护性、可扩展性、可监测性、容灾恢复等方面已达到或超过主机水平；通过平台核心银行系统的建设，工行不再扩大主机规模，5年来累计节约资金近14亿元。n 基于开放平台构建的境外核心业务处理系统，是我行自主研发、功能完备、具备全球市场适应能力的核心银行系统，满足多国情、多币种、多语言的差异需求，更好支持各机构多样化、差异化的业务发展，适应不同国家地区的监管要求。l在中资银行中，率先使用自主研发的开放

48、平台境外核心业务系统，已在欧洲、亚太区域新设机构实际投产运营。开放平台核心银行系统业务基础服务 用户交互核心账户体系业务产品快捷支付分期付款贵金属积存金 账户外汇柜面融e行自助终端融e联API开放平台融e购资金账户（个人II/III类账户等）交易账户（贵金属份额账户等）权益账户（客户积分、电子券等）客户信息会计核算柜员管理机构管理身份认证工银e钱包用户APIATM借记卡构建开放平台核心银行系统，实现大型银行IT架构关键性突破分布式账务 亿级账户数，覆盖个人账户、权益类账户 6万TPS，响应时间50毫秒 金融级数据一致性和高可用保障，RPO=0，RTO秒级快捷支付高并发，高可靠“双十一”、“春节

49、红包”，交易率瞬时增长5倍，2万TPS，全链路交易响应时间70ms支付成功率100%纪念币预约高并发，高弹性前5分钟4000万枚预约成功，30分钟7000余万枚预约成功请求数超8500万，瞬时会话达140万分布式客户信息超大数据量高频访问6亿个人客户，千万级对公客户，日均2亿次数据维护查询金融级客户信息一致性保障会计核算平台超大数据批量核算10亿级账户规模，日均超3亿笔核算量30分钟内完成会计核算处理支撑构建开放平台核心银行系统2.160n 行业最大规模应用：实现“应转尽转”，运行平稳，经受了大规模生产环境的实战检验。n 全栈分布式解决方案：方案完整覆盖了分布式技术的主要领域，通过有机协同、相

50、互补充，发挥出分布式技术的最佳性能，为金融行业进行自主可控的分布式转型提供可借鉴的参考方案。140亿 日均服务调用量250+分布式架构转型应用数应转尽转网上银行、手机银行、纪念币预约等瞬时热点型应用资金收付、清结算、会计核算等强事务一致性应用客户信息、历史明细查询等大规模信息型应用 建党一百周年纪念币并发峰值22.31万笔/秒 双十一可有效支持5万笔/秒支付高峰分布式数据库节点1万+行业最大规模应用开放平台核心银行系统业务基础服务 用户交互核心账户体系业务产品快捷支付分期付款贵金属积存金 账户外汇柜面融e行自助终端融e联API开放平台融e购资金账户（个人II/III类账户等）交易账户（贵金属份

51、额账户等）权益账户（客户积分、电子券等）客户信息会计核算柜员管理机构管理身份认证工银e钱包用户APIATM借记卡全栈分布式解决方案超大规模的实践n 工行以完备的分布式技术体系为支撑，探索形成了大型商业银行开放平台核心系统的建设方案，并通过了大规模生产的实践检验，在体系规划、路线选择、定制开发、应用适配、转型过渡方面积累的技术方案和实践经验可以作为金融行业打造分布式技术能力，实现分布式转型的重要参考，后续可以通过产品输出、方案输出、服务输出多种形式加速金融同业转型过程。体系规划方案设计转型过渡金融同业核心系统分布式转型提供最佳实践与示范62业务隔离性数据处理流量调度业界多以服务框架中间件，或者通

52、过旁路代理，实现流量路由、故障隔离等能力，具备资源利用率高、易扩展、高可靠等特点。针对多地多中心场景，业界主流采用基础能力单元化适配来支撑应用完成部署改造，降低故障爆炸半径，提升切换灵活性，降低异地网络延时。业界在开源数据库方面，采用了主流的MYSQL8.0，同时面对错综复杂的上下游关系，具有较强的治理能力。平台高可用各互联网头部企业逐步探索并落地，单元化高可用架构，并建设高度智能化、自动化高可用处理能力，从而控制故障的爆炸半径，降低影响范围。技术趋势运维处置互联网头部企业均已建设了体系化的运维能力，具备成熟的业务监控运维模式，并形成了长效的攻防演练机制。研发支撑随微服务架构、云计算的成熟，低代码技术正在逐渐成为提升IT生产力的重要途径；代码智能补全、标准代码检索和插入，标准化代码质量，提升研发效能。未来规划THANKS!