《专场7.5-中国工商银行分布式缓存架构及实践经验分享-武文斌.pdf》由会员分享，可在线阅读，更多相关《专场7.5-中国工商银行分布式缓存架构及实践经验分享-武文斌.pdf（28页珍藏版）》请在三个皮匠报告上搜索。

1、分布式缓存架构及实践经验分享中国工商银行 分布式缓存团队技术负责人 武文斌平台能力介绍应用实践未来规划1234目 录CATALOG01分布式缓存建设背景和目标已使用缓存服务的应用，针对缓存服务，缺少统一的管控视图、监控系统和治理方案。使用缓存业务场景繁多，应用自行搭建缓存服务工作量大。缓存产品种类多，各应用选型不统一，需进行统一治理。Redis客户端种类繁多，应用使用方式各异，存在安全隐患。Redis服务端版本繁多，服务能力、产品缺陷、漏洞风险等需进行统一管理。建设背景实现高性能、高可靠、可弹性伸缩、敏捷运维的企业级分布式缓存平台。结合注册中心、管控组件，对整体集群实现了可用性监控、故障自恢复

2、、高可用切换、事件报警、应急容灾、自动化运维、一体化投产等能力。建设目标自研我行分布式缓存平台并首次在三园区上线，试点金融市场、综合前置、代理第三方快捷支付等9个应用接入。完成分布式缓存异地多活架构生产部署并上线试点，满足我行“两地三中心”部署架构落地，提升缓存服务性能，就近访问RPO=0、异地高可用等核心能力。2001901分布式缓存架构演进完成多租户改造，打造具备多维度监控、故障自愈、全链路同城双活、容灾接管、自动化运维、一体化投产等能力的缓存平台。实现主备强一致模式支撑我行秒杀平台建设、纪念币发行等业务场景，并适配单元化改造，控制爆炸半径，规避系统性风险背景和目标应

3、用实践未来规划1234目 录CATALOG 为满足中国工商银行在IT架构转型及智慧银行建设过程中各应用对业务数据的高并发、低延迟、便捷使用、高效稳定的访问需求，建设了具备高性能、高可用、可扩展，多模架构、一体化运维的企业级分布式缓存平台。02平台能力 高性能主备模式 所有组件都是站点内高可用，副本间跨故障域搭建，具备自动高可用切换、故障自愈等能力，高可用级别较低，但性能最优。02多模架构 同城双活模式 所有组件均达到同城双活高可用能力，任一站点宕机，另一站点秒级接管，包括遵循Raft多数派协议的注册中心也通过双集群实时数据复制，达到互为主备的同城双活能力，此模式适用于对高可用要求较高，且同时兼

4、顾低延时需求的业务场景。02多模架构 异地多活模式 通过数据同步组件实现了异地多活能力，提供站点内数据强一致，站点间数据最终一致的服务能力，应用访问时采用就近原则，提升服务性能，同时达到了金融级的两地三中心容灾能力。适用于具有跨异地访问、或对数据可靠性、系统高可用能力要求较高的业务场景。02多模架构 主备强一致模式 通过代理层、监控系统、注册中心等多模块协同处理，结合自定义副本间数据复制协议，实现自识别、自降级，按需可配的同步复制节点数，确保业务读写强一致，解决秒杀、库存扣减，纪念币抢币等业务场景下的超卖问题。02多模架构 直连模式基于RedisCluster提供了兼容开源多语言SDK的直连模

5、式集群，配套完整的管控系统，包括集群的访问负载，服务监控，运维治理，容灾切换等。此模式可兼容外购产品、业界开源框架、多种编程语言接入等需求的业务场景。02多模架构SDK核心组件管控组件分布式缓存02平台组件介绍 工商银行分布式缓存平台主要由客户端SDK，代理层、存储层、监控系统、性能分析系统、管理平台等模块组成，结合IAAS、PAAS、SAAS等平台建设了具备云原生能力的分布式缓存平台。基于开源Jedis定制化改造基于Netty框架、开源Redis定制化改造自建监控系统、大数据分析、管理平台。SDK01030402核心组件-客户端SDK连接、鉴权管理采用连接池对连接进行管理，实现连接复用，自动

6、保活及回收，并按租户维度实现鉴权管理02易用性封装对于集合遍历、分布式锁等复杂访问进行易用性封装，提升API调用安全性全景式指标采集、自动熔断回切收集租户访问量，成功率等多元化要素，实现熔断异常时的自动回切主数据源或应急集群，保证服务连续性强容错、一致性校验针对网络抖动等场景自动重试；通过唯一序号等方式实现访问一致性校验高危命令拦截02核心组件-代理层&存储层异地多活、数据零丢失热key负载能力提升支撑百万连接副本数据强一致core020304050601自适应弹性伸缩采用Netty异步通信框架，可支持百万连接。通过读写分离，提升热点数据负载能力。对涉及风险操作，阻塞服务等命令进行拦截实现主备

7、切换时RPO=0，支撑秒杀类业务需求。提升共享数据跨异地访问性能及高可用能力。基于容器等云原生能力实现按负载量自适应伸缩02监控组件服务自愈数据采集高可用切换多维度监控报警合规性巡检治理深度探测节点状态，通过高可用切换等策略隔离故障节点，保证服务连续性自动拉起故障节点、恢复服务进程等。采集各类节点监控数据，上送PAS系统实时分析展示。按集群、租户、节点、交易情况、性能容量等多维度进行监控报警。针对大事务、大key、热key、过期key进行巡检治理。ABDE便捷登录，实时运维统计报表及订阅多层级数据采集及分析C02性能分析组件多维度数据可视化提供单元化、集群、租户、节点等多维度监控指标可视化展现

8、。采集分析客户端、代理层、监控系统等多种数据源采集、分析各类指标数据形成报表，并支持订阅。支持PC端、移动端自适应展示，实时掌握平台运行状态指标。02管理平台平台状态单元化、业务运维板块、集群、应用、租户、节点状态等统一视图。集群管理租户管理、在线扩容、个性化配置管理等。租户管理集群挂载，元数据管理，核心组件、注册中心等相关组件管理等。权限管理用户信息管理、用户角色管理，权限管理及审批，用户操作审计等。运维管理注册中心变更管理，可执行任务管理，生产演练任务管理等。配置管理个性化监控、日志级别变更、各组件的配置信息管理等。02单元化能力建设 架构部署支持单元化，防范重大系统性风险03云服务能力建设 云服务模式转型，实现高效环境供应背景和目标平台能力介绍未来规划1234目 录CATALOG接入应用数500+部署节点数1万+QPS峰值200万+分布式缓存01集群规模03应用实践 主备强一致模式，助力纪念币预约平稳发行03应用实践 异地多活能力，确保手机银行服务安全可靠背景和目标平台能力介绍应用实践1234目 录CATALOG06未来规划 智能伸缩能力建设，应对业务流量的多变场景06未来规划 混合存储，整合内存和磁盘二者优势，提供高速数据读写能力的同时满足数据持久化需求。