1、1全球敏捷运维峰会广州站微众银行Redis应用实践2全球敏捷运维峰会广州站概要Redis与WeRedisWeRedis典型应用场景WeRedis集群规模WeRedis的架构演进WeRedis运维管理3全球敏捷运维峰会广州站Redis社区版的痛点Redis 2.0社区版本主从模式架构，依赖外部组件实现自动高可用不能水平扩展权限管理功能非常有限Redis Cluster社区版本通过分片架构，实现了自动高可用和水平扩展功能权限管理功能依然非常有限资源统计和资源控制功能（多租户）非常有限无法禁用某些指令缺少统一的运维与管理平台4全球敏捷运维峰会广州站Redis与WeRedisproxystatobse

2、rveradminWeRedis是基于开源redis开发的分布式缓存平台，除拥有开源redis的特性外，还有如下特点：多租户与细粒度的鉴权：WeRedis可以根据子系统进行鉴权。每个子系统通过不同的账号访问自己的数据资源控制：子系统进行资源控制，比如控制子系统的连接数、访问量、内存使用量、单次IO的大小等高危操作隔离：WeRedis屏蔽了高危的运维命令以及风险高的访问。扩展性更高：WeRedis支持多集群模式，可以通过在线扩容底层小集群达到更高的扩展性可用性更高：WeRedis的多集群跨IDC部署架构，当底层1个小集群故障时，不会影响整个集群的使用。智能分析与管控：WeRedis可以获取智能的

3、分析报告。例如：按照子系统统计TPS、访问时间、访问成功率、占用内存大小、大key预警等。5全球敏捷运维峰会广州站WeRedis典型应用场景微粒贷/微众银行APP应用APP通过访问GNS获取客户ID对应的RDCN号，优先访问redis，redis访问超时则访问DB新客户需要访问ECIF插入客户数据同时写redis和DB，异步对账程序核对数据（以DB为准）ECIFDB分布式核心应用GNSDB应用DBDCN1应用DBDCN2应用DBDCNX6全球敏捷运维峰会广州站WeRedis目前规模WeRedis全行业务覆盖180+子系统接入3000+实例数60+套集群最大单集群容量1053G7全球敏捷运维峰会

4、广州站Redis 2.0 patern3 sentinels+3 nodesSystem ASystem BSystem ASystem BSystem CSystem D业务发展业务发展业务发展业务发展运维崩溃ORZ-运维难度大，成本高-运维效率较低-可扩展性较差WeRedis架构演进 1.08全球敏捷运维峰会广州站Redisshard1WeRedis架构演进 2.0Redis Cluster(Storage)Redisshard2Redisshard3Redisshard4Redisshard5Redisshard6ProxyProxyProxyProxy ClusterApplicati

5、on via Redis protocolAccessing proxy selectionData locationOBOBOBObserver ClusterProxy-权限控制（接入权限、命令权限）-资源控制（流量、连接等）-可扩展性高-共享集群，成本降低Observer-proxy可用性探测-proxy流量隔离-路由管理缺陷-cluster主节点故障影响面大9全球敏捷运维峰会广州站Cluster PartitionWeRedis架构演进 3.0Redis Partition(Storage)Cluster PartitionCluster PartitionRedisshard1Red

6、isshard2Redisshard3OBOBOBObserver ClusterProxyProxyProxyProxy ClusterWeRedis StatisticsApplication via Redis protocolStatistics metadata queryProxy/RedisCluster metrics reportAccessing proxy selectionData locationRedis-Cluster10全球敏捷运维峰会广州站WeRedis架构演进 3.0特性可用性高所有组件满足高可用某个cluster集群故障，只影响部分业务扩展性高负载均衡性能

7、和容量线性扩展在线缩扩容，对业务透明资源控制流量控制连接数控制容量控制权限控制UM鉴权接入数据隔离管理命令屏蔽高风险操作屏蔽11全球敏捷运维峰会广州站WeRedis架构演进 典型架构案例同城多中心，跨IDC部署observerproxyP0_S1_MP0_S2_SP0_S3_SproxyP0_S1_SP0_S2_MP0_S3_SP1_S1_MP1_S2_SP1_S3_SobserverP0_S1_SP0_S2_SP0_S3_MP1_S1_SP1_S2_MP1_S3_SobserverproxyP1_S1_SP1_S2_SP1_S3_MClusterPartition0ClusterPartit

8、ion1proxyIDC1IDC2IDC3IDC412全球敏捷运维峰会广州站WeRedis架构演进 典型架构案例同城不跨IDC部署（正常情况）observerproxyP0_S1_MP0_S2_SP0_S3_SproxyP0_S1_SP0_S2_MP0_S3_SobserverproxyP0_S1_SP0_S2_SP0_S3_MobserverCluster Partition1P0_S1_MP0_S2_SP0_S3_SP0_S1_SP0_S2_MP0_S3_SP0_S1_SP0_S2_SP0_S3_MCluster Partition0observerproxyP0_S1_MP0_S2_SP

9、0_S3_SproxyP0_S1_SP0_S2_MP0_S3_SobserverproxyP0_S1_SP0_S2_SP0_S3_MobserverCluster Partition1P0_S1_MP0_S2_SP0_S3_SP0_S1_SP0_S2_MP0_S3_SP0_S1_SP0_S2_SP0_S3_MCluster Partition013全球敏捷运维峰会广州站WeRedis架构演进 典型架构案例同城不跨IDC部署（集群异常）observerproxyP0_S1_MP0_S2_SP0_S3_SproxyP0_S1_SP0_S2_MP0_S3_SobserverproxyP0_S1_SP

10、0_S2_SP0_S3_MobserverCluster Partition1P0_S1_MP0_S2_SP0_S3_SP0_S1_SP0_S2_MP0_S3_SP0_S1_SP0_S2_SP0_S3_MCluster Partition0observerproxyP0_S1_MP0_S2_SP0_S3_SproxyP0_S1_SP0_S2_MP0_S3_SobserverproxyP0_S1_SP0_S2_SP0_S3_MobserverCluster Partition1P0_S1_MP0_S2_SP0_S3_SP0_S1_SP0_S2_MP0_S3_SP0_S1_SP0_S2_SP0_S

11、3_MCluster Partition014全球敏捷运维峰会广州站WeRedis运维管理-踩过的坑主机初始化配置：关闭SWAP主节点的RDB持久化关闭大key高时间复杂度操作需要注意，TTL过期隐含del，4.0后用异步后台删除性能问题主节点的持久化关闭掉后，不能配置自动启动。确认集群切换完成后才能启动，避免数据丢失集群中多数主节点故障，集群不能自动切换，搭建时注意机器满足高可用。可以用cluster failover TAKEOVER强制切换。当拥有2个及以上从节点时，在主从切换时，注意cluster-migration-barrier参数设置，如果用默认值1，则可能出现从节点的分布不符合

12、预期。高可用问题关注内存碎片率，在业务低峰期谨慎打开activedefrag回收内存碎片（redis4.0以后）Redis软件make时，要用make MALLOC=jemalloc（默认），否则redis4.0之后的内存碎片回收功能不能使用容量问题15全球敏捷运维峰会广州站WeRedis运维管理-开发规范 生产系统的key必须以“”systemid:”为前缀，否则访问集群将返回失败。仅独占集群的子系统可以通过申请白名单（ITSM表单），绕过Key校验规则。1、系统在设计Key的时候必须以子系统ID为前缀对member大于1000的key 或 memory大于10M的key，将会出报表建议整改

13、2、避免设计一个key过大为了避免集群堵塞，单次操作Redis的Key长度限制为1K，数据长度限制为100K3、限制单次操作key的长度 为了避免垃圾数据堆积，会对Cache类型集群中没有设置TTL或者超过3天的key出报表建议整改4、Cache类型集群要求数据必须设置TTL为3天以内不支持Redis原生的系统指令，如INFO、FLUSHDB、SHUTDOWN等；不支持Redis Cluster相关指令，如CLUSTER FAILOVER等；不支持KEYS指令、SCAN指令；不支持Redis原生的阻塞式指令，即BLPOP、BRPOP、BRPOPLPUSH；不支持订阅/发布操作，即SUBSCRIBE、PUBLISH等；5、WeRedis的接入使用受到以下约束16全球敏捷运维峰会广州站WeRedis运维管理-WeRedis Admin监控各组件实时运行情况监控历史数据对比容量预警趋势分析运维集群搭建节点替换在线缩扩容多租户资源控制17全球敏捷运维峰会广州站WeRedis运维管理-WeRedis Admin18全球敏捷运维峰会广州站WeRedis运维管理-WeRedis Admin19全球敏捷运维峰会广州站WeRedis运维管理-WeRedis Admin20全球敏捷运维峰会广州站THANK YOU！