1、平安银行云原生转型背景下全链路监控体系江杰平安银行云原生平台应用监控领域负责人江杰自2017年以来，一直负责平安银行的应用监控平台和日志平台。主导公司应用监控体系和日志管理体系从0到1的建设和全面落地。目前主导监控领域全面朝向云原生可观测转型。崇尚简洁，喜欢从目的出发去寻找答案。曾任职携程，历任应用架构师、高级技术经理平安银行云原生平台应用监控领域负责人嘉宾照片目录CONTENTS云原生下的可观测挑战01 平安银行全链路监控难点02 平安银行全链路监控5大核心挑战03 平安银行全链路监控体系简介04 信创和自主创新05 01云原生下可观测挑战云原生转型的可观测挑战动态云原生环境的复杂性微服务和

2、容器的监测实时性金融科技起步较晚，但发展速度极快，存在大量异构老旧系统。银行体系下的核心应用安全合规要求高，需随时保持高可用的状态。需实时监测并了解应用的内部状态、微服务所依赖的其他相互依赖组件以及对用户的影响。前后端服务的一体性。银行体系业务范围广、应用规模大。业务、研发、测试及运维人员，基于繁杂的前后端工具，尚未规范化的指标，产生了大量的信息孤岛及盲区。且即使实现了对后端组件的全方位可视化，若缺乏前端的用户视角，也会使整个可观测性能力大打折扣。随着云计算的不断深入发展，业务系统的逻辑结构变得越来越复杂。大量单体应用在云原生转型的过程中，需要面临应用拆分和上容工作的同步推进。云环境、遗留环境

3、及混合环境的并行，导致复杂性骤增。动态海量数据的混乱性动态多重云环境下产生的数据量呈指数式增长。日常运行过程中，要尽其所能从各孤岛式工具产生的海量数据中，监测出潜在的以及正在发生的问题点。消耗大量内部IT资源的同时，仍无法应对快速发展的业务节奏。由此，系统间依赖梳理、关键性能指标展示、端到端问题诊断能力，不可或缺。02平安银行全链路监控难点平安银行云原生全链路监控的难点02.安全监管大规模混合部署场景大量老旧系统和外购系统环境复杂，大量防火墙01.部署环境监控中敏感信息较多，需满足监管要求因监管对日志的特殊要求，日志需全量记录04.数据规模微服务框架未统一存储/中间件等基础设施的统一还在持续推

4、进中研发团队多，研发人员多研发对日志排障依赖强，监管对日志也有强要求研发依赖全文检索排查问题03.基础生态每日产生超400TB原始日志，还在持续增长03平安银行全链路监控5大核心挑战平安银行全链路监控5大核心挑战1.安全合规2.部署环境3.数据体量4.埋点5.数据串联挑战1：安全合规日志中敏感信息均需脱敏已定义的敏感信息类别多，识别成本高日志满足最少一年的存档需求需满足监管年底检查的各种诉求敏感信息识别海量日志实时检测，不能影响日志时延指标检测规则管理支持规则动态添加，规则检测资源消耗要可控，规则生效满足多场景脱敏展示确保无敏感信息展示，不影响页面响应速度技术挑战按应用抽检，抽检结果实时统计，

5、支持告警抽样算法使用固定资源消耗自动择机执行专业灵活且简单的规则管理模块，确保规则的高效和安全。依赖高效的规则管理模块，保证了敏感信息识别和转换的极低消耗。自主的转换算法和敏感元素控件，让转换结果通俗易懂，方便误掩排查和规则调整。常用低效的正则规则(地址和人名判断)，提供自主算法替换，执行效率提升1000，资源消耗降至1/100敏感信息识别检测规则管理脱敏展示如何应对挑战2：数据体量每日超200TB原始日志需实时检索每日超230TB的原始块日志，需关联日志需提供7+天实时在线查询（在线可查原始数据规模超2PB）块日志需提供至少一个月在线查询能力。海量数据每日200TB+日志全文检索实时检索日志

6、延迟小于1分钟系统高可用需提供7*24小时不间断服务技术挑战分区分块管理高效的标准日志解析算法时延实时监控告警时延全局分析视图便利的单元调度标准化日志存储单元避免过大存储集群日志流量额度管理实时监控，按需调整迁移友好设计，存储迁移对用户无感海量数据实时检索系统高可用日志标准规范日志标准化（超90%为标准日志）日志收集过程标准化管理自主的分布式流式处理引擎如何应对SEEmetrics(influxdb)Applicationcat-clientHost or Containercat-agent（Go）通用处理机（CAT）memory queue日志转埋点 报表/日志存储(HDFS)consol

7、e(基于 grafana)Query-service（java）日志文件日志处理机（java）日志检索(ES)元数据(consul)轨迹数据(ETCD)全链路骨架(ES)config-service（java）消息队列(KAFKA)挑战3：部署环境多机房，多区域，机房区域间默认隔离老旧系统大量存在区域隔离监控产生的实时数据量巨大，跨墙会抢占资源，严重时，会影响防火墙工作存放路径多样因老旧系统，外购系统多，存放路径不能标准化资源成本隔离区过多，垮墙，流量和管理成本都巨大。不跨墙部署，部署过多，容易造成浪费。监控整体资源投入要可控技术挑战如何应对单元化部署日志本区采集日志分类规范采集配置集中管理单

8、元虚拟化逻辑分开，物理公用资源利用实时监控，动态平衡区域隔离存放路径多样资源成本监控系统管理单元管理区工作区1监控服务单元应用集群A应用集群B监控服务单元（虚拟）应用集群C应用集群D工作区2控制台管理区元数据存储日志处理CAT consumer统一查询服务工作区1元数据存储配置服务持久存储（HDFS）全链路骨架服务日志缓存（kafka）日志检索（ES）轨迹服务挑战4：埋点微服务框架未统一存储/中间件等基础设施的统一还在持续推进中研发团队多，研发人员多大量外购系统开发语言众多技术挑战非标中间件虽然大多数应用使用公司标准中间件，但还有不少核心系统因各种原因使用非标中间件外购系统多语言支持虽然jav

9、a目前是应用的主流开发语言，但还有很多应用采用c,go,python,nodejs等其他语言开发如何应对字节码埋点常用组件监控默认支持无需配置自动生效日志提取埋点字节码埋点通用日志埋点模型SYSLOG通道非标中间件外购系统多语言支持展示 字节码埋点 挑战5：数据串联关联数据多数据量巨大数据展示复杂数据串联每日超400TB数据需要串联，数据分散在多地，以多方式存储数据展示查询速度要块，能支持多场景分析多语言支持虽然主流应用都是java，全链路也需具备串联其他语言的能力技术挑战Google DapperCat logview链路骨架和明细数据分离轨迹服务链路数据分类异步加载分角色提供不同的交互视图

10、通用日志全链路埋点模型数据串联数据展示多语言支持如何应对展示 应用拓扑 展示 节点拓扑 展示 链路一览 展示 链路日志 04平安银行全链路监控体系简介java应用监控+告警+java全链路java应用监控+告警+java全链路+应用日志应用监控+告警+java全链路+应用日志+运维日志应用监控+告警+java全链路+日志(非业务)应用监控+告警+日志(非业务)+全链路应用监控+告警+日志(非业务)+全链路+metricsv2017vvvvv2002120222023 数据规模 处理时延 告警及时率(3分钟)覆盖每日430+TB原始日志(200+TB全文检索日志，230TB+块日志)在线可全文检索日志2PB，可查询块日志近7PB，可路径检索日志250+PB100%报表数据(cat)10秒内可查，98%日志(全文检索)1分钟内可查100%日志全覆盖(应用日志、操作系统、中间件、网络设备、大数据、亚终端等)，标准java应用核心埋点全覆盖，非标应用基础埋点全覆盖。全景图05信创和自主创新信创认证，全国产兼容拥抱开源，协同创新从CAT 到 星图感谢聆听关注QECon公众号