1、货拉拉全链路监控体系货拉拉全链路监控体系的落地与实践的落地与实践曹伟 货拉拉 架构师您公司的logo|您公司的logo|1616年年 硕士毕业于上海大学硕士毕业于上海大学1616年年 平安壹钱包中间件平安壹钱包中间件 负责分布式定时调度服务负责分布式定时调度服务1919年年 阿里本地生活阿里本地生活 负责负责微服务微服务研发框架研发框架2020年年 货拉拉货拉拉 负责全链路负责全链路TraceTrace服务服务 微服务研发框架微服务研发框架 分布式定时调度服务分布式定时调度服务0101 监控演进史0202 货拉拉监控体系架构0303 监控埋点“弯道超车”0404 全链路Trace建设0505

2、可视化建设-“所见即所得”您公司的logo|监控演进史-行业您公司的logo|监控演进史-货拉拉您公司的logo|货拉拉监控体系架构货拉拉监控体系架构您公司的logo|埋点方式埋点方式灵活度灵活度维护成本维护成本 侵入性侵入性接入便捷性接入便捷性原生方式原生方式 低强依赖各种组件的Filter和Intercept机制（不满足、高低版本兼容）三方SDK二次封装甚至需要修改源码（比如Myqsl Redis MQ等）高高高高高高字节码增强字节码增强高高，基于源码进行增强，基于源码进行增强 低无侵入无侵入便捷、轻量便捷、轻量（零代码，只需要引入一个依赖）（零代码，只需要引入一个依赖）监控埋点-基于字节

3、码增强埋点优势您公司的logo|监控埋点-JAVA SDK图谱您公司的logo|如何修改如何修改 -字节码修改框架字节码修改框架ASMASMJavassistJavassistBytebuddyBytebuddy如何生效如何生效 -Java Agent-Java Agent技术技术2 2个契机个契机在Class文件被加载到JVM里之前修改从JVM内存中把Class数据捞出来重新修改后再覆盖掉老的数据监控埋点-什么是字节码增强技术？您公司的logo|监控埋点-Java Agent技术您公司的logo|监控埋点-Java Agent技术您公司的logo|增强监控埋点-Java Agent技术您公司

4、的logo|ASMJavassistBytebuddy监控埋点-字节码增强框架您公司的logo|Java字节码操控框架的鼻祖熟悉汇编指令、熟悉汇编指令、ClassClass文件格式文件格式硬编码、无法硬编码、无法DebugDebug监控埋点-增强框架ASM您公司的logo|开源的字节码增强类库硬编码、无法硬编码、无法DebugDebug监控埋点 -增强框架Javassist您公司的logo|监控埋点-增强框架ByteBuddy您公司的logo|特性特性JavassistJavassistASMASMByteBuddyByteBuddy性能性能劣于 ASM优于优于JavassistJavassi

5、st介于二者之间介于二者之间API API 封装程度封装程度高高低高于高于JavassistJavassist学习成本学习成本基本了解class文件格式需要精通class文件格式和汇编指令集文档繁琐只需要了解只需要了解基本的基本的JAVAJAVA语法语法简单易上手简单易上手文档简洁文档简洁监控埋点-字节码增强框架对比您公司的logo|Trace 1.0Trace 1.0原生原生SkywalkingSkywalking架构架构无法支撑货拉拉全量业务服务无法支撑货拉拉全量业务服务全链路Trace建设-架构演进您公司的logo|Trace 2.0Trace 2.0支撑支撑百万百万TPSTPS日均日均

6、100TB100TB Trace Trace数据数据全链路Trace建设-架构演进您公司的logo|全链路Trace建设-冷热分离的价值您公司的logo|Trace 3.0Trace 3.0差异化差异化完整完整采样采样1H1H以内全量采样以内全量采样（热数据）（热数据）1H1H以外留错、慢、核心链路以外留错、慢、核心链路（冷（冷数据）数据）解决服务器资源紧缺问题据解决服务器资源紧缺问题据降低约降低约60%60%的存储、的存储、CPUCPU等机器等机器资源成本资源成本全链路Trace建设-架构演进您公司的logo|Trace 3.x Trace 3.x 自研自研KVKV替换替换HBaseHBas

7、e针对针对TraceTrace场景优化场景优化LSM-TreeLSM-Tree（Log Structured Merge TreeLog Structured Merge Tree）的的CompactionCompaction规则和频率规则和频率存储机器成本降低存储机器成本降低90%90%全链路Trace建设-架构演进您公司的logo|常规采样:基于TraceID无差别采样优点：简单粗暴缺点：无法保留更多有效信息全链路Trace建设-常规采样您公司的logo|错、慢、核心链路采样错、慢、核心链路采样基于APPID、Span等信息进行更精细的采样优点：优点：完整保留更有价值的错、慢、核心服务Tr

8、ace数据缺点：计算相对复杂全链路Trace建设-错、慢、核心采样您公司的logo|B发生调用异常时，能够完整的保留A-B-C 和 A-D 这条完整的调用树全链路Trace建设-链路完整采样您公司的logo|阿里鹰眼-纯内存方案优点：实现简单缺点：占用较多昂贵的内存资源全链路Trace建设-链路完整采样您公司的logo|字节跳动-部分采样优点：实现简单缺点：无法保留完整的调用链路全链路Trace建设-链路完整采样您公司的logo|Kafka延迟消费+Bloom Filter实现完整无损采样 构建本地Bloom Filter降低Redis集群QPS 错、慢错、慢(S(Span pan Laten

9、cyLatency x x msms)、核心服务、灰度链路、核心服务、灰度链路 精确采样：不同的组件Span响应耗时阈值差异化阈值差异化 降低约60%左右的存储、CPU等机器资源成本全链路Trace建设-完整采样、冷热分离您公司的logo|监控可视化建设-“所见即所得”您公司的logo|监控可视化建设-“所见即所得”您公司的logo|监控可视化建设-“所见即所得”您公司的logo|监控可视化建设-“所见即所得”您公司的logo|串联Metric、Trace、Log、业务闭环您公司的logo|串联Metric、Trace、Log、业务闭环您公司的logo|串联Metric、Trace、Log、业务闭环您公司的logo|串联Metric、Trace、Log、业务闭环您公司的logo|串联Metric、Trace、Log、业务闭环您公司的logo|非常感谢您的观看非常感谢您的观看您公司的logo|