《得物全栈可观测平台落地实践-李尊.pdf》由会员分享,可在线阅读,更多相关《得物全栈可观测平台落地实践-李尊.pdf(27页珍藏版)》请在三个皮匠报告上搜索。
1、得物全栈可观测性平台落地实践得物App监控平台 李尊录得物可观测平台 演进史 全链路追踪规模落地实践得物可观测平台 演进史得物可观测平台 发展历程2021前2021年2022年2023年开源案 Loki PrometheusVictoriaMetrics Jaeger(采样率3%)组合采样策略 Grafana 产品化萌芽 应监控1.0指标中告警模版上下游分析异常分析(Java)排查具(热点分析)Redis热点分析 RDS热点分析 产品化&数据治理 架构升级&降本增效 应监控2.0(Java/Go/FE)Trace2.0(100%采样、冷热存储)前端监控(0-1、端到端)鲁班(建Dashboar
2、d)异常分析2.0(Go)Metric、Trace、Log持联动和下钻分析挑战 基础服务监控标准化(中间件/K8S)以应为中的可观测性 全息监控(服务治理)全栈可观测平台全景图NOC-SLA应监控基础服务云资源层ECSOSSNATEIP防SLBPrivatelinkC端B端供应链资损1-5-10户体验端监控接层DAL层数据库数据服务发现K8SJavaGolangNode.jsPythonC+AndroidiOS端内H5PC浏览器元数据全链路追踪(Trace)告警异常事件智能预测时序检测志聚类流量拓扑(分钟级)系统治理程序“五横三纵”链路追踪规模落地实践为什么选择OpenTelemetry 统数
3、据协议 兼容性良好(兼容主流)商中 采字节码增强分布式链路追踪Trace2.0架构 集成OpenTelemetry SDK 接层&计算层 存储层 控制平持灰度版本管理动态参数.Trace2.0提供了哪些能保存所有有价值Trace的完整链路增强各监控类型数据之间的关联字节码式、缝升级持请求出参收集持定义埋点(单号关联)持诊断具(arthas)持SpanMetric统计(分位线)热点分析(Key慢SQL).降本增效之Trace存储发展历程ClickHousespanIndex表spanData表存储1.0冷热存储尾部采样Kafka延迟消费BloomFilter存储2.0对象存储Clickhouse
4、+OSS(索引和明细分离)块存储ZSTD压缩追加写存储3.0热数据层冷数据层存储业务频访问数据1.性能2.容量低存储业务低频访问数据1.性能低2.容量Object Storage分布式链路追踪 冷热存储 全量采集 尾部采样 Kafka延迟消费 BloomFilter编码分布式链路追踪 对象存储 写流程MemBlockSpanCompression(ZSTD)ImmutableMemBlockBlockBlockBlockBlockBlockBlockFileFileFile.FileFileFile对象存储追加写分布式链路追踪 对象存储 查询流程QueryClickhouseOSS1.trac
5、eId=xxxx备注:filename:OSS所在的件名blockOffset:block块在件的偏移量messageOffset:span在block块内偏移量2.根据TraceID查询Span都在哪些OSS件3.将Span对应的件块下载到本地性能优化ClickHouse本地表批量写TraceSegment写并发查询分布式链路现阶段实施效果 吞吐量:12M Span/秒(采样率100%)存储资源:700+TB(增数据量)(ZSTD压缩12:1)查询效率:Trace点查 P50 300ms,P90查询 800ms每百TB每天只需块 Clickhouse写:单机40w/秒总存储:热存 TTL:6
6、天4PB存储(压缩前)冷存 TTL:30天 1PB存储(压缩前)Trace存储成本同下降90%结 得物可观测性平台临的挑战和机遇 得物分布式链路追踪的落地实践 Trace成为可观测数据的链接纽带 Trace存储引擎的发展历程可观测性平台 前端监控接分析分析会话跟踪JS异常分析可观测性平台 容器监控集群总览资源池监控Node监控Pod监控控制监控插件监控可观测性平台 应监控(接分析)接分析实例分析接(服务)上下游分析接耗时分解接分析接耗时分解可观测性平台 应监控(异常分析)异常分析业务码分析RDS热点分析Redis热点分析可观测性平台 应监控(链路追踪)API接分析内嵌Trace检索Trace级检索Trace关联点击查看“创单”的Trace单号搜索Trace详情可观测性平台 Trace详情(1)Trace详情 概览Trace详情 聚合分析Trace详情 列表模式可观测性平台 Trace详情(2)单Span详情 Span详情下钻关联指标和志可观测性平台 告警平台模板管理规则管理告警历史通知组管理加我们团队联系我THANKS