报告预览

2019年饿了么监控体系的演进.pdf

编号：97694

PDF 33页 2.45MB 下载积分：VIP专享

下载报告请您先登录！

2019年饿了么监控体系的演进.pdf

1、全球敏捷运维峰会广州站饿了么监控体系的演进全球敏捷运维峰会广州站目录背景遇到的问题场景化系统设计全球敏捷运维峰会广州站背景1.02.03.01.Statsd/Graphite/Grafana2.ETrace3.Zabbix4.ELog1.Statsd/Graphite/Grafana2.ETrace/LinDB3.ESM/InfluxDB/Grafana4.ELK1.EMonitor/LinDB2.SLS单IDC异地多活全球敏捷运维峰会广州站现状1.覆盖了饿了么所有的监控（业务监控，全链路监控，PaaS，IaaS等）2.覆盖所有应用及服务器3.每天采集原始数据 800T4.高峰计算事件

2、 7000W/s全球敏捷运维峰会广州站目录背景遇到的问题场景化系统设计全球敏捷运维峰会广州站遇到的问题1.多套监控系统，包括收集，可视化及报警等2.各种上下文切换3.适合熟练工，不适合新同学1.快速发现问题2.快速定位问题1.GOC2.开发人员核心问题核心用户E-Monitor全球敏捷运维峰会广州站如何解决业务应用PaaSIaaS(订单/运单)Tracing/Logging(Exception/SOA/DB/Redis/Q)中间件(ES/DAL/Redis/Q/Job/SLB)(CPU/MEM/Network/TCP)1.各层面向的用户及其视角是不一样的2.做好业务侧监控，并能联动3.

3、标准化应用/PaaS/IaaS各层监控4.需要一个纽带来把各层串联起来5.端对端监控6.与其他系统集成全球敏捷运维峰会广州站如何解决Tracing业务应用PaaSIaaS全球敏捷运维峰会广州站如何解决一套系统覆盖所有监控，支持多平台全球敏捷运维峰会广州站目录背景遇到的问题场景化系统设计全球敏捷运维峰会广州站业务大盘VS Grafana1.与业务更贴合2.Dashboard App3.Chart Repo4.Drill Down5.小工具全球敏捷运维峰会广州站业务大盘全球敏捷运维峰会广州站应用监控全球敏捷运维峰会广州站应用监控 Exception全球敏捷运维峰会广州站应用监控-SOA全球

4、敏捷运维峰会广州站应用监控-SOA全球敏捷运维峰会广州站基础设施-DAL全球敏捷运维峰会广州站服务器监控全球敏捷运维峰会广州站Tracing采样10s内有问题的请求全球敏捷运维峰会广州站Tracing全球敏捷运维峰会广州站E-Monitor关键业务监控(报警发现问题)应用监控(定位问题)PaaS(Redis/DAL/Q/ES)IaaS(CPU/MEM/Network)fromdependencyrunrun全球敏捷运维峰会广州站目录背景遇到的问题场景化系统设计全球敏捷运维峰会广州站整体架构1.Pipeline-Lambda2.支持多IDC3.全量日志，通过指标+采样的方式4.支持 Ja

5、va/Golang/Python/PHP/C+/Node.js5.所有监控数据计算窗口为 10S5.自研+开源组件构建了整套系统全球敏捷运维峰会广州站整体架构全球敏捷运维峰会广州站踩过的坑1.Kafka broker 节点 IO Hang 住，导致所有 Producer 线程全部 Hang 住，流量掉底2.HBase 上构建了索引，导致 HBase 热点严重3.系统稳定性4.生产效率1.基于 Kafka Client 封装了一个 Broker 与 Thread 绑定的版本，即一个线程负责某一 Broker 的写入，当某一节点写入有问题，数据自动 Balance 到别的节点2.不支持全文检索，有

6、时看起很用的功能，其实不一定是用户真正需要的3.从 Pipeline 处理所有数据流，到计算和写存储分离类似 Lambda，计算采用类 SQL4.所有的数据都转换成 Metrics，外加自定义的可视化组件，阶段性的前进，每个阶段只做 1-2 件重要的事情全球敏捷运维峰会广州站计算-Shaka1.随着数据量不断增加，系统开始出现不稳定的情况，有时出问题之后需要较长时间来恢复2.计算是整系统的资源大户，也是整个系统最核心的组件之一1.基于 CEP(Esper)实现类 SQL 的计算2.非结构化的数据转换成结构化数据3.UDF 处理异常数据分析及采样做好数据的 Sharding 对一个计算类组件非常

7、重要，越早做 Sharding 效果越好1.写 Kafka 之前就按一定的数据特性来 Sharding，不同类型的数据写不同的 Topic/Partition2.Shaka 内部又按不同 Event 类型 Sharding 到不同的 SQL Engine全球敏捷运维峰会广州站计算-Shaka全球敏捷运维峰会广州站存储-Data1.HDFS+HBase 存储所有的 Raw Data，HDFS 存储所有的 Raw Data，HBase 存储简单的索引(Request ID/Trace ID+RPC ID=file+block offset+message Offset)2.64 KB Block+

8、Snappy3.Block 压缩前置到 Collector 完成全球敏捷运维峰会广州站存储-Data1.HBase 按天建表2.Pre-Split3.多个二级索引Trace IDOrder IDMetric/Tags/TimestampHDFS BlockHBaseHDFSQueue(Pub/Sub)全球敏捷运维峰会广州站TSDB-LinDB1.采用 Metric+Tags+Fields 方式2.基于 Series Sharding，支持水平扩展3.自动的 Rollup，s-m-h-d4.高可靠性，支持多副本，支持跨机房5.自监控，数据治理6.列式存储，具有时序特性的 LSM 存储结构7.倒排

9、索引全球敏捷运维峰会广州站TSDB-LinDB全球敏捷运维峰会广州站TSDB-LinDB时序数据特性（根据其时间特性可以分为不随时间变化和随时间变化的数据）1.Time Series=Metric+Tags：这部分数据基本都是字符串，而且该数据占数据包的大头，但是不会随时间变化而变化，尽量把字符串变换成数值来存储，以降低存储成本2.Fields：这部分数据基本都是数值，并且随着时间变化而变化，但是数值类型容易做压缩1.36台服务器，分不同集群2.每天增量写入 140T3.高峰TPS:750W DPS/s4.10S 存 30天，历史可查2年以上5.磁盘占用 50T(压缩率在60倍左右)6.查询P99：500ms 1s全球敏捷运维峰会广州站THANK YOU！

友情提示

1、下载报告失败解决办法
2、PDF文件下载后，可能会被浏览器默认打开，此种情况可以点击浏览器菜单，保存网页到桌面，就可以正常下载了。
3、本站不支持迅雷下载，请使用电脑自带的IE浏览器，或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩，下载后原文更清晰。

本文（2019年饿了么监控体系的演进.pdf）为本站（云闲）主动上传，三个皮匠报告文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。若此文所含内容侵犯了您的版权或隐私，请立即通知三个皮匠报告文库（点击联系客服），我们立即给予删除！

温馨提示：如果因为网速或其他原因下载失败请重新下载，重复下载不扣分。

上海品茶

2019年饿了么监控体系的演进.pdf

2019年饿了么监控体系的演进.pdf