1、FreeWheel 实时监控系统如何支持超级赛事直播广告实时监控系统如何支持超级赛事直播广告3概要概要#FreeWheel 业务背景及直播广告业务特点#FreeWheel 监控平台设计原则#FreeWheel 实时监控系统基础架构#实时监控系统在 FreeWheel 的应用及典型案例分享#总结与展望4FreeWheel 业务背景及业务背景及直播广告直播广告业务特点业务特点CONFIDENTIAL 5业务背景：多样化客户定制需求业务背景：多样化客户定制需求6业务背景：客户示例（业务背景：客户示例（2018 SuperBowl 超超级碗直播级碗直播-NBCu）超级碗=赛事+中场秀+广告，“美国春晚

2、”30秒广告 500万美元，总广告收入 5亿美元，商业价值 奥运会+世界杯 FreeWheel 承担了 NBCu SuperBowl 全部的数字视频广告业务：广告请求：超过7千万次 广告观看：约2亿次7业务背景：客户示例（业务背景：客户示例（2018 WorldCup 世界杯直播季）世界杯直播季）世界杯直播季：6月14日 23:00-7月15日 23:00 客户：美国：NBCu,FOX 欧洲：TF1,Mediaset,RTE 广告观看：约20亿亿次8业务背景：业务背景：直播广告及其特点直播广告及其特点 高并发 实时响应 高可用性9FreeWheel 监控平台设监控平台设计原则计原则CONFID

3、ENTIAL 10FreeWheel 监控平台设计原则监控平台设计原则1统一监控平台2数据的可插拔3实时响应4可视化5故障分析与定位6自动化&智能化11FreeWheel 实时监控系实时监控系统基础架构统基础架构CONFIDENTIAL 12通用通用监控系统监控系统13FreeWheel 实时监控系统基础架构实时监控系统基础架构14FreeWheel 监控框架监控框架-Prometheus CNCF Kubernetes原生监控平台 强大的功能特性 标准的监控指标类型:Counter,Gauge,Histogram,Summary 多维数据模型 强大的查询语句 PromQL 丰富的集成选择 提

4、供多种语言的 SDK 大量的 exporter 支持多种 remote storage15数据采集数据采集 统一的数据接入标准 非侵入式的数据采集方式 充分利用开源 exporter 统一的监控指标采集适配器-Gather 同时支持 Pull&Push16数据存数据存储储 InfluxDB 时序数据库 支持每秒百万级的数据写入 灵活的数据保留策略 支持 Prometheus 数据远程存储 技术栈丰富(TICK)，社区活跃 报警模块 Kapacitor 流式消费数据，实时性高 版本更新快17数据存数据存储储 自研的中自研的中间件间件 自研的中间件 DB-ProxyPromQL InfluxQL

5、解析、优化数据读写高可用负载均衡数据库的水平扩展故障节点摘除支持每秒千万级 Series的存储18Alert 产品化的报警平台 Kapacitor 简单易用的 UI/API 灵活丰富的报警规则表达式 支持不同维度的过滤及聚合 报警聚合，防止警报洪泛 警报自动化运维处理及故障定位与分析19实时监控系统在实时监控系统在 FreeWheel的的应用及典型案例分享应用及典型案例分享CONFIDENTIAL 20监控系统在监控系统在 FreeWheel 的的应用应用 统一监控平台 AWS/On-Prem/Kubernetes/Micro Service AdServer/Forecasting/Data

6、 Platform/UI/API 线上运维21FreeWheel 实时监控系统典型案例分享实时监控系统典型案例分享 典型问题：广告投放系统的性能下降，广告请求未能在300ms内返回帮助广告投放系统找到系统热点22FreeWheel 实时监控系统典型应用场景实时监控系统典型应用场景细化性能指标23FreeWheel 实时监控系统典型应用场景实时监控系统典型应用场景定位到服务器24FreeWheel 实时监控系统典型应用场景实时监控系统典型应用场景ELK 定位、还原问题25FreeWheel 实时监控系统典型应用场景实时监控系统典型应用场景 典型问题：某一集成广告投放异常 基于spark stre

7、aming 实时业务数据处理发现问题 基于ELK定位、还原问题业务监控26FreeWheel 实时监控系统典型应用场景实时监控系统典型应用场景业务监控 发现问题27FreeWheel 实时监控系统典型应用场景实时监控系统典型应用场景ELK 定位、还原问题28总结与展望总结与展望CONFIDENTIAL 29总结与展望总结与展望 统一监控平台：o 系统、应用监控：开源：Prometheus+InfluxDB+Kapacitor+Grafana Gather+DB-Proxy+Alert Manager+Monitor UIo 日志收集：ELKo 业务监控：Spark Streaming+InfluxDB+Kapacitor+Grafana 存储引擎的选择（AWS Timestream/OpenTSDB）自动化运维 智能化30