1、游戏营销智能监控实践游戏营销智能监控实践腾讯游戏腾讯游戏游戏营销智能监控实践游戏营销智能监控实践监控系统演化监控系统设计监控系统与智能监控实践与负载保护研发组织变化研发组织变化研发运维研发运营研发devops/SRE运营支撑系统演进支撑系统演进运维工具发布.监控测试发布.监控测试智能以单机系统为主公共服务逐步分布式业务大量微服务化1:Script2:DataBase1:System2:Auto3:Big Data1:AI微服务哲学理解微服务哲学理解分治工业设计模具设计软件架构大系统小做微服务软件工程高内聚低耦合设计模式操作系统微内核(宏内核)Mach监控服务本身也是微服务1：锤子理论2：综合治

2、理监控未来之路监控未来之路工具化系统化专业化自动化智能化业务视角之监控业务视角之监控业务正常感觉不到监控系统存在业务异常直接给出处理方法 易接入(少阈值配置)低消耗(对系统影响小)易逻辑扩展 对业务量变化不敏感，易扩展 报警及时 报警易处理(一站式处理)易查询 一个不多 一个不少 无误报 精准干系人 准确根因，影响范围 故障恢复通知(精准范围)适当预测实现视角之监控系统实现视角之监控系统SolutionPredict,OptimizeProbe,Verify,Assess,Smart,Accurate,Auto,Chart,RecallSensitive,Simple,Robust,Scala

3、ble,Visual监控方法比较监控方法比较白盒方法白盒方法黑盒方法黑盒方法监控目标多，复杂，覆盖面广少，抽取关键点(监控)系统架构复杂(健壮/容灾/可扩展)(数据流)相对简单通用性与业务深度绑定易移植智能性依赖人对系统理解和案例整理对业务理解依赖少解释性容易确认根因不易解释，易骚扰反馈性易验证业务架构合理性可以对监控预测监控与人工智能监控与人工智能理论与应用监控白盒根因推理告警收敛级别升级阈值设置黑盒曲线检测旁路验证阈值学习人工智能白盒专家系统知识图谱语义网黑盒机器学习神经网络深度学习统计学习概率图聚类集成学习集成学习监控对象监控对象监控目标专有发货量业务容量变化量版本发布通用时延流量错误饱

4、和度网卡I/OMemoryCPU阈值临界点监控上报设计原则监控上报设计原则(平衡平衡/综合综合)分级原则 日志与异常数据分离 支持本地文件/TCP/UDP 支撑结构化和非结构化数据(数字上报)侵入式API和(统一)Agent合用 正常数据抽样和聚合业务监控常见定位问题方法常见定位问题方法收到报警查找日志定位原因拉群定位根因应该跟我没有关系，具体原因不清楚同上.1：依赖具体开发人员2：管中窥豹全链路自动定因全链路自动定因A12/56 A12/56 B12/56 B12/56 C12 C12 D12/56 D12/56 E12 E12 F12/56 F12/56 G12 G12 A12/56 A1

5、2/56 B12/56 B12/56 C12 C12 D12/56 D12/56 E12 E12 F12/56 F12/56 G12 G12 t tactactmodulemodule时间维度：查询历史类似报警以及原因活动维度：深度遍历调用链模块维度：广度遍历当前模块预处理：检测报警源IP地址结论：日志验证收敛性报警设计收敛性报警设计(分层分层)工单工单工单生成逻辑工单生成逻辑阈值类队列阈值类队列变化类队列变化类队列长期累积类长期累积类报警触发条件报警触发条件近期数据近期数据异常数据流异常数据流全量时序数据全量时序数据近期处理记录近期处理记录静态收敛规则静态收敛规则近期数据近期数据近期数据近期

6、数据升级升级历史特征历史特征报表报表自动结单 自动结单 一种常见监控架构一种常见监控架构数据清洗数据清洗异常数据/日志异常数据/日志ESES实时计算实时计算实时检测实时检测时序数据库时序数据库配置条件配置条件可视化可视化全量异常报警工单实时数据流全链路Topo可视化数据分层可视化报警可视化报警模版报警模版报警Title报警Title报警模块报警模块持续时间持续时间错误码错误码触发条件触发条件工单号工单号报警模块上报错误信息报警模块上报错误信息错误码历史与当前曲线图错误码历史与当前曲线图可能原因可能原因报警相关模块Topo图报警相关模块Topo图影响模块影响模块影响业务影响业务报警产生IP以及分

7、布报警产生IP以及分布处理人处理人处理方法处理方法处理中处理中结单结单屏蔽屏蔽查看详情查看详情机器人相关人A相关人B机器人相关人A相关人B流水号流水号监控之线下治理监控之线下治理（有效处理率）（有效处理率）工单工单定位工单干系人定位工单干系人工单操作工单操作工单升降级工单升降级工单自动处理工单自动处理工单报表工单报表规则库规则库周期review周期review工单历史数据工单历史数据业务关系库业务关系库NOC企业微信拉群企业微信邮件监控系统架构监控系统架构业务主动检测发布系统发布变更时序数据库实时流计算日志检索数据通道(过滤/路由/限流)消息队列日志存储黑盒验证智能分析实时引擎动态拓扑可视化工

8、具工单系统监控报表企业微信异常拓扑元监控报表引擎数据仓库基础设施No Silver BulletNo Silver Bullet(综合治理综合治理,无终南捷径无终南捷径)白盒方法和黑盒方法相结合“人肉”智能与人工智能相结合(数据驱动)实时查询与报表推送相结合实时流计算与离线数据分析结合线上治理和线下治理相结合负载保护三“兽”论负载保护三“兽”论(防系统雪崩防系统雪崩)上游入口流量自身硬件资源下游服务质量面面对对变变化化系系统统可可控控“防洪墙”设计原则“防洪墙”设计原则多维全局联动兼容扩缩容扩展性容灾容错易运营低消耗多维流控机制多维流控机制(不含业务层面不含业务层面)LBLB请求量下游服务下游

9、服务下游服务下游服务Processor2Processor2Processor3Processor3Processor1Processor1检查本机负载检查本机负载检查业务配额检查业务配额检查下游服务检查下游服务检查Set配额检查Set配额CacheCacheCacheCacheCacheCache业务维度map业务维度map业务维度计算业务维度计算业务维度计算业务维度计算业务维度计算业务维度计算资源维度计算资源维度计算资源维度计算资源维度计算资源维度map资源维度map配额计算服务配额计算服务接入层接入层接入层接入层接入层接入层LBLB读写分离读写分离流控效果图流控效果图本机负载策略本机负载策略本机策略软硬资源队列长度滞留架构设计CPU线程模式Memory共享放大倍数异常重试读写分离错误抑制超时设置双峰分布级联扩缩容慢启动冷缓存业务分级VIP弹性弹性“熔断熔断”与负载均衡与负载均衡下游服务下游服务下游服务key:ipkey:ipkey:ip业务重试风暴错误抑制弹性熔断ttqpsqpsttqpsqps普通熔断普通熔断弹性熔断弹性熔断