1、GOP S 全 球 运 维 大 会 2019上 海 站GOP S 全 球 运 维 大 会 2019上 海 站立体化监控中人工智能场景落地GOP S 全 球 运 维 大 会 2019上 海 站目录自我介绍1痛点和现状2实践之路3场景落地4思考和展望5GOP S 全 球 运 维 大 会 2019上 海 站 互联网电商企业10余年平台监控开发经历 2014年4月加入京东，保障了移动端占比从20%到80%的规模 目前负责京东前端监控质量平台的开发，保障日常业务稳定支撑大促平稳渡过 曾经参与过腾讯电商业务监控系统，中间件监控系统开发自我介绍GOP S 全 球 运 维 大 会 2019上 海 站目录自我介

2、绍1痛点和现状2实践之路3场景落地4思考和展望5GOP S 全 球 运 维 大 会 2019上 海 站没有核心的痛点以及真实的需求需求缺乏真正会AI的人才以及配套设施资源体系内没有对AI正确的规划以及技术体系规划为什么不做和做不了AI？结合特定场（痛）景（点），通过海量数据的持续学习及算法优化，解决复杂问题得到更优决策创造价值。本质难点GOP S 全 球 运 维 大 会 2019上 海 站普遍的监控普遍的监控述求述求准确率、覆盖率、及时性需要亟待提高告警告警风暴、根因定位、及时止损提升诊断效率故障诊断重要性识别、容量规划、健康报告应用画像需求GOP S 全 球 运 维 大 会 2019上 海

3、站设备很贵且用且珍惜1、投入和产出是否匹配2、不被收割智商税机器资源GOP S 全 球 运 维 大 会 2019上 海 站大神资源招人成本高，人才竞争激烈技术门槛高大神很贵墨菲定律墨菲定律工程与算法分离算法理解，结合工程大神很挑GOP S 全 球 运 维 大 会 2019上 海 站基础设施脏话累坏我不干，谁爱干谁干有多少人工，就有多少智能打标平台是核心基础平台明确打标规则，减少模棱两可通过算法反补打标平台GOP S 全 球 运 维 大 会 2019上 海 站目录自我介绍1痛点和现状2实践之路3场景落地4思考和展望5GOP S 全 球 运 维 大 会 2019上 海 站用户反馈网络切换应用画像细

4、分维度的场景基础维度场景微观和宏观场景结合点面结合告警基线GOP S 全 球 运 维 大 会 2019上 海 站线上用户反馈发现故障并进行预警用户反馈基础组件收敛告警告警基线根据网络故障时进行自动切换网络监控为啥能成功？场景可以简单抽象，关联数据项并不多，长期有人肉操作成功组GOP S 全 球 运 维 大 会 2019上 海 站预期结果预期：通过对应用进行容量画像的计算，推动大促扩缩容工作快速开展结果：数据沉淀以及打通不够导致模型普适性有较大问题1、根据历年数据，人工进行预估，预估不足时多次压测，多次扩容，导致研发、测试、运维人力投入增加2、基于单一维度计算，简单的判断当前应用维度容量的使用情

5、况1、应用场景过于细化，模型普适性低，如：内存密集型，cpu密集型，带宽密集型等。2、临界值压测工具有所欠缺，底层数据沉淀不够关于数据格式化以及底层工具支持度任重道远失败组GOP S 全 球 运 维 大 会 2019上 海 站目录自我介绍1痛点和现状2实践之路3场景落地4思考和展望5GOP S 全 球 运 维 大 会 2019上 海 站由于整点秒杀、抢购业务特点，核心系统指标数据存在毛刺，不确定因素多，噪声较大基于历史数据，做加权平均计算，可的出得出相对准确的未来预测值，包括日常峰值毛刺和低谷值根据准确的预测值，设置较低的阈值，可以敏感的发现各类问题网络探测数据，客户端图片异常数据与订单，登录

6、分运营商数据进行多重比对共享告警阈值设定方案，对敏感网络较差地区网络告警进行有效收敛场景因为多地不同网络探测告警的特殊性，误告频繁，联合告警后网络告警误告率降低了80%图片CDN异常与网络一样有多地多维度特性，与核心指标关联后降低了90%的误告率数据策略效果基础告警组件：基线预测GOP S 全 球 运 维 大 会 2019上 海 站32个省*3大运营商+中小运营商+海外，质量各不同京东覆盖多地多机房的接入点运营商交割太磨人切换效率低下，场景固定网络监控：背景GOP S 全 球 运 维 大 会 2019上 海 站客户端测用户主动进行网络探测充分的数据准备各机房agent反向拨测用户ip客户端网络

7、组件图片组件侧的异常日志地区机房运营商核心参考指标主动拨测异常日志被动拨测核心关联指标网络监控：数据沉淀GOP S 全 球 运 维 大 会 2019上 海 站根据采集的数据判断是否需要进行切换提供移动端的切换建议工具，辅助进行快速切换根据切换场景进行全自动切换算法落地，进行切换中，切换后的争取度回调全手动半自动全自动网络监控：智能调度电信联通移动智能调度基于长期稳定的数据，从自助化到自动化再到智能化GOP S 全 球 运 维 大 会 2019上 海 站用户反馈：背景&目标目标AI分类算法，提升分类告警的准确度；不断细化告警的场景，达到相似问题匹配聚合并聚类告警；增加反馈情绪分析服务，积累情绪分

8、析数据；增加新的反馈算法以及探索新类目自动识别判断功能，提炼技术通用模板或共性，扩展应用到更多的场景中，在技术积累的基础上有更多的创新及技术突破。人工分类效率低近一年多的反馈数据目前尚处于人工分类状态，效率较低。分类准确度低用户反馈前，原分类器模型分类准确度低、告警准确度低。分类依赖人工标注分类完全依赖人工分类和标注，费时费力。分类告警粒度较粗同类问题，无法统一、集中告警，出现漏报现象。问题跟进参考维度单一问题跟进方面较单一，无法覆盖更多应用场景。新类目无法自动识别判断对于新增的类目，需要研发后台手工添加，并且需要重新训练新分类模型。各渠道端数万条用户反馈人工打标的数据作为数据样本，主要采用了

9、KNN，nave bayes,random forest,logistic regression等分类算法进行学习分析尝试，并逐步通过加大学习样本的方式，使用户反馈分类匹配更为精准，逐步减少人为打标工作量用户反馈分类有具体的二级三级层级关系，通过几十万的历史样本数据对识别模型训练后，以下是随机抽取的待识别样本识别的准确率。去噪后的识别样本，KNN二次识别已经能够对样本识别达到较高的准确率用户反馈：架构GOP S 全 球 运 维 大 会 2019上 海 站优化分类算法，重新训练模型，模型整体精度提升了39.58%，提升了分类告警的准确度。提升分类的准确度算法可在保证模型精度的情况下,大大减少模型

10、训练中人工标注资源的依赖程度,可实现半监督反馈分析算法，对未来系统的持续更新维护有相当的现实意义。降低打标依赖度AI分类反馈数据查询界面、打标修正界面、可实时、高效查询用户反馈等信息。AI反馈数据展示新增相似反馈聚类算法，对相似问题进行了匹配聚合，实现了相似聚类告警。丰富了告警信息，细化了告警场景。细化告警场景反馈情绪算法，积累情绪数据，便于从用户情绪角度判断用户反馈问题的严重性，为后期问题跟进提供更多的参考维度。增加问题跟进的参考维度不同分类可灵活设定不同的告警阈值，每个分类下的相似反馈都可设定不同的回溯时间、相似值、以及检测频次,方便告警策略的配置，减少误告。告警配置更灵活用户反馈：提升点

11、GOP S 全 球 运 维 大 会 2019上 海 站用户反馈：更准确、更易维护使用新的深度学习模型，比原分类算法精确度提升了39.58%。半监督学习算法，每个类目只需少量条标注数据，即可保证提升33%以上精度。9420万+74打标分类量打标数据量重点类目更高精度的分类模型降低数据标注依赖GOP S 全 球 运 维 大 会 2019上 海 站用户反馈：更及时、更多维度京东生鲜很喜欢，点赞退款为什么好没到账？白条页面总是闪退为什么白条总是闪退？生鲜真的好方便！扫啊扫怎么用？京豆怎么领物流非常快，很满意！.情绪分析新类目检测热点监测京东生鲜白条物流京豆白条闪退新热点：“扫啊扫”建议添加新类目GOP

12、 S 全 球 运 维 大 会 2019上 海 站用户反馈：实际案例分析(一）总结：该事件被相似反馈算法及分类算法同时命中，能及时、精准的发出告警。如上图在项目中把相似类目进行了整合，如京东游戏、领京豆分类整合至京豆分类中，相似问题进行了聚合并发出告警。GOP S 全 球 运 维 大 会 2019上 海 站用户反馈：实际案例分析(二）总结：该事件被用户相似反馈算法及分类算法告警命中，能及时、精准的发出告警。如右图GOP S 全 球 运 维 大 会 2019上 海 站用户反馈：持续优化分类告警阈值精度调优相似反馈告警阈值精度调优情绪反馈数据打标&优化算法新类目自动识别自动打标后期将不断调优分类及相

13、似反馈告警阈值精度，确保告警的准确性和时效性。不断探索新的技术、算法，实现新类目的自动识别判断，帮助提炼识别用户反馈涉及到的新功能或者新场景，帮助实现类目的优化。最终将智能技术融合到用户反馈平台。用户反馈管理平台融合GOP S 全 球 运 维 大 会 2019上 海 站目录自我介绍1痛点和现状2实践之路3场景落地4思考和展望5GOP S 全 球 运 维 大 会 2019上 海 站部门规划前期投入大，需要规模效应场景复用摊薄成本发现ai落地场景的眼睛深入挖掘数据人多智能，ai就有多智能珍惜打标资源思考和展望GOP S 全 球 运 维 大 会 2019上 海 站Thanks高效运维社区开放运维联盟荣誉出品