1、G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站运维数据平台的技术实现G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站目录运维数据平台整体架构1运维数据平台功能介绍2基于运维数据平台的应用3G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站运维与大数据运维开发(SQL+脚本）实时监控告警快速获取数据数据无损、血缘多种多样数据源大数据开发(Java，Scala)流式计算数据服务（API，SDK）采集+存储数据管理+G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站

2、运维数据平台5 中间服务层全链路数据资产管理（元数据管理、数据质量、数据标准、数据安全）计算引擎数据采集GSE DataServer异构存储MySQLESRedisTSDBTDWHDFSTPG私有云公有云混合云TDM Server数据源机器学习GCloud SDK场景应用日志检索监控告警安全应用营收预测日志数据集指标数据集安全数据集营收数据集数据集成自助数据接入与同步数据总线（清洗、共享）数据开发全链路数据开发IDEFaaS|WorkFlow数据查询统一查询引擎|交互式异构存储管理数据挖掘流程化数据建模工具样本管理&标记工具全域数据集市.TDBankTDW-SparkTeslaG O P S

3、全 球 运 维 大 会 2 0 1 9 上 海 站一站式运维大数据服务集成多类数据源 跨云数据采集|兼容各类异构数据源|自助化接入|实时ETL|开放式采集框架数据集成数据开发数据查询统一分析一站式、低门槛开发 屏蔽多种计算引擎|拖拽式数据流开发IDE|统一 SQL|UDF|用户组件注册统一的多样化数据查询 异构存储体系|统一查询SQL|OLAP+OLTP+全文检索全流程、可视化数据建模 兼容多种开源BI|BI与AI融合|运维场景化机器学习|可视化样本标记数据管理全链路数据跟踪管理 全链路数据质量监控|完整的数据血缘&审计|标准化数据服务|全域数据集市 G O P S 全 球 运 维 大 会 2

4、 0 1 9 上 海 站目录运维数据平台整体架构1运维数据平台功能介绍2基于运维数据平台的应用3G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站运维数据平台功能数据集成01G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站数据集成接入G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站数据集成清洗G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站数据集成入库G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站数据集成架构数据接入层基础性能数据库静态数据日志文件HTTP自定义TDW.数据总线（DataBus）Inner

5、HDFSConnector ESConnector JDBCConnector OtherConnector 数据分发Kafka数据过滤数据扩展 数据切分数据格式化 实时ETL存储集群 1 存储集群N 蓝鲸其他平台配置平台作业平台标准运维PaaS平台GSE数据管道数据开发（DataFlow）实时计算离线计算IGFSG O P S 全 球 运 维 大 会 2 0 1 9 上 海 站数据集成传输云区域 BAgentproxyAgentAgentTaskServersFileServersDataServers云区域 CproxyproxyAgentAgentAgentAgentAgent接入对象主

6、要为服务端数据接入原则不入侵业务架构接入方式agent采集、远程拉取、远程推送接入类型日志、数据库、基础性能、TLOG、TQOS 开源组件和系统Metric指标（Redis、Apache、MySQL等）、HTTP、灯塔、TDW、TGLOG GSE 数 据 管 道G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站数据集成采集MetricbeatLibbeatPacketbeatFilebeatBaseportbeatLogbeatcAdvisorbeatProcesserbeatBeats采集器公共库Beats自带采集器平台提供采集器ExporterbeatDatadogbeat

7、对接开源监控系统快照采集拨测采集容器采集用户自定义采集器DatadogPrometheus采集器管理G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站运维数据平台功能数据开发02G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站数据开发项目G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站数据开发配置G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站数据开发开发G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站数据开发运行G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站数据开发监控G O P S

8、全 球 运 维 大 会 2 0 1 9 上 海 站数据开发调试G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站数据开发补算G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站数据开发架构DataFlowBKSQLDataFlow IDEProcessing EngineSQL引擎SQLParserAdapterDataFlow配置管理ManagerDebug运维函数告警发布、变更Monitor故障处理标准运维APIJob ManagerFlow EngineDataFlow统一计算层AdapterOneUDFG O P S 全 球 运 维 大 会 2 0 1 9

9、 上 海 站数据开发统一计算业务计算逻辑（SQL）计算逻辑解析Logical Plan优化Physical Plan优化计算引擎 中间层计算因子合并，降低跨网络开销，提高资源利用率自动添加Merge处理策略，减少用户配置成本提供Grouping预计算策略，提升海量计算性能一套业务计算逻辑，适用于多种计算框架屏蔽底层计算框架的差异，消除使用成本RunnerRunnerRunner全局统一Checkpoint机制，保证数据一致性G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站运维数据平台功能数据查询03G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站数据查询存储

10、HDFSTspiderElasticSearchTSDBOLAPTredis非结构化 关系型 KV 半结构化 时序型 分析型 模块日志调用日志异常日志埋点日志日志IP配置库主机配置策略配置配置主机网络基础安全系统在线登录注册对局指标关联多维探索洞察分析永久文件冷数据历史G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站数据查询SQL查询G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站数据查询全文检索G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站数据查询架构G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站运维数据平台功能数据

11、管理05G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站数据管理元数据G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站数据管理数据集市G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站数据管理数据质量监控数据丢失监控数据延时监控G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站数据质量监控架构CleaningKafkaKapacitorDataMonitorBkAlertDashboardDataTraceParsing指标清洗指标监控全链路数据埋点ChronografTelegrafRecoveryDBHTTP数据源计算接入

12、总线清洗分发实时离线存储LogG O P S 全 球 运 维 大 会 2 0 1 9 上 海 站运维数据平台功能智能运维06G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站智能运维异常发现单指标异常检测文本异常检测预测故障运维操作推荐故障处理异常故障诊断异常指标关联指标事件关联故障定位跟踪运维确认工单流程智能化运维绝大多数都是智能监控工单G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站场景化建模单指标异常检测G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站场景化建模样本标注G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站A

13、IOps建设方案（场景+数据+分析=运维大脑）G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站目录运维数据平台整体架构1运维数据平台功能介绍2基于运维数据平台的应用3G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站英雄联盟网吧特权实时计费5分钟实时扣费离线对账反外挂G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站雪球（智能开合服）智能开合服决策分析合服策略推荐合服游戏平衡分析开服灌服速度预测01 02 03 04G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站ICM（手游成本优化）成本&收入分析成本优化策略推荐G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站游戏智能扩缩容在线走势预测机型承载能力分析动态扩缩容01 02 03G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站GEM（游戏体验优化）游戏体验监控商城购买用户体验分析跨版本更新分析回流用户精准转化G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站多米诺（故障定位分析）业务数据关联分析周边系统故障分析第三方告警关联分析01 02 03