《京东-白冰-白泽--京东BDP的全域监控管控系统.pdf》由会员分享,可在线阅读,更多相关《京东-白冰-白泽--京东BDP的全域监控管控系统.pdf(32页珍藏版)》请在三个皮匠报告上搜索。
1、主办方: 白泽 京东BDP的全域监控管控系统 白冰 京东 资深研发工程师 主办方主办方: 白冰 资深研发工程师 “ 2015年入职京东,担任数据中台计 算引擎研发工程师。在大数据平台领域有 丰富的经验,曾主导了分布式计算引擎 (JDHive, JDSpark, JDPresto)、统一 元数据服务(JDMetaService)的架构设计 与研发。 目前任白泽系统架构师,提出了BDP 全域监控+管控的理念与目标: 打通各组件 的监控壁垒,让监控系统也能千人前面。 此外,白泽致力于让系统的数据反哺 到系统,让平台的能力回馈至平台。给超 大规模数据平台装上眼睛的同时,也给其 配上大脑。 ” 个人与议
2、题简介 白泽 上古神兽 寓意逢凶化吉 主办方主办方: 案例背景案例背景 主办方主办方: 大数据平台面临的挑战 京东大数据平台在数据量、计算量、集群规模、应用场景等方面连年快速增长,系统中原本微小的不稳 定因素如: 硬件突发问题,用户不规范操作,软件特定场景下的隐藏bug等都会时刻影响整个平台的可靠 性。 与此同时,大数据平台发生问题产生的结果往往是连锁式的,如何构建关系链,快速且精准定位问题根 源? 是否能够预测将要发生问题,防患于未然? 如何给数据平台加上大脑,让超大规模集群变的灵活、智能起来? 主办方主办方: 业界的解决办法是?业界的解决办法是? 服务自带管理页面分布式监控系统 TICK
3、主办方主办方: 超大规模超大规模数据平台需要的更多数据平台需要的更多 作业管理!作业管理! 集群管控!集群管控! 预测自愈!预测自愈! 全域融合 实时分析 多维关联 自动升级 关系链 聚类降噪 规则动态修改 调度赋能 计算赋能 自愈 熔断 全(半)自动管控 事前能防!事前能防! 事中能控!事中能控! 事后能补!事后能补! 主办方主办方: 白泽系统在BDP中的定 位 主办方主办方: 白泽系统在BDP中的定位 System/Mem/Disk/NetWork HDFS/Kafka/HbaseYarn/Kubernetes 元数据 服务 IDE/Buffalo/EasyBI/Xingtu/Aurora 权限 管理 JRCMapReduceOLAP 。 Clickhous e Flink StormPig Hive Kylin Tensorflo w Spark Presto 服务治理 作业管控 队