1、G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站阿里超大规模Flink集群运维揭秘G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站目录阿里Flink集群运维挑战1Flink运维管控平台2Flink运维解决方案3阿里Flink运维碰到的挑战、思考、解决G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站阿里Flink集群发展背景和现状介绍阿里流计算引擎发展历史Galaxy(自研)JStorm(Storm)Blink(Flink)技术统一业务发展超大规模Flink集群流计算、批计算、机器学习.集群规模大 几万个计算节点 几百个集群系统复杂 几十个上

2、下游 底座多样化用户规模大 几千个用户 几万个作业出口多元化 专有云/公共云.几十个地域Flink服务每秒处理几十亿条消息！低延时、高吞吐、一致性G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站几个同学如何运维“奔跑着的大象”？运维挑战运维挑战：运维人力少，业务规模大，发展迅速稳定 如何减少服务故障 如何保障大促稳定 大量运维操作如何保持一致性成本 如何管理硬件资源 如何管理用户资源 如何降低运维人力成本效率 值班答疑 问题排查 如何减少人肉运维G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站以技术为基础的Flink运维技术解决方案效率标准化稳定性成本自动化

3、数据化Flink运维技术解决方案以技术为基础：Flink运维管控思考G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站目录阿里Flink集群运维挑战1Flink运维管控平台2Flink运维解决方案3G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站Flink运维管控介绍Flink运维管控架构及运维解决方案介绍定位：着力于稳定、成本、效率，提供一站式、超大规模Flink集群运维技术解决方案提供服务/集群/机器维度场景化运维管理，包括一键发布、启停服务等提供实时监控图表，运维实体健康度监控，定制化配置监控大盘提供资源生命周期管理，包括硬件自动化上下线，用户资源管理闭

4、环提供权限管理及审计功能，您能设置访问控制及管理操作日志提供数据化运维/运营增值功能，如智能诊断，故障自愈，ChatOpsFlink运维管控产品定位、用户、功能介绍G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站Flink运维管控架构Flink运维管控架构及运维解决方案介绍运维管控架构：数据层：运维元仓建设、实时/准确 服务层：运维服务提供、稳定/安全 功能层：用户功能场景、简单/高效运维解决方案：稳定：软件生命周期 成本：资源生命周期 效率：日常运维效率G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站一站式运维超大规模Flink集群！Flink运维管控功能

5、Flink运维管控功能介绍G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站目录阿里Flink集群运维挑战1Flink运维管控平台2Flink运维解决方案3运维管控上承载的技术解决方案介绍G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站稳定性：发布变更发布场景自动化，发布流程工单化实现稳定、高效大规模发布背景：集群多、发布场景复杂、流程复杂挑战：大规模集群如何稳定、高效地发布变更分钟级别提单，全服务集群自动化发布G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站稳定性：发布变更Flink作业透明升级方案上万个Flink作业如何升级？流计算作业是

6、长任务、不同版本State兼容性 作业升级流程复杂、数量规模大Flink运维管控作业升级方案G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站稳定性：服务故障故障是有生命周期的，通过技术手段来减少故障。异常隐患故障生命周期监控告警故障发生故障恢复1.故障隐患阶段目标：主动发现、自愈2.故障发生阶段目标：快速发现、恢复服务正常目标：减少故障传统对于故障的认识：来临前：不期而至，没法避免，被动 来临时：各种问题，手忙脚乱，救火 结束后：加报警，改过程，靠人肉重新认识故障：故障是有生命周期的 技术手段，系统地减少故障，低成本维护G O P S 全 球 运 维 大 会 2 0 1 9

7、上 海 站稳定性：服务故障服务故障隐患主动发现、自愈1.故障隐患主动发现、自愈紧急程度异常项治理规则高zk连接数过高强制停止中state写入过快降低优先级低持续FailOver通知整改.“潜伏期”自愈场景“已暴露”自愈场景报警批量机器Load高异常事件感知机器列表决策执行通知找到异常作业停止作业通知用户G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站稳定性：服务故障服务故障隐患自愈的效果电话告警：几十个/周-个位数/周短信告警：几K/周-几十/周监控告警自愈技术手段解决，低成本维持！1.服务故障隐患自愈效果G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站故障

8、定位服务诊断 故障影响面量化 根因定位稳定性：服务故障服务故障发生快速发现、恢复2.故障发生快速发现、恢复故障发现异常检测 不同集群规模 多指标关联故障定义黄金指标 衡量服务质量 金字塔原则作业状态：调度/运行/异常故障恢复故障自愈 自动化恢复 人肉恢复故障自愈方案计算集群容灾切换ZK服务主备容灾切换服务异常事件自愈G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站稳定性：服务故障服务故障根因诊断问题：现在Flink集群服务正常吗？挑战：系统复杂，异常根因定位难度大 排查过程效率低，故障影响面扩大1.模块诊断2.集群诊断3.服务诊断分钟级别定位故障根因、以及恢复建议G O P

9、S 全 球 运 维 大 会 2 0 1 9 上 海 站稳定性：大促保障-压测挑战一：用户作业压测流程复杂、人肉效率低Flink运维管控压测功能挑战二：服务水位压测如何精准控制大规模压力压力：几十亿/SFlink大促压测解决方案安全水位实际水位2倍压力4倍压力8倍压力生产Source灌数据Flink作业影子SourceG O P S 全 球 运 维 大 会 2 0 1 9 上 海 站稳定性：大促保障大促重点业务如何保障双11GMV链路全天平稳延时秒级！稳定性效果G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站成本：用户资源大规模用户复杂资源需求如何管理挑战：集群资源如何合理、高

10、效分配给用户背景：用户规模大、资源管理场景复杂用户资源生命周期预算服务资源运维服务计量计费服务.管控服务方案：用户资源生命周期管理技术方案G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站成本：硬件资源通过机器资源生命周期管理自动化，提升机器利用率，降低成本物理机容器ECS.机器形态机器申请业务场景扩容上线硬件维修资源腾挪缩容下线过保释放挑战：万分之一概率-几台机器故障/天 机器资源业务管理场景复杂机器资源生命周期管理自动化方案：机器资源生命周期管理自动化机器利用率提升，降低成本G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站效率：作业诊断Flink作业诊断给

11、出根因、建议，提升排查效率问题：我的Flink作业是否正常？挑战：分布式系统原理复杂 Flink状态复杂、上下游链路冗长 上百次/每天的作业问题定位Flink作业一键诊断方案机器集群变更事件YARNHDFS管控日志JMTMRM接口延时流量内存指标数据服务提交调度运行状态运行异常日志聚类异常日志标注反馈性能数据运行指标代码血缘诊断服务用户用户开发运维入口管控IDE机器人作业结果诊断诊断规则现象原因建议方案：Flink作业一键诊断反馈G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站效率：作业诊断Flink作业诊断服务实现和效果提交日志 调度日志作业运行生命周期海量异常日志AM/T

12、MFO日志调度日志日志聚类实体提取自然语言处理专家标注解决方案2.异常日志聚类3.运行指标诊断1.作业运行状态延时流量反压上下游GC.排查经验异动检查实时指标指标诊断异常日志原因建议Flink作业诊断服务实现诊断经验规则库G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站效率：运维实体诊断通过运维实体诊断技术方案实现赋能排查能力经验数据原理.实体诊断作业诊断集群诊断机器诊断.诊断技术实现提升效率问题定位根因分析恢复建议意见反馈赋能用户G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站效率：智能运维机器人运维智能答疑机器人运维智能机器人机器人服务业务场景问题答疑运维搜索监控通知操作引导知识图谱文档检索日志查询实体查询运维服务诊断服务工单服务变更操作运维流程工单审批故障响应.我的作业怎么了？某个SQL怎么写？集群有变更吗？今天值班是谁？.用户协同工具ChatOps文档操作流程.G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站WeNeedU！加入阿里大数据SRE！