1、喜拉雅数据混合云案陈涛 数据技术专家|我介绍|陈涛喜拉雅数据集群架构组负责前专注集群优化和稳定性提升曾负责喜拉雅计算平台组0-1构建博客：https:/ CONTENT|集群现状、问题与优化存储治理计算弹性计算加速01 集群现状、问题与优化|集群现状|主存储集群单机房 750+hadoop机器，主要机型存算体 存储 hadoop3.2.1 71PB总容量 使率68%净增量超过200TB 主计算集群 hadoop2.9.2 26000核140T内存 作业10w+资源使呈现明显潮汐现象集群稳定性典型问题|datanode和nodemanager相互影响 cpu影响，任务占量cpu资源，导致data

2、node响应慢 I/O影响，磁盘共，部分任务shuffle等打满磁盘，影响datanode稳定性 任务写热点 streaming任务落盘hdfs，hdfs数据本地化特性导致部分datanode 持续热点集群优化|Cgroup限制Yarn资源使：集群优化|Cgroup限制Yarn资源使：Before集群优化|Cgroup限制Yarn资源使：BeforeAfter集群优化|计算、存储磁盘隔离集群优化|计算、存储磁盘隔离12T HDD(hdfs/yarn)12T HDD(hdfs/yarn)12T HDD(hdfs/yarn)12T HDD(hdfs/yarn)12T HDD(hdfs/yarn)1

3、2T HDD(hdfs/yarn)12T HDD(hdfs/yarn)12T HDD(hdfs/yarn)Before集群优化|计算、存储磁盘隔离12T HDD(hdfs/yarn)12T HDD(hdfs/yarn)12T HDD(hdfs/yarn)12T HDD(hdfs/yarn)12T HDD(hdfs/yarn)12T HDD(hdfs/yarn)12T HDD(hdfs/yarn)12T HDD(hdfs/yarn)Before12T HDD(hdfs)12T HDD(hdfs)12T HDD(hdfs)12T HDD(hdfs)12T HDD(hdfs)12T HDD(hdfs

4、)1T SSD(yarn)1T SSD(yarn)After集群优化|计算、存储磁盘隔离集群优化|计算、存储磁盘隔离规格机器集群优化|计算、存储磁盘隔离规格机器新改造机器集群优化|计算、存储磁盘隔离规格机器新改造机器BeforeAfterHDFS readavg:12ms max:50msavg:4ms max:10msHDFS writeavg:3ms max:60msavg:1ms max:8msYarn readavg:12ms max:50msavg:1.6ms max:16msYarn writeavg:3ms max:60msavg:6ms max:20ms集群优化|客户端持基于配

5、置的hdfs忽略本地写（流任务泛开启该特性）02 存储治理|存储治理|采购交付周期，季度为单位 业务难以准确预估增量 数据增量超过200TB 提前闲置机器有额外的财务成本 由于审计、财务等场景，量冷数据法删除 建IDC空余机架不多，法在机房持续扩容存储分析|存储分析|FSImage解析调优 LevelDB缓存Path 多线程解析 效果 5.7亿件3时解析写Clickhouse 持任意path秒级查询和分析存储分析效果展示|存储分析效果展示|调度系统FSIMage解析任务管理存储分析效果展示|存储分析效果展示|可视化系统-HDFS存储看板冷数据上云|核盾 由于各种业务原因，量的表删除规则较为保守

6、 业务增量快，机房扩容难 标 在IDC机房法扩容情况下撑前数据增量 使过程中对业务透明 成本低于机房 案实现 业务设置表分区IDC保留时间 过期分区通过spark任务定时上传到云上低频对象存储 修改hive metastore对应分区location到cos 计算平台任务加cos相关依赖，通过HDFS FileSystem实现对cos透明读取冷数据上云效果|冷数据上云效果|表规则配置&Hive Location展示冷数据上云效果|冷数据上云效果|CosBrowser件展示冷数据上云效果|CosBrowser件展示03 计算弹性|计算弹性|采购交付周期，季度为单位 计算资源需求潮汐现象明显 按照

7、峰值储备机器浪费严重 业务难估计计算资源增量 建IDC空余机架不多，法在机房持续扩容计算引擎XQL语法|计算平台架构|2016年上线服务公共服务任务8w+15000core、40T内存常驻Spark实例40+、路由管理P50 20s,P75 80s,P90 250s持流量标签分发、租户隔离每PB级别数据处理计算平台架构|2016年上线服务公共服务任务8w+15000core、40T内存常驻Spark实例40+、路由管理P50 20s,P75 80s,P90 250s持流量标签分发、租户隔离每PB级别数据处理计算弹性|核问题 机器交付周期 计算任务潮汐现象明显 突发情况下资源保证 标 将部分早峰

8、的业务以弹性的式扩容到云上 突发情况下分钟级交付计算资源 存算分离实践，提机器cpu利率 案 维护最化的云上EMR集群 对云上集群定时扩缩容 计算引擎对应时间点扩容到EMR上计算弹性效果|计算弹性效果|EMR集群计算弹性效果|计算弹性效果|EMR引擎调度计划计算弹性效果|计算弹性效果|EMR集群监控概览计算弹性效果|计算弹性效果|EMR集群CPU使率流量重放-升级上线利器|流量重放-升级上线利器|Spark版本升级 XQL 新功能上线 上云、新集群迁移流量重放-升级上线利器|Spark版本升级 XQL 新功能上线 上云、新集群迁移计算弹性|问题解决办法EMR机器需要通过主机名访问IDC机器（M

9、ySQL、Redis等）通过EMR前置脚本动更新弹性机器的/etc/resolv.conf和/etc/hosts业务团队透明查看云上任务的志等通过CLB代理Knox，配置名单+办公映射EMR集群和IDC机器ntp不致，staging Resource 检查报错，YARN-5277编译，去掉timestamp检查，通过EMR脚本进jar分发04 计算加速|络拓扑|络拓扑|核问题：专线带宽络拓扑|核问题：专线带宽计算加速-多云调度|计算加速-多云调度|多公有云EMR集群计算加速-多云调度|计算加速-多云调度|XQL集群控制计算透明缓存|未来计划|Spark K8S探索 Remote Shuffle Service产落地 存算分离落地、CPU利率提升 APP数据机器混合部署 HDFS透明加速、缓存跟进（Alluxio&JindoFS）常感谢您的观看|