上海品茶

三个皮匠报告
上海品茶
最新
合集
英文
会议
图表
入驻
付费
new
报告
报告 合集 图表

2019年搜狗EB级别大数据平台架构优化实践.pdf

编号：97379 PDF 36页 11.25MB 下载积分：VIP专享
下载报告请您先登录！

2019年搜狗EB级别大数据平台架构优化实践.pdf

1、搜狗EB级别大数据平台架构优化实践搜狗EB级别大数据平台架构优化实践About Us来自搜狗大数据平台部基于Apache Hadoop生态，建设搜狗海量数据存储和计算平台提供稳定高效的数据分析系统，为搜狗各类型大数据应用，提供一站式数据处理服务每天数十亿的数据增量，数以万计的数据计算流程，使数据的价值得到充分利用最前沿技术落地及推进开源技术的发展搜狗Hadoop生态系统搜狗Hadoop集群现状搜狗Hadoop技术演进时间线搜狗Hadoop技术演进时间线二级目录拆分-HDFS-Architecture二级目录拆分-HDFS-Federation二级目录拆分-搜狗面临的问题二级目录拆分-搜狗的解决

2、方案二级目录拆分-配置项搜狗Hadoop技术演进时间线YARN集群间弹性计算集群现状多集群模式集群资源有限集群资源利用率不同任务优先级不同思考集群间的资源能否共享任务能否跨集群计算能否根据负载弹性控制用户透明，使用方便YARN集群间弹性计算YARN集群间弹性计算YARN集群间弹性计算搜狗Hadoop技术演进时间线智能数据管理平台集中式缓存Cache小文件HarStoragePoliciesErasureCoding HDFS数据管理工具智能数据管理平台 HDFS数据管理工具智能数据管理平台 搜狗数据生命周期管理HotData:1小时内的访问次数达到一定阈值WarmData:近期有访问的数据Co

3、ldData:半年或一年没使用过的数据智能数据管理平台智能数据管理平台搜狗Hadoop技术演进时间线YARN-Run a jobContainer-ResizeNodeManager分析优化NodeManager分析80%的container资源富余少数container资源不足NodeManager优化富余资源收集资源超售NodeManager资源超售资源超售Container申请的资源Container实际使用的资源超售资源收集Container资源超售超售资源回收Container申请资源Container实际使用资源超售成本收集资源超售超售资源回收NodeManager资源超售0123

4、45678205022060420801OOM 任务数量及计算成本趋势OOM 任务(百)OOM container(十万)计算成本(千)搜狗Hadoop技术演进时间线Observer05000000002000000250000020907274209072772090727020907272220907280020190728012

5、090728032090728052090728072090728092090728220907285209072882090728202090728222090729002019072901读写请求读写请求readwriteObserver 一致性读功能 Observer namenode 社区patch HD

6、FS-12943ObserverIf c.lastSeenId.ANN=c.lastSeenId.OBN thengoto ANN and update c.lastSeenId.ANNWait until OBN reaches c.lastSeenId.ANNObserver 收益 Observer承担70%80%的读请求 Write吞吐量提升2倍左右02000004000006000008000000002090275209027920

7、90272220902802090280520902808209028220902862090280209028232019102900Read,write,ObserverreadwriteobserverObserverObserver在2.6上遇到的问题block report时间过长HDFS-8865HDFS-6763Observer读延迟HDFS-10519HDFS-10877HADOOP-15684Tail In-Progress Edits问题HDFS-14317HDFS-13145后续工作 Hadoop升级至3.2版本 机器学习平台submarine DockerContainerExceutor CapacityScheduler RouterBasedFederation

友情提示

1、下载报告失败解决办法
2、PDF文件下载后，可能会被浏览器默认打开，此种情况可以点击浏览器菜单，保存网页到桌面，就可以正常下载了。
3、本站不支持迅雷下载，请使用电脑自带的IE浏览器，或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩，下载后原文更清晰。

本文（2019年搜狗EB级别大数据平台架构优化实践.pdf）为本站 （云闲） 主动上传，三个皮匠报告文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私，请立即通知三个皮匠报告文库（点击联系客服），我们立即给予删除！

温馨提示：如果因为网速或其他原因下载失败请重新下载，重复下载不扣分。
客服
商务合作
小程序
服务号
会员动态
会员动态 会员动态：

186**92...  升级为高级VIP 183**77...   升级为至尊VIP

185**95... 升级为标准VIP  wei**n_...  升级为高级VIP

wei**n_...  升级为至尊VIP   wei**n_... 升级为高级VIP

wei**n_...  升级为高级VIP wei**n_... 升级为标准VIP 

wei**n_...  升级为至尊VIP  153**57... 升级为高级VIP 

 emp**or 升级为至尊VIP xi**ey  升级为至尊VIP

wei**n_...  升级为至尊VIP 188**16... 升级为至尊VIP 

wei**n_... 升级为至尊VIP  wei**n_... 升级为高级VIP  

151**01...  升级为高级VIP wei**n_...  升级为标准VIP

 ath**e@... 升级为高级VIP  186**90... 升级为至尊VIP

wei**n_... 升级为高级VIP   wei**n_...  升级为标准VIP

wei**n_...  升级为高级VIP 131**19...  升级为至尊VIP 

 138**03... 升级为标准VIP  137**20... 升级为标准VIP 

 wei**n_... 升级为高级VIP  微**...  升级为高级VIP

wei**n_... 升级为标准VIP   136**07... 升级为至尊VIP

随**... 升级为至尊VIP  wei**n_...  升级为至尊VIP

wei**n_...  升级为标准VIP  189**76...  升级为至尊VIP 

 Ma 升级为至尊VIP 157**81... 升级为标准VIP

153**87...  升级为高级VIP   wei**n_... 升级为标准VIP

 wei**n_... 升级为标准VIP wei**n_...  升级为高级VIP

微**... 升级为至尊VIP  wei**n_...  升级为标准VIP

wei**n_... 升级为至尊VIP    Al**n在... 升级为高级VIP 

137**75...   升级为高级VIP wei**n_...  升级为高级VIP

133**51...   升级为标准VIP 138**35...  升级为至尊VIP 

 wei**n_...  升级为高级VIP wei**n_...  升级为高级VIP

小**  升级为标准VIP  134**28... 升级为高级VIP  

 133**57... 升级为高级VIP   133**57... 升级为标准VIP

 wei**n_... 升级为至尊VIP 158**10...  升级为至尊VIP

139**20... 升级为至尊VIP wei**n_...  升级为标准VIP

138**63...  升级为至尊VIP i**未... 升级为至尊VIP 

188**22... 升级为标准VIP wei**n_...   升级为标准VIP

wei**n_... 升级为标准VIP  山荣  升级为至尊VIP

wei**n_...  升级为标准VIP 189**07... 升级为至尊VIP  

Ar**an  升级为高级VIP wei**n_...  升级为标准VIP

189**85... 升级为高级VIP  wei**n_... 升级为至尊VIP

wei**n_... 升级为至尊VIP 188**05...  升级为标准VIP

 微**... 升级为高级VIP 131**97... 升级为至尊VIP 

 wei**n_... 升级为标准VIP   152**22... 升级为至尊VIP

158**19...  升级为至尊VIP  136**47... 升级为至尊VIP 

 189**07... 升级为高级VIP   wei**n_... 升级为至尊VIP 

182**25... 升级为至尊VIP 微**... 升级为标准VIP 

wei**n_... 升级为高级VIP   wei**n_...  升级为标准VIP

wei**n_...  升级为至尊VIP  wei**n_...  升级为高级VIP

wei**n_...  升级为标准VIP  175**08... 升级为至尊VIP 

139**22...  升级为标准VIP  157**13...  升级为标准VIP

 wei**n_... 升级为标准VIP wei**n_... 升级为高级VIP 

150**16...   升级为高级VIP wei**n_...  升级为标准VIP

139**15... 升级为标准VIP   136**73... 升级为高级VIP

153**42...   升级为至尊VIP  139**25... 升级为标准VIP 

wei**n_... 升级为标准VIP  wei**n_... 升级为至尊VIP