上海品茶

三个皮匠报告
上海品茶
最新
合集
英文
会议
图表
入驻
付费
new
报告
报告 合集 图表

2-2 小米大数据存储服务的数据治理实践.pdf

编号：102341 PDF 24页 1.58MB 下载积分：VIP专享
下载报告请您先登录！

2-2 小米大数据存储服务的数据治理实践.pdf

1、小米存储服务治理实践李经纶/小米存储平台|01朴素数据治理朴素数据治理02用大数据治理大数据用大数据治理大数据03HDFS治理实践治理实践04HBase治理实践治理实践目录目录CONTENT|朴素数据治理01|数据治理=成本治理组织架构调整交接不规范商务谈判业务调整|数据治理=成本治理服务盘点成本Top10服务有哪些？成本Top集群有哪些？并行优化服务负责人认领优化任务，自行推进。|优点：目标清晰、简单高效高效业务快速发展期浪费多，治理效果好。人力消耗少。|遇到问题1.不可观测：资源利用率、成本没有实时展示，且没有开放给所有参与的同学。没有成本意识，没有反馈，逐渐演变为运动式治理。2.各自算账

2、：每个服务独立算账，数据口径各不相同，无法对齐。3.分工不合理：服务负责人是底层研发同学，和业务中间还隔着中间层，底层研发与业务沟通难度大。|用大数据治理大数据02|数据资产化，可衡量!#$%!#$%&()*&()*+,-*+,-*./01./067|!#!#建元仓建元仓统一口径。统一口径。有据可查。有据可查。定特征定特征特征规则。特征规则。元仓扫描。元仓扫描。产品化产品化资产健康分。资产健康分。治理建议。治理建议。|$%&$%&主机数减少23.8%主机成本降低38.9%|HDFS治理实践03|()*+()*+,-./01,-./01方案选型海外EBS昂贵全球统一架构|2

3、34536723453678%8%文件转对象ObjectFile保存对象uri。治理服务标记文件类型，记录在image中。Transform将BlockFile转为ObjectFile。|234536723453678%8%读Block Token带宽控制Transform重试短路读|()*+()*+$%9:$%9:治理思路治理结构化数据。冷热分层。治理结果48.45%数据可转温或转冷。|HBase治理实践04|(;=4(;?,-./01,-./01技术HDD磁盘HDFS Tiering转存到对象HDFS EC高密度机器|(;=4(;?ABAB场景一一致性要求高的备集群离线集群TieringHFile采用对象存储WAL采用3副本存储3副本写入，异步转对象存储|(;=4(;?ABAB场景二可用性要求高的备集群ECHFile采用EC存储|(;=4(;?CDE,-./CDE,-./场景三在线表时序数据时序表冷热分层按时间戳划分冷热以HFile为粒度冷备海外Tiering，国内HDD|(;=4(;?FGFG H?H?IJIJ场景四（迁移到离线）在线表7天只写不读场景五（归档删除）在线表7天无读无写离线表一年无读无写|(;=4(;=4$%9:$%9:治理思路没有血缘无用表&冷热分离治理结果缩容16.6%|感谢观看，欢迎加入|

友情提示

1、下载报告失败解决办法
2、PDF文件下载后，可能会被浏览器默认打开，此种情况可以点击浏览器菜单，保存网页到桌面，就可以正常下载了。
3、本站不支持迅雷下载，请使用电脑自带的IE浏览器，或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩，下载后原文更清晰。

本文（2-2 小米大数据存储服务的数据治理实践.pdf）为本站 （云闲） 主动上传，三个皮匠报告文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私，请立即通知三个皮匠报告文库（点击联系客服），我们立即给予删除！

温馨提示：如果因为网速或其他原因下载失败请重新下载，重复下载不扣分。
客服
商务合作
小程序
服务号
会员动态
会员动态 会员动态：

 wei**n_...  升级为至尊VIP  石** 升级为高级VIP

 wei**n_... 升级为标准VIP 159**39...  升级为高级VIP

 wei**n_...  升级为标准VIP 136**14... 升级为高级VIP 

159**20... 升级为标准VIP  wei**n_... 升级为标准VIP

wei**n_...  升级为高级VIP 136**87... 升级为高级VIP 

Pa**CJ 升级为至尊VIP   wei**n_... 升级为至尊VIP

 151**30... 升级为高级VIP   wei**n_...  升级为高级VIP

wei**n_...  升级为至尊VIP  193**71... 升级为高级VIP

135**14...  升级为至尊VIP   微**... 升级为高级VIP 

wei**n_... 升级为高级VIP    177**34... 升级为至尊VIP 

139**75...  升级为标准VIP wei**n_...  升级为标准VIP 

159**45... 升级为至尊VIP  wei**n_... 升级为至尊VIP 

 185**34... 升级为标准VIP  139**29... 升级为至尊VIP

 wei**n_... 升级为至尊VIP   狂**...  升级为至尊VIP

 185**96... 升级为至尊VIP 138**22...   升级为至尊VIP

wei**n_... 升级为高级VIP  dav**lu...  升级为至尊VIP

 wei**n_... 升级为高级VIP  186**92... 升级为高级VIP

 183**77...  升级为至尊VIP  185**95... 升级为标准VIP

wei**n_...  升级为高级VIP wei**n_...  升级为至尊VIP

 wei**n_... 升级为高级VIP  wei**n_... 升级为高级VIP

 wei**n_... 升级为标准VIP wei**n_...  升级为至尊VIP 

 153**57... 升级为高级VIP  emp**or  升级为至尊VIP

 xi**ey 升级为至尊VIP  wei**n_... 升级为至尊VIP

188**16... 升级为至尊VIP   wei**n_...  升级为至尊VIP

wei**n_...  升级为高级VIP   151**01...  升级为高级VIP

wei**n_...  升级为标准VIP  ath**e@...  升级为高级VIP

186**90... 升级为至尊VIP wei**n_... 升级为高级VIP 

wei**n_... 升级为标准VIP wei**n_...   升级为高级VIP

 131**19... 升级为至尊VIP  138**03... 升级为标准VIP 

137**20...  升级为标准VIP wei**n_...  升级为高级VIP

微**... 升级为高级VIP wei**n_... 升级为标准VIP 

 136**07... 升级为至尊VIP  随**... 升级为至尊VIP

 wei**n_...  升级为至尊VIP wei**n_...  升级为标准VIP

189**76...  升级为至尊VIP   Ma 升级为至尊VIP

 157**81... 升级为标准VIP 153**87... 升级为高级VIP 

 wei**n_...  升级为标准VIP  wei**n_... 升级为标准VIP 

 wei**n_... 升级为高级VIP 微**... 升级为至尊VIP 

 wei**n_... 升级为标准VIP wei**n_...  升级为至尊VIP

Al**n在... 升级为高级VIP  137**75... 升级为高级VIP

wei**n_... 升级为高级VIP 133**51...  升级为标准VIP 

138**35... 升级为至尊VIP  wei**n_...  升级为高级VIP

wei**n_... 升级为高级VIP  小** 升级为标准VIP 

 134**28...  升级为高级VIP 133**57...  升级为高级VIP

133**57...  升级为标准VIP  wei**n_... 升级为至尊VIP 

158**10...  升级为至尊VIP  139**20...  升级为至尊VIP

 wei**n_... 升级为标准VIP  138**63... 升级为至尊VIP

  i**未... 升级为至尊VIP  188**22... 升级为标准VIP 

wei**n_... 升级为标准VIP   wei**n_...  升级为标准VIP

  山荣 升级为至尊VIP  wei**n_... 升级为标准VIP 

189**07...  升级为至尊VIP Ar**an  升级为高级VIP