上海品茶

您的当前位置:上海品茶 > 报告分类 > PDF报告下载

5-6 腾讯音乐数据资源管理实践.pdf

编号:102540 PDF 21页 2.26MB 下载积分:VIP专享
下载报告请您先登录!

5-6 腾讯音乐数据资源管理实践.pdf

1、腾讯音乐数据资源管理实践腾讯音乐 高级大数据开发工程师卢宇鹏|01背景0203效果目录CONTENT|数据治理方案及实践|01背景资源增长趋势|计算资源增长趋势计算资源存储资源增长趋势存储资源诺兰阶段模型资源成本管理难点数据量、涉及人员多缺乏数仓建设规范,多为烟囱开发模式数据开发过程中缺乏成本意识,造成资源浪费缺乏数据配套优化工具|02数据治理方案及实践|宏观治理-方法论宏观治理-方法论核心表核心表主干表主干表普通表普通表僵尸表僵尸表停用表停用表无更新无访问、无扇出低访问、低扇出高访问或高扇出高访问且高扇出|宏观治理-提升资源利用效率大规模计算任务普遍具有明显的时间聚集特性,全天资源使用出现波

2、峰波谷现象。凌晨高峰时段资源满负载,任务出现堆积,下午到次日凌晨资源富裕。时租系统将计算资源使用精确到小时级别,属于一种基于规则的动态扩缩容策略系统。资源时租系统|宏观治理-分级存储|数据治理覆盖范围p 统一采集上报口径p 规范上报事件模型p 监控上报数据治理数据上报p 模型规范p 库表规范p 指标规范p 编码规范数据仓库p 元数据管理p 数据血缘p 数据价值数据地图|元数据治理数据常见的问题业务指标口径不统一、业务理解难度大数据质量较差、缺乏有效的监督手段缺失数据规范监控,产生大量垃圾元数据,导致元数据管理难度增高缺乏数据价值量化手段数据开发丧失资源成本意识,产生冗余存储造成资源浪费数据缺乏安全级别标识,具有敏感数据信息泄漏风险|Lego元数据|是什么有什么|表的价值|案例|资源预警+大盘分析|03效果治理后-计算资源增长趋势计算资源治理后-存储资源增长趋势存储资源效果非常感谢您的观看|

友情提示

1、下载报告失败解决办法
2、PDF文件下载后,可能会被浏览器默认打开,此种情况可以点击浏览器菜单,保存网页到桌面,就可以正常下载了。
3、本站不支持迅雷下载,请使用电脑自带的IE浏览器,或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩,下载后原文更清晰。

本文(5-6 腾讯音乐数据资源管理实践.pdf)为本站 (云闲) 主动上传,三个皮匠报告文库仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对上载内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知三个皮匠报告文库(点击联系客服),我们立即给予删除!

温馨提示:如果因为网速或其他原因下载失败请重新下载,重复下载不扣分。
会员购买
客服

专属顾问

商务合作

机构入驻、侵权投诉、商务合作

服务号

三个皮匠报告官方公众号

回到顶部