《5-6 腾讯音乐数据资源管理实践.pdf》由会员分享,可在线阅读,更多相关《5-6 腾讯音乐数据资源管理实践.pdf(21页珍藏版)》请在三个皮匠报告上搜索。
1、腾讯音乐数据资源管理实践腾讯音乐 高级大数据开发工程师卢宇鹏|01背景0203效果目录CONTENT|数据治理方案及实践|01背景资源增长趋势|计算资源增长趋势计算资源存储资源增长趋势存储资源诺兰阶段模型资源成本管理难点数据量、涉及人员多缺乏数仓建设规范,多为烟囱开发模式数据开发过程中缺乏成本意识,造成资源浪费缺乏数据配套优化工具|02数据治理方案及实践|宏观治理-方法论宏观治理-方法论核心表核心表主干表主干表普通表普通表僵尸表僵尸表停用表停用表无更新无访问、无扇出低访问、低扇出高访问或高扇出高访问且高扇出|宏观治理-提升资源利用效率大规模计算任务普遍具有明显的时间聚集特性,全天资源使用出现波
2、峰波谷现象。凌晨高峰时段资源满负载,任务出现堆积,下午到次日凌晨资源富裕。时租系统将计算资源使用精确到小时级别,属于一种基于规则的动态扩缩容策略系统。资源时租系统|宏观治理-分级存储|数据治理覆盖范围p 统一采集上报口径p 规范上报事件模型p 监控上报数据治理数据上报p 模型规范p 库表规范p 指标规范p 编码规范数据仓库p 元数据管理p 数据血缘p 数据价值数据地图|元数据治理数据常见的问题业务指标口径不统一、业务理解难度大数据质量较差、缺乏有效的监督手段缺失数据规范监控,产生大量垃圾元数据,导致元数据管理难度增高缺乏数据价值量化手段数据开发丧失资源成本意识,产生冗余存储造成资源浪费数据缺乏安全级别标识,具有敏感数据信息泄漏风险|Lego元数据|是什么有什么|表的价值|案例|资源预警+大盘分析|03效果治理后-计算资源增长趋势计算资源治理后-存储资源增长趋势存储资源效果非常感谢您的观看|