1、腾讯音乐数据资源管理实践腾讯音乐 高级大数据开发工程师卢宇鹏|01背景0203效果目录CONTENT|数据治理方案及实践|01背景资源增长趋势|计算资源增长趋势计算资源存储资源增长趋势存储资源诺兰阶段模型资源成本管理难点数据量、涉及人员多缺乏数仓建设规范,多为烟囱开发模式数据开发过程中缺乏成本意识,造成资源浪费缺乏数据配套优化工具|02数据治理方案及实践|宏观治理-方法论宏观治理-方法论核心表核心表主干表主干表普通表普通表僵尸表僵尸表停用表停用表无更新无访问、无扇出低访问、低扇出高访问或高扇出高访问且高扇出|宏观治理-提升资源利用效率大规模计算任务普遍具有明显的时间聚集特性,全天资源使用出现波
2、峰波谷现象。凌晨高峰时段资源满负载,任务出现堆积,下午到次日凌晨资源富裕。时租系统将计算资源使用精确到小时级别,属于一种基于规则的动态扩缩容策略系统。资源时租系统|宏观治理-分级存储|数据治理覆盖范围p 统一采集上报口径p 规范上报事件模型p 监控上报数据治理数据上报p 模型规范p 库表规范p 指标规范p 编码规范数据仓库p 元数据管理p 数据血缘p 数据价值数据地图|元数据治理数据常见的问题业务指标口径不统一、业务理解难度大数据质量较差、缺乏有效的监督手段缺失数据规范监控,产生大量垃圾元数据,导致元数据管理难度增高缺乏数据价值量化手段数据开发丧失资源成本意识,产生冗余存储造成资源浪费数据缺乏安全级别标识,具有敏感数据信息泄漏风险|Lego元数据|是什么有什么|表的价值|案例|资源预警+大盘分析|03效果治理后-计算资源增长趋势计算资源治理后-存储资源增长趋势存储资源效果非常感谢您的观看|
1、下载报告失败解决办法 2、PDF文件下载后,可能会被浏览器默认打开,此种情况可以点击浏览器菜单,保存网页到桌面,就可以正常下载了。 3、本站不支持迅雷下载,请使用电脑自带的IE浏览器,或者360浏览器、谷歌浏览器下载即可。 4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩,下载后原文更清晰。
5-6 火山引擎虚拟数字人应用实践.pdf
无代码云资源管理实践-张旭.pdf
美团资源管理和成本优化实践-侯金轩.pdf
艺恩数据:2023年5-6月明星营销数据洞察报告(29页).pdf
6-5 Spark 读写 Iceberg 在腾讯的实践和优化.pdf
赖学强-GeoScene GA大数据分析技术赋能自然资源管理.pdf
5-5 工业数据治理和数据资源化思考与实践.pdf
中智人力资源管理咨询:2020-2021年企业人工成本预算管理实践调研报告(48页).pdf
6-3 释放数据潜能激发数据价值——腾讯云数据治理 Wedata 产品实践.pdf
甲子光年智库:创新与技术无处不在——人力资源管理数字化与最佳实践案例研究(44页).pdf
三个皮匠报告专业的行业报告下载站,每日更新,欢迎大家关注!
copyright@2008-2013 长沙景略智创信息技术有限公司版权所有 网站备案/许可证号:湘B2-20190120
专属顾问
机构入驻、侵权投诉、商务合作
三个皮匠报告官方公众号
验证即登录,未注册将自动创建三个皮匠报告账号
使用 微信 扫一扫登陆