《3.成本管理-快手大数据存储管理的落地实践-程伟.pdf》由会员分享,可在线阅读,更多相关《3.成本管理-快手大数据存储管理的落地实践-程伟.pdf(27页珍藏版)》请在三个皮匠报告上搜索。
1、成本管理-快数据存储管理的落地实践 程伟-数据研发专家 我介绍 程伟快数据研发专家 关注数据模型、数据管理治理领域 主要负责快公共数据建设、数据管理治理 录 01 02 03 04 快存储管理实施法 快存储管理策略 未来规划 成本管理介绍 01 02 03 04 快存储管理实施法 快存储管理策略 未来规划 成本管理介绍 数据成本管理架构 什么是成本管理 成本管理介绍:什么是成本管理 成本管理 企业产经营过程中对于 成本进系列科学管理 为的总称 成本预测 成本决策 成本预算 成本分析成本控制 成本核算 成本考核 数据引擎存储引擎计算引擎数据服务引擎 成本组成 存储成本 计算成本数据服务成本 成本
2、分析资产盘点资产归属使分析 成本控制数据命周期管理引擎优化任务优化 成本核算同环增趋势 预算交付成本预警 资源调度优化 成本管理介绍:数据成本管理架构 01 02 03 04 快存储管理实施法 快存储管理策略 未来规划 成本管理介绍 成本分析 现状及问题 成本控制 数EB存储量 存储量 数PB新增存储量 新增存储量 8%新增存储量增速 新增存储量增速 数万Hive表 表数量 快存储管理策略:存储现状 数据量,涉及 成本意识弱 缺少有效的存储管理策略和法 快存储管理策略:存储管理的难点 总存储 成本 商业化数据平台控 A同学C同学 Table_aTable_b 标 p 化整为零 p 提成本意识
3、法 p 资产盘点+资产归属 p Quota B同学 Table_c 快存储管理策略:存储成本拆分 成本分析公式 总成本 = 不可控成本 + 可控成本 总存储成 本 原始数据 存储成本 加数据 存储成本 原始数据 存储量 原始数据 存储单价 加数据 存储量 加数据 存储单价 快存储管理策略:存储成本分析 成本控制 数据命 周期管理 数据重 分布 极限存 储 冷存储 管理 HDFS EC 快存储管理策略:成本控制策略 数据有增减 p存储成本快速增 模型数量众多 p维护困难 p计算效率低下,产出及时性难以保障 p数效率低下,数据质量差 快存储管理策略:为什么进数据命周期管理 p 针对分析问题落地或ETL过程中的临时表、效表 p 针对历史数据价值不,且存储成本较 p 针对数据相似度且需要全量保留的数据 p 针对重要且不可恢复的数据 p 针对使低频但需要永久保留的数据 彻底删除 周期性删除 极限存储