上海品茶

三个皮匠报告
上海品茶
最新
合集
英文
会议
图表
入驻
付费
new
报告
报告 合集 图表

数据成本治理在有赞的实践-更木.pdf

编号：29742 PDF 36页 10.13MB 下载积分：VIP专享
下载报告请您先登录！

数据成本治理在有赞的实践-更木.pdf

1、有赞大数据技术沙龙 2020.12 数据成本治理在有赞的实践 数据中台-数据资产治理 王永宁(更木) contents 背景介绍 问题梳理 治理实践 总结规划 背景介绍 数 据 中 台 机 器 资 源 离线计算实时计算平台工具 Spark Hive Hbase Kafka Druid Flink 研发 平台 算法 平台 资产 平台 在线 平台 埋点 平台 BI 平台 背景介绍 机器数应用数存储量(PB) 1800100+20+ 背景介绍 2019有赞 总收入 增长100% 难以持续增长 2019有赞 数据成本 增长100% 问题梳理 问题梳理 ？ 机器资源的整体利用率偏低 只有数据管理者/运维

2、关心，其他同学意识相对薄弱 扩缩容成本高 存储资源增长过快，存在浪费 离线计算优化空间很大 成本没有量化 节能降本渠道 缺少标准 开发者缺少渠道了解 成本量化 治理实践 成本账单 降本实践 成本运营 成本量化 CPU内存磁盘卡其他 开 发 者 视 角 管 理 员 视 角 统 一 视 角 额 sqlpy脚本指标 10 数 成本量化 合理水位 数据成本 = 资源单价 * 消耗资源 成本总量 运维 资源总量 稀缺性 资源单价 分时计费 采集损耗 采集SDK 存储 计算 时间 消耗资源 分 摊 逻 辑 成本量化 核算流程(以离线计算为例) memory消耗：use_memorycpu消耗：use_cp

3、u 任务成本 task_cost = use_cpu * cpu_price + use_memory * memory_price 资源分时计费 0点-8点 最贵 黄金时段 9点-16点 次之 白银时段 17点以后 最闲 青铜时段 总成本：total_cost 总cpu核数：total_cpu 总memory量：total_memory memory资源权重：memory_index cpu资源权重：cpu_index memory的成本单价 memory_price=total_cost*memory_index/(total_memory*memory_load) cpu的成本单价 cpu_price=total_cost*cpu_index/(total_cpu*cpu_load) memory资源水位：memory_load cpu资源水位：cpu_load 成本量化基础模型 1

友情提示

1、下载报告失败解决办法
2、PDF文件下载后，可能会被浏览器默认打开，此种情况可以点击浏览器菜单，保存网页到桌面，就可以正常下载了。
3、本站不支持迅雷下载，请使用电脑自带的IE浏览器，或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩，下载后原文更清晰。

本文（数据成本治理在有赞的实践-更木.pdf）为本站 （X-iao） 主动上传，三个皮匠报告文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私，请立即通知三个皮匠报告文库（点击联系客服），我们立即给予删除！

温馨提示：如果因为网速或其他原因下载失败请重新下载，重复下载不扣分。
客服
商务合作
小程序
服务号
会员动态
会员动态 会员动态：

 136**79... 升级为标准VIP  微**... 升级为高级VIP

 137**88... 升级为标准VIP  微**... 升级为至尊VIP 

wil**am... 升级为标准VIP   wei**n_...  升级为高级VIP

wei**n_...  升级为高级VIP isa**zh...  升级为至尊VIP

 wei**n_... 升级为至尊VIP wei**n_... 升级为至尊VIP

 wei**n_... 升级为高级VIP   wei**n_... 升级为标准VIP

 微**... 升级为至尊VIP  136**37... 升级为高级VIP

 136**33... 升级为至尊VIP wei**n_... 升级为标准VIP

wei**n_... 升级为至尊VIP  156**00... 升级为至尊VIP

 wei**n_... 升级为标准VIP 微**... 升级为标准VIP 

 178**36... 升级为标准VIP  133**13... 升级为至尊VIP

wei**n_...  升级为标准VIP 139**83...  升级为至尊VIP 

 151**63...  升级为至尊VIP 188**81... 升级为高级VIP 

wei**n_... 升级为高级VIP   135**18... 升级为至尊VIP

wei**n_... 升级为至尊VIP  wei**n_... 升级为高级VIP

 188**72... 升级为标准VIP  wei**n_...  升级为高级VIP

wei**n_...  升级为至尊VIP 媛园 升级为至尊VIP 

wei**n_...  升级为标准VIP wei**n_... 升级为至尊VIP

wei**n_... 升级为至尊VIP   135**18...  升级为高级VIP

 wei**n_... 升级为高级VIP   wei**n_... 升级为高级VIP

  139**16... 升级为至尊VIP wei**n_...  升级为标准VIP

wei**n_... 升级为至尊VIP  182**23... 升级为标准VIP

152**27... 升级为标准VIP   loo**oe... 升级为标准VIP

老**...  升级为高级VIP  wei**n_... 升级为至尊VIP

 微**... 升级为至尊VIP   wei**n_... 升级为至尊VIP

177**19...  升级为至尊VIP wei**n_...   升级为至尊VIP

 帅**... 升级为标准VIP 137**70...  升级为高级VIP

 wei**n_... 升级为至尊VIP wei**n_...  升级为至尊VIP

wei**n_...  升级为至尊VIP wei**n_... 升级为标准VIP 

wei**n_...   升级为至尊VIP wei**n_...  升级为至尊VIP

138**81...  升级为标准VIP wei**n_...  升级为高级VIP

180**65...  升级为标准VIP  139**06... 升级为至尊VIP

wei**n_...  升级为高级VIP Sim**90...  升级为至尊VIP 

137**49...  升级为至尊VIP  138**55... 升级为至尊VIP 

133**15...  升级为标准VIP  wei**n_...  升级为标准VIP 

典愉 升级为至尊VIP   wei**n_...  升级为标准VIP

  wei**n_... 升级为标准VIP 185**79... 升级为至尊VIP 

wei**n_... 升级为至尊VIP   wei**n_... 升级为高级VIP

Mav** M... 升级为标准VIP   wei**n_...  升级为高级VIP 

159**13...  升级为标准VIP  微**... 升级为至尊VIP 

138**33...  升级为高级VIP   134**97... 升级为高级VIP

wei**n_... 升级为标准VIP wei**n_... 升级为标准VIP 

han**an  升级为高级VIP  微**...  升级为高级VIP

152**16...  升级为标准VIP 189**01... 升级为至尊VIP 

wei**n_...  升级为至尊VIP  wei**n_... 升级为至尊VIP

156**85...  升级为至尊VIP  wei**n_... 升级为高级VIP

wei**n_...  升级为高级VIP 微**... 升级为至尊VIP 

pla**77...   升级为至尊VIP   爱**... 升级为至尊VIP

 186**48...  升级为高级VIP 136**81... 升级为高级VIP 

wei**n_... 升级为至尊VIP  135**98... 升级为至尊VIP