2020年终大会-数据治理：15-5.pdf

编号：29909

PDF 25页 3.97MB 下载积分：VIP专享

下载报告请您先登录！

2020年终大会-数据治理：15-5.pdf

1、数据资产治理见风建峰建锋剑锋剑峰数据理治为整治，关注数据质量，保障数据稳定性、准确性，合理控制数据生命周期，降低成本复杂业务场景下，由系统或人沉淀下来的大数据为梳理和管理，数据的基本信息、状态、关联关系等，搞清有哪些数据、从哪来到哪去应用到何处等 what why how 质量和成本最直接影响业务/应用数据内容质量准确性规范性及时性认可度狭义的质量广义的质量：质量分影响业务稳定性影响用户数据价值什么是数据质量？内容质量校验数据量波动文件数主键唯一系统自动自定义预定义非空、数值范围、枚举表行数/大小等的波动或范围自定义SQL

2、人为配置质量分规范性名称、注释等 deadline配置质量规则配置情况及时性超时情况 deadline临近情况准确性错误次数校验失败情况分区连续性认可度下游依赖数收藏/关注次数搜索次数使用次数分类+细则/权重得分 58.6 得分94 权重10 得分0 权重30 得分52 权重10 得分88 权重50 得分100 权重40 得分0 权重100 得分40 权重30 得分100 权重40 得分90 权重60 得分70 权重20 得分80 权重60 权重凑百提质手段 DDL入口限制 deadline临近预警静态检查预防问题任务超时校验失败/屡败长耗时

3、导入任务发现异常分布/趋势异常明细红黑榜单质量大盘主题告警专项推进推进优化提质效果稳定性 Deadline单一告警人清零单一告警规则清零失败规则收敛90%+ 及时性清理90%屡超deadline 任务清理20%无用规则长耗时datax任务清零规范性消除99%同义不同名表业务域归属率提升至95%+ 承诺产出异常清零准确性消灭95%屡败规则失败率从11%降到1.25% 中间层质量分从60提升至80+ 资产成本量化 Hadoop Hbase Flink Hive表 Hbase表 Flink任务 Spark任务总资源量权重合理水位存储计算时间成本数量单价资产成本量化（离线计算为例）数据成本资源单价总成本资源总量稀缺性合理水位消耗资源存储计算时间 total_costtotal_cpu total_memory cpu_weight

友情提示

1、下载报告失败解决办法
2、PDF文件下载后，可能会被浏览器默认打开，此种情况可以点击浏览器菜单，保存网页到桌面，就可以正常下载了。
3、本站不支持迅雷下载，请使用电脑自带的IE浏览器，或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩，下载后原文更清晰。

本文（2020年终大会-数据治理：15-5.pdf）为本站（X-iao）主动上传，三个皮匠报告文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。若此文所含内容侵犯了您的版权或隐私，请立即通知三个皮匠报告文库（点击联系客服），我们立即给予删除！

温馨提示：如果因为网速或其他原因下载失败请重新下载，重复下载不扣分。