报告预览

2019年网易数据中台建设实践.pdf

编号：97376

PDF 35页 3.69MB 下载积分：VIP专享

下载报告请您先登录！

2019年网易数据中台建设实践.pdf

1、网易数据中台建设实践Agenda1什么是数据中台？2元数据中心：数据中台的基石4数据服务：数据中台的门户3数据治理：效率、质量、成本5数据中台治理效果什么是数据中台如果我们把数据中台比作一个汽车工厂数据中台汽车工厂大数据平台设备：切割机Hadoop集群水、电、煤输入的是原始数据，输出的是指标提供的是数据加工处理能力提供的是大数据基础计算、存储资源提供的工厂必须的运行能源提供的是原材料的处理能力输入的是原材料，输出的汽车数据中台需要解决什么问题？数据效率质量成本数据研发的效率数据发现的效率数据分析的效率指标一致性数仓设计质量数据质量计算、存储资源成本研发人力成本网易数据产品体系：以电商为例用户

2、运营用户行为分析系统商品运营用户精准投放系统商品运营系统市场运营推广渠道管理系统供应链供应链决策协同系统管理层商品舆情系统高层看板活动实时直播Vipapp业务场景数据产品网易在做数据中台前面临的挑战指标口径不一致数据重复建设取数效率低成本指数增长数据无法按时正确产出数据中台支撑产品：网易猛犸网易有数网易大屏自助分析行业数据产品行业业务系统数据服务数据服务数据集成数仓设计数据开发数据治理运维安全数据传输日志采集数据填报埋点管理指标系统数仓设计离线开发实时开发数据测试成本治理质量治理数据地图任务运维智能报警权限中心产品特色“组件式”产品架构，业务可以根据发展阶段选择性搭配“开放式”产品架构，聚焦核

3、心通用产品，同时开放基础能力，允许业务集成新的产品“轻型易用”平台，通过“增强分析”降低用户使用的门槛完美的支撑数据中台建设，减少重复建设，提高数据共享能力网易数据中台产品架构Agenda1什么是数据中台？2元数据中心：数据中台的基石4数据服务：数据中台的门户3数据治理：效率、质量、成本5数据中台治理效果元数据中心：数据中台基石元数据中心元数据中心数据血缘数据字典数据特征API 服务Service LayerSpark ListenerHive HookSqoop Hook静态解析Kafka血缘消息处理Neo4j时间戳来源类型Conn ManagerHive ConnMySQL Conn内嵌

4、元数据Conn内嵌元数据管理血缘采集血缘采集标签管理访问热度生命周期存储空间元数据库版本索引通知MySQLMetaStoreRedisKafka数据地图解决“有哪些数据可用？”，“到哪里找数据？”Agenda1什么是数据中台？2元数据中心：数据中台的基石4数据服务：数据中台的门户3数据治理：效率、质量、成本5数据中台治理效果如何评价一个数仓设计好坏？大量的表没有明确的主题域、业务过程，分层信息，数仓组织混乱超过50%的任务直接引用ODS 层原始数据，30%的表存在跨层引用，DWD建设完善度较低DWS 层表复用性差，平均表引用系数低依然有查询ODS 层原始数据的Query，DWS，ADS Que

5、ry 覆盖率低，取数效率差表、字段命名规范混乱，数据发现困难规范化数仓设计EasyDesign数仓设计度量各层表的分布以及各层被下游表和任务引用情况，Query 查询覆盖率DWD：ODS 被跨层引用的表的数量DWD 平均被下游表引用系数DWS：DWS 平均被下游表引用系数DWS Query 覆盖率ODS 被Query 查询情况规范化管理度量管理维度管理模型设计团队协作审批流程基础字典管理数仓升级的目标覆盖度消灭ADS/DWS 直接引用ODS 层原始数据消灭Query直接查询ODS 层原始数据DWS/ADS Query 覆盖度上升复用性DWS、DWD 平均每张表被下游表引用数量增加规范性表、字段

6、命名规范统一建表流程审核需求响应速度提升、查询速度提升、查询成本降低，数据使用者满意度提升！指标系统指标系统规范定义业务线(网易考拉)数据域(交易域)业务过程(下单)维度(商品)修饰类型(终端类型)修饰词(pc)时间周期(昨日)原子指标(销售量)派生指标(昨日pc端销售量)维度属性(商品id，名称)指标开发实施规范在做数据质量前业务面临的现状超过90%的问题是由业务和产品发现收集的问题中存在研发bug的占比超过50%报障人群统计业务产品开发分析师故障问题分类BUG数据源问题数据延迟性能数据质量方法论01030402完整性是指需要的数据已完整记录，可以分为记录数完整性和字段值完整性。准确性是指数

7、据在数仓中的值和实际值是否相同，可以分为口径实现结果和数据逻辑合理性。一致性是指系统内外部数据源之间的数据一致程度，可以分为指标一致性和信息一致性。时效性是指数据的时效对应用的满足程度，可以分为数据任务结束时间和运行时长。数据稽核监控规则表数据量波动监控和绝对值监控主键唯一监控字段为空，为0的监控数据完整性监控，订单24小时，终端覆盖数值计算逻辑监控：商品只能归属一个BU数据格式的监控，比如IP，URL码表的监控数据异常监控，比如日期还没发生同一个指标在不同模型不一致监控相关指标趋势监控，比如uv和pv走势一致聚合逻辑一致性监控不同数据源对同一个实体的值一致任务延迟监控表产出时间的监控源数据延

8、迟监控完整性准确性一致性时效性全链路数据质量监控覆盖数据产出的完整生命周期全链路数据血缘的实时监控快速了解哪些数据产品的哪些指标异常故障恢复时间的请准预估每个项目花了多少钱？每张报表花了多少钱？每个数据产品花了多少钱？每个人花了多少钱？各个业务线预算符合度？根据表的热度，存储空间、加工表消耗的资源，确认表是否可以优化？给出优化建议？表的一键下线成本治理成本治理系统架构HiveSQLMRSparkSqoop调度执行调度执行HiveSQL自助分析自助分析SparkSQLImpala SQLFSImageSparkMRYarn文件大小文件大小文件数文件数目录配额目录配额HDFS Audit访问访问

9、次数次数访问时间访问时间MR 任务日志任务日志Spark 任务日志任务日志资源资源消耗消耗ImpaladImpalaImpala SQL 日志日志表访表访问热问热度度ClusterJobFlowUser读取读取写入写入数据数据量量Kafka资产分析资产分析资产大盘资产大盘使用频率使用频率资源消耗资源消耗优化建议优化建议HDFS元数据中心元数据中心资产管理中心资产管理中心灰度下线灰度下线成本优化成本优化生命周期生命周期离线开发平台离线开发平台数据压缩数据压缩数据规模数据规模风险提示风险提示资源明细资源明细文件文件表表Agenda1什么是数据中台？2元数据中心：数据中台的基石4数据服务：数据中台

10、的门户3数据治理：效率、质量、成本5数据中台治理效果数据服务相同指标在多个表中存在指标口径不统一指标复用率低，指标重复加工底层表直接暴漏所有对数仓的访问权限控制所有需求一个接口SDK 接入效率高打通了数据应用-指标-数仓表的全链路监控底层表变更，需要应用层修改指标口径安全隐患效率维护性数据服务数据服务Agenda1什么是数据中台？2元数据中心：数据中台的基石4数据服务：数据中台的门户3数据治理：效率、质量、成本5数据中台治理效果数据中台的实施价值100%数据产品的指标通过系统化管理，有明确的业务口径、计算逻辑、数据来源，完全消除指标二义性基于数据地图，实现100%自助取数，取数效率提升300%！分析师满意度提升！全链路数据跟踪，回答“数据准不准？”“哪些数据故障？”“什么时候恢复？”，加速数据故障的排查定位，助力99.8%SLA达成所有数仓维护的表都有明确的分层、主题域，业务过程，ODS 层引用任务降低，100%消灭ODS 层Query,DW层引用任务增长，DWS/ADS Query 99.9%覆盖，表的引用系数提升通过全链路资产分析，消灭低价值的资产，为业务节省20%的资源成本总结数据标准规范统一元数据互通成本治理服务化统数据质量治理通精控准

友情提示

1、下载报告失败解决办法
2、PDF文件下载后，可能会被浏览器默认打开，此种情况可以点击浏览器菜单，保存网页到桌面，就可以正常下载了。
3、本站不支持迅雷下载，请使用电脑自带的IE浏览器，或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩，下载后原文更清晰。

本文（2019年网易数据中台建设实践.pdf）为本站（云闲）主动上传，三个皮匠报告文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。若此文所含内容侵犯了您的版权或隐私，请立即通知三个皮匠报告文库（点击联系客服），我们立即给予删除！

温馨提示：如果因为网速或其他原因下载失败请重新下载，重复下载不扣分。

上海品茶

2019年网易数据中台建设实践.pdf

2019年网易数据中台建设实践.pdf