报告预览

极客帮科技：网易互联网数据中台实践（32页）.pdf

编号：56182

PDF 32页 2.98MB 下载积分：VIP专享

下载报告请您先登录！

极客帮科技：网易互联网数据中台实践（32页）.pdf

1、网易互联网产品数据k台实践网易互联网产品数据k台实践数据k台概览数据k台概览元数据k心数据服务全链路数据质量k心数据资产管理互联网h务数据架构互联网h务数据架构猛犸大数据开发计算平台猛犸大数据开发计算平台供供应应链链 8.S8.S oo 站站音t 音t 传媒传媒电商电商 .W.W. +.S+.S 8.S8.S .W.W. +.S+.S 供应链决策协同系统供应链决策协同系统用户行n分析用户行n分析精准投放精准投放用户运营用户运营用户行n分析系统用户行n分析系统商品运营商品运营用户精准投放系统用户精准投放系统商品运营系统商品运营系统

2、市场运营市场运营推广渠道管理系统推广渠道管理系统供应链供应链供应链决策协同系统供应链决策协同系统管理层管理层商品舆情系统商品舆情系统高层看板高层看板活动实时直播活动实时直播 VIOAOOVIOAOO h务场景 h务场景数据产品数据产品数据产品：数据产品：以电商n例以电商n例数据智能数据智能搜索推荐搜索推荐风控风控指标口径f指标口径f 统一统一数据重复数据重复建设建设取数效率低取数效率低成本指数成本指数增长增长数据产品数据产品故障频发故障频发指标系统指标系统+ +数据服务数据服务数据地图数据地图+ +自助查询自助

3、查询数据质量k心数据质量k心资产管理资产管理落地产品落地产品 h务面m的问题 h务面m的问题 k台产品架构 k台产品架构互联网h务数据k台架构互联网h务数据k台架构猛犸大数据开发计算平台猛犸大数据开发计算平台音t 音t 传媒传媒供应链决策协同系统供应链决策协同系统用户行n分析用户行n分析精准投放精准投放电商数据k台电商数据k台统一元数据统一元数据共享数据资产共享数据资产 100%100%数据产品指标覆盖数据产品指标覆盖，统一h务口径和取数口径定r统一h务口径和取数口径定r，消除指标vr性消除指标vr性基于数据地图基于数据地图，100%100%实现自

4、助取数实现自助取数全链路数据跟踪全链路数据跟踪，回答“数据准f准b回答“数据准f准b”“哪y数据故障b“哪y数据故障b”“什么时候恢复b”“什么时候恢复b”，加速数据故障的排查定位加速数据故障的排查定位，助力助力).(%S5+).(%S5+达成达成所有数据产品接入统一查询服务所有数据产品接入统一查询服务，做到所有对数仓的访问做到所有对数仓的访问，可管理可管理、可追踪可追踪，通过逻辑模型g物理模型的分离通过逻辑模型g物理模型的分离，大幅提高指标的重用性大幅提高指标的重用性构建元数据k心构建元数据k心，通过资产分析通过资产分析、看清数据资产看清数据资产、降低数据管理成本降低数据管理成本

5、、追踪数据价值追踪数据价值，消灭低价值的资产消灭低价值的资产，成本节约成本节约%0%0%以d 以d 数据k台实施效果数据k台实施效果数据k台概览元数据k心元数据k心数据服务全链路数据质量k心数据资产管理大数据计算大数据计算数据源数据源 Hive metastore! 元数据k心元数据k心 ?! ?! ?! 元数据k心元数据k心 01 05 02 多租户多租户，多h务线多h务线能够支持电商（考拉、i选）、互娱（音t、游戏）、传媒、教育多种数据源支持多种数据源支持能够覆盖网易所有的数据源，甚至包括4AFkA，REDIQ， 2BAQE等SCHELA KEQQ 4V

6、系统数据血缘数据血缘静态血缘动态血缘血缘支持时间戳，可以按照时间戳读取，过期血缘覆盖率以及血缘采集性能 g大数据系统集成 g大数据系统集成 gRAMGEP结合，允许通过自定r标签的方式对数据进行动态授权数据传输、自助分析g元数据k心集成基于元数据k心，构建数据质量k心、数据资产管理k心、数据地图数据标签数据标签通过l富的f同类型的标签，完善数据特征体系指标标识、数仓的o题域、分层信息，是否是数仓维护的推荐表都以标签形式存在网易元数据k心设计原则网易元数据k心设计原则元数据k心架构图元数据k心架构图一个复杂的h务有成千dc张表 f知道数据含r 找f到数据 f

7、知道哪个数据更有价值 f清楚数据的更新频率大量重复建设解决找数据问题数据地图数据地图指标系统指标系统 h务模块 (电商h务) 数据域 (z易域) h务过程 (e单) 维度 (商品) 修饰类型 (终端类型) 修饰词 (OC) 时间周期 (昨日) 原子指标 (销售量) 派生指标 (昨日OC端销售量) 维度属性 (商品ID，名称) 指标和维度命名规范指标口径要清晰(p例或S:5) 指标方法论指标方法论数据k台概览元数据k心数据服务数据服务全链路数据质量k心数据资产管理指标口径指标口径相同指标在多个表k存在指标口径f统一指标重用率低，数仓重复加工安全隐患安全隐患

8、底层表直接暴漏对数仓的访问缺少权限控制接入效率接入效率所有需求一个接口 S.4 高效率接入可维护性可维护性打通u数据应用W指标W数仓表的全链路监控表变更，f知道谁访问这个表b n什么要有数据服务 n什么要有数据服务 MUS:5 2BAQE 19 4UKIM 数据源数据源缓存缓存结果缓存元数据缓存元数据k心元数据k心 CNNPDIMARNP WNPkEP WNPkEP WNPkEP 逻辑执行计划逻辑模型访问控制权限校验监控报警查询服务查询服务用户行n分析系统应用层应用层物理模型条件解析物理执行计划日志管理 modelName! OpenA

9、pi Fields!FliterList! OrderBy!Distinct!Limit!Offset! 商品运营系统结果返回物理执行结果聚合数据服务架构数据服务架构模型路由 /S 2BAQE MUS:5 1PEEM9KSL REDIQ 小数据量的小数据量的灵活查询场景灵活查询场景大数据量明细数据的查询场景大数据量明细数据的查询场景 z互式z互式多维分析场景多维分析场景 4UKIM 离线聚合离线聚合多维分析场景多维分析场景大列表大列表TNONTNON场景场景异构数据源使用场景异构数据源使用场景服务监控服务监控数据k台概览元数据k心数据服务全链路数

10、据质量k心全链路数据质量k心数据资产管理 01 03 04 02 完整性完整性是指需要的数据已完整记录，可以分n记录数完整性和字段值完整性。准确性准确性是指数据在数仓k的值和实际值是否相同，可以分n口径实现结果和数据逻辑合理性。一致性一致性是指系统内外部数据源s间的数据一致程度，可以分n指标一致性和信息一致性。时效性时效性是指数据的时效对应用的满足程度，可以分n数据任务结束时间和运行时长。数据质量数据质量超过超过)0%)0%的问题是由h务和产品发现的问题是由h务和产品发现收集的问题k存在研发收集的问题k存在研发BSGBSG的占比达的占比达50%50%

11、数据质量提升s前的状态数据质量提升s前的状态表数据量波动监控和绝对值监控 o键唯一监控字段n空，n0的监控数据完整性监控，订单%&小时，终端覆盖数值计算逻辑监控：商品只能归属一个BU 数据格式的监控，比如I9，UR5 维表的监控数据异常监控，比如日期还没发生同一个指标在f同模型f一致监控相关指标趋势监控，比如ST和OT走势一致聚合逻辑一致性监控 f同数据源对同一个实体的值一致任务延迟监控表产出时间的监控源数据延迟监控完整性完整性准确性准确性一致性一致性时效性时效性数据质量稽查规则数据质量稽查规则覆盖数据产出的完整生命周期全链路数据血缘的实时监控

12、快速u解哪y数据产品的哪y 指标异常故障恢复时间的请准预估全链路数据质量监控全链路数据质量监控全链路任务状态监控任务甘特图全链路数据质量监控全链路数据质量监控 500500?! 100% 100% ?! ?! ?! ?SLASLA?99.8%99.8%! 数据质量实施效果数据质量实施效果数据k台概览元数据k心数据服务全链路数据质量k心数据资产管理数据资产管理每个项目花u多少钱b 每张报表花u多少钱b 每个数据产品花u多少钱b 每个人花u多少钱b 各个h务线预算符合度b 根据表的热度，存储空间、加工表消耗的资源，确认表是否可以优化b给出优化建议b 表的一键e线数

13、据资产管理数据资产管理要分析哪y数据要分析哪y数据bb f同计算引擎的访问热度（表、列）最近访问时间资源消耗（任务加工、表存储空间）数据血缘关系数据打通（任务信息注入底层任务数据打通（任务信息注入底层任务） 2ITE/MR：+VkABAM通过UAPM AOOKICARINMQ CNMFIGSPARINM注入 SOAPk: +VkABAM 通过EMTIPNMLEMRQ QUQREL OPNOEPRIEQ注入 ILOAKA：通过2IMR 方式注入优化算法优化算法从最d游的表开始遍历，对无访问的表以及表相关的任务e线从d层数据产品产出价值以及报表的访问情况，进行数据产品或者报

14、表的e线a 如何采集数据如何采集数据 0S ILAGE 2.0S ASDIR MR 任务日志 SOAPk 任务日志 MERASRNPE 资产管理实现面m的技术挑战资产管理实现面m的技术挑战 HiveSQLMRSparkSqoop ? HiveSQL ? SparkSQLImpalaSQL FSImage Spark MR Yarn ? HDFSAudit ? MR? Spark? ? ? Impalad Impala ImpalaSQL? ? ? ? Cluster Job Flow User ? ? ? ? Kafka ? ? ? ? HDFS ? ? ? ? ? ? ? ? ? ? ? 系统架构系统架构 ?! ?! ?! ?! ?20%20%?! 数据资产管理效果数据资产管理效果

友情提示

1、下载报告失败解决办法
2、PDF文件下载后，可能会被浏览器默认打开，此种情况可以点击浏览器菜单，保存网页到桌面，就可以正常下载了。
3、本站不支持迅雷下载，请使用电脑自带的IE浏览器，或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩，下载后原文更清晰。

本文（极客帮科技：网易互联网数据中台实践（32页）.pdf）为本站（X-iao）主动上传，三个皮匠报告文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。若此文所含内容侵犯了您的版权或隐私，请立即通知三个皮匠报告文库（点击联系客服），我们立即给予删除！

温馨提示：如果因为网速或其他原因下载失败请重新下载，重复下载不扣分。

上海品茶

极客帮科技：网易互联网数据中台实践（32页）.pdf

极客帮科技：网易互联网数据中台实践（32页）.pdf