《2020年终大会-数据治理:15-3.pdf》由会员分享,可在线阅读,更多相关《2020年终大会-数据治理:15-3.pdf(33页珍藏版)》请在三个皮匠报告上搜索。
1、网易严选数据任务治理实践 分享嘉宾范中喜 目录1:数据任务治理背景 目录2:事前模型上线前第一道防线 目录3:事中基于“基线”任务运维策略 目录4:事后报警后干预措施及常态化机制 目录5:后续规划 分享大纲 数据任务治理背景 数据任务治理背景希望改善点 规范、制度 知识沉淀 模型 及时、准确、稳定 问题快速定位、影响评估 任务 提升链路感知(场景:减少 资损事件发生) 链路感知减少报警、有一定干预措施报警 QA卡点、系统辅助测试 重大事故快速恢复(如入仓数 据异常) 事故恢复 数据任务治理背景落地产品 模型设计(完善):主题域、维度、度量、指标、设计等知识沉淀 产品化 仓颉(原有):指标管理、
2、维度、指标定义、指标与模型绑定 数据地图(完善):模型搜索、指标搜索 测试中心(新增):形态报告、数据比对 数据质量(完善):质量稽核、质量评估、质量大屏 任务运维中心(新增):基线、报警监控、影响分析、诊断、事故恢复、考核 数据资产中心(新增):模型评估、任务健康评估、生命周期管理等。 执行保障:杭研猛犸技术组+网易严选数据技术组 事前模型上线前第一道防线 事前模型上线前第一道防线 保障 链路感知保障 测试保障 数据质量保障 模型设计保障 流程保障 事前模型上线前第一道防线(流程保障) 需求 Jira工单 需求评审:明确指 标口径 研发 模型设计:设计文档 模型评审:口径、粒度、 调度周期、
3、比率加工、注意 事项等。 任务开发:单任务单模型、 分区规范、命名规范、同步 拆分等。 数据测试:测试报告、流 程审批 发布验收:产品/分析师 验收。 生产 质量稽核:配置规 则 链路感知(资损防 控):提示、流程管控 任务运维:监控、 优化、分析 问题处理:问题记 录、工单处理、周会复 盘、事故定级等。 事前模型上线前第一道防线(模型设计保障) 维度定义: 粒度、层 级、属性 主题域 划分 业务过程 划分:业务流 程说明 架构层次: 定位、职责 度量定义: 来自单一 业务过程 命名规范: 模型、维 度、度量、 指标 先设计后开发 知识沉淀 ODS MID DWD DWS DM 增 加 建 表 审 批 流 程 事前模型上线前第一道防线(模型设计保障) 提炼维度:who、what、where、why、when 提炼度量:来源明确、主题域层明确(dwd) 定义指标:指标口径,模型关联(dws、