《4.快手数据质量体系及在直播场景的实践-杨钊.pdf》由会员分享,可在线阅读,更多相关《4.快手数据质量体系及在直播场景的实践-杨钊.pdf(24页珍藏版)》请在三个皮匠报告上搜索。
1、快数据质量体系及在直播场景的实践 杨钊-快数据研发专家 我介绍 杨 钊 快数据研发专家 主要关注数据模型和质量技术领域 主要负责快数据质量体系 录 01 02 03 04 快数据质量体系在直播的实践 快数据质量体系 未来规划 快数据质量理念 01 02 03 04 快数据质量体系在直播的实践 快数据质量体系 未来规划 快数据质量理念 快数据质量理念:数据质量是命线 你们出的数为啥跟xxx出的不样,我该信任哪个? 我们拿到的设备性别数据,半都是空的,我咋算偏好? 我们买量的数据,都是下午才出来,早上的时候,我拍脑袋? 个数据质量引发的问题 准确 一致 及时 完整 快数据质量理念:数据质量保障标
2、01 02 03 04 快数据质量体系在直播的实践 快数据质量体系 未来规划 快数据质量理念 快数据质量保障体系 采集清洗加传输服务 资源优化指标管理模型规范测试 完整准确致及时 保障标 责任划分 意识提升 故障数 数据问题数 质检分级保障质量演练 应急预案 HDFSKafkaHiveFlinkDruid 保障策略 产链路 数据平台 组织保障 度量 快数据质量保障体系:完整 采集清洗加传输服务 资源优化 资源保障 指标管理模型规范 完整准确致及时 保障标 责任划分 意识提升 故障数 数据问题数 分级保障质量演练 应急预案 异常预案 HDFSKafkaHiveFlinkDruid 保障策略 产链
3、路 数据平台 组织保障 度量 测试 记录条数 值域范围 质检 记录条数 值域检查 快数据质量保障体系:准确 采集清洗加传输服务 资源优化 指标管理 指标定义 指标建设 模型规范 完整准确致及时 保障标 责任划分 意识提升 故障数 数据问题数 分级保障质量演练 应急预案 异常预案 HDFSKafkaHiveFlinkDruid 保障策略 产链路 数据平台 组织保障 度量 测试 对测试 主键重复 计算逻辑 质检 主键重复 波动检测 指标上下界 快数据质量保障体系:致 采集清洗加传输服务 资源优化 模型规范 表命名 字段命名 完整准确致及时 保障标 责任划分 意识提升 故障数 数据问题数 分级保障质量演练 HDFSKafkaHiveFlinkDruid 保障策略 产链路 数据平台 组织保障 度量 测试 质检 值致性 指标管理 指标定义 指标建设 指标服务 应急预案 异常预案 快数据质量保障体系: