《基于DataLeap的电商指标管理实践(1).pdf》由会员分享,可在线阅读,更多相关《基于DataLeap的电商指标管理实践(1).pdf(33页珍藏版)》请在三个皮匠报告上搜索。
1、Copyright 2022 北京火山引擎科技有限公司 All rights reserved.WWW.VOLCENGINE.COMVolcengine Data Intelligence基于DataLeap的电商指标管理实践演讲人:许昕珑火山引擎DataLeap数据架构师CONTENTS目录建设背景01指标规范化管理02指标消费03电商实践04未来规划0501电商指标体系建设背景电商业务介绍电商业务为什么需要建设指标平台?电商业务需要什么样的指标平台?电商业务背景5电商业务背景内外用户多角色多:内外用户多角色多:内部几十个团队,外部商家数千万人产品形态众多:产品形态众多:内部产品N+个,外部
2、产品、业务系统繁多内外场景多:内外场景多:支持内外部个不同的分析的分析场景电商业务在解决质量和效率过程中遇到的问题电商业务电商业务遇到的遇到的问题问题01名称相同,实际技术口径不一致。技术口径一致,不同团队在不同的文档名称存在较大差异。指标管理不指标管理不统一统一02指标业务口径或者技术口径表述错误或者模棱两可,造成的理解沟通成本较大。指标口径不指标口径不统一统一03指标定义写在文档里,数据在库里;消费指标的时候指标重复创建,资源浪费指标消费不指标消费不统一统一7首要解决内容、口径等一致性问题首要解决内容、口径等一致性问题释放数据价值释放数据价值建设业务官方指标库,看清数据资产和使用情况建设业
3、务官方指标库,看清数据资产和使用情况消费内容全面消费内容全面消费能力稳定开放消费能力稳定开放为业务人员为业务人员/产品提供稳定开放能力,支持业务共建产品提供稳定开放能力,支持业务共建建设建设诉求诉求消费渠道丰富消费渠道丰富深度联动内部业务数据产品、深度联动内部业务数据产品、BIBI平台、资产门户等平台、资产门户等满足数据侧规范生产、规范管理满足数据侧规范生产、规范管理规范化生产和管理规范化生产和管理实现系统、自动化指标管理流程,满足多角色协同实现系统、自动化指标管理流程,满足多角色协同指标生产消费一体化,拓展消费渠道,指标生产消费一体化,拓展消费渠道,统一消费能力统一消费能力数据一致性数据一致
4、性元信息消费元信息消费+指标取数消费结合深度赋能对内产品指标取数消费结合深度赋能对内产品电商指标平台建设能力诉求持续提高指标管理与消费:生产促进消费 消费促进生产指标平台功能架构基础元素时间周期(最近1天/最近7天)度量(投放金额/逾期金额)数据类型(int/double )数据域(风控/营销)业务过程(风控-信用评估)指标单位(元/万元)修饰词(用户等级-L1)原子指标(汽车贷逾期金额)原子指标(汽车贷投放金额)衍生指标原子指标=汽车贷逾期金额时间周期=截至昨天修饰词=归属机构 衍生指标原子指标=汽车贷投放金额时间周期=截至昨天修饰词=归属机构复合指标(汽车贷逾期率=衍生指标/衍生指标)四则
5、运算指标定义模型注册字段绑定指标维度绑定维度管理OLAP查询引擎模型注册与加速查询加速版本管理自定义属性分类管理批量导入指标消费与服务技术目录业务目录指标检索数据预览指标API查询路由与BI联动指标字典指标API外部系统其他功能业务线管理成员管理需求登记业务指标审核技术指标审核需求-指标绑定平台管理需求管理扩展属性管理数据源管理模型发布审核与数据产品联动02指标管理方法论 指标的拆解 统一基础数据建设 指标管理涉及哪些角色 指标管理的角色划分与指责指标拆解方法论基础元素时间周期(最近1天/最近7天)度量(投放金额/逾期金额)数据类型(int/double )数据域(风控/营销)业务过程(风控-
6、信用评估)指标单位(元/万元)修饰词(用户等级-L1)1.解决指标和维度的重复建设,解决指标同名同义/指标同义不同名的问题,2.指标口径直观且官方,衍生、复合指标的业务逻辑自动继承,降低理解成本统一数据基础建设1.解决针对每个消费场景的烟囱式开发的问题,提高研发数仓的生产效率2.整个数仓建设清晰,数据体系规范化运行指标拆解和数据基建的落地效果数据域:15个原子指标:700+衍生指标:10000+复合指标:3000+业务指标:7000+角色划分与职责 指标平台服务数仓、业务,包含分析师、数据产品、各个业务线的数仓、基础建设数仓,原因:1.为了实现生产促进消费、消费促进生产的目标,指标平台就不能只
7、是数仓的指标平台2.需要把“指标”的完整生命流程都纳入指标管理的范畴中,包括不限于把指标的生产流程管理、指标的应用消费血缘、业务指标口径分类管理等都纳入其中协作流程举例:指标需求登记功能 协作流程举例:指标需求登记功能03指标消费实践统一指标服务建设APP数据应用表APP数据应用表APP数据应用表数据服务API数据服务API数据服务API数据服务API数据服务APIBI看板数据产品仪表盘域外问题:1)极易发生数据准确性问题,技术口径维护在数据服务API中,由不同的人维护,口径很容易对不上2)很难应对数据口径变化。数据口径随业务发展频繁变化,导致各种看板之间口径不一致、数据错误3)没有复用性,开
8、发维护成本极高。要不选择应用层烟囱式开发,要不每次数据项目都要从0开始建设,后续迭代维护“打补丁”,维护成本翻倍4)新童鞋接手理解&开发成本较大,无法应对人员流动。数据服务API中的sql很容易到几百上千行,要做大量数据校验,维护成本很高,经常出现交不出去、接不住的问题数据服务API价值价值:For 产品业务:交付的数据产品,其指标都是官方指标,保证权威、准确,以数据产品上的指标口径为准,可产品业务:交付的数据产品,其指标都是官方指标,保证权威、准确,以数据产品上的指标口径为准,可100%信任数据产品;能够信任数据产品;能够快速看到现有口径(指标可解释);技术上投入的人日也可以大大缩短快速看到
9、现有口径(指标可解释);技术上投入的人日也可以大大缩短For 数据研发:统一维护一份指标口径,保证各个地方的看板口径一致,提升数据建设效率和质量,提升业务满意度和信任感数据研发:统一维护一份指标口径,保证各个地方的看板口径一致,提升数据建设效率和质量,提升业务满意度和信任感For 技术研发:能够快速找到指标,减少沟通成本,借助技术研发:能够快速找到指标,减少沟通成本,借助SQL生成功能大大提升开发维护效率,将数据问题排查成本基本降为生成功能大大提升开发维护效率,将数据问题排查成本基本降为0统一指标服务建设核心技术1:统一指标查询语言 MetricDSL查询能力OLAP查询明细查询基于指标函数的
10、查询自定义指标函数的查询分析要素指标维度模型过滤条件时间范围查询类型多指标查询跨模型查询跨数据源查询基于公共维度的查询核心技术2:统一指标查询语言执行流程按指标、查询条件、模型类型等复杂条件智能路由核心技术3:模型的智能路由电商消费实践1:指标专题指标专题共享:业务同学无需关心底层,直接通过业务语义使用数据电商消费实践2:智能路由智能路由与数据查询:共享指标与元数据,跨不同粒度、不同时间周期的表/数据集指标消费从选表变成选指标电商消费实践3:BI看板跨模型配置BI仪表盘:海量可视化行业模版,快速搭建业务看板电商消费实践4:基于指标构建血缘的洞察分析智能洞察决策:基于指标结果,快速表级别的洞察分
11、析-基于指标构建血缘的洞察分析04实践案例 电商内部应用概况 成果电商内部应用概况串联指标从生产端到消费端的价值链,提升生产驱动力和业务驱动力。指标管理与消费架构指标定义逻辑内部实践成果 生产覆盖情况 规范程度 消费情况 消费问题项目运营指标体系项目运营指标体系四个方面四个方面内部实践成果一处生产,多处消费,解决烟囱开发及业务口径对齐的痛点。一处生产,多处消费,解决烟囱开发及业务口径对齐的痛点。内部实践成果 05未来规划未来规划利用用户的查询日志的热点查询进行自动化物化视图的生产,提升查询性能智能化加速根据血缘(指标生产信息/字段信息/生产血缘)推断指标、维度和模型的关系智能化建模目前指标的拆解成本较高,利用大模型和指标生产血缘智能化拆解指标将大大释放指标生产的人力智能化拆解指标平台有着大量的高度规范化的高价值指标信息,同时才具备取数能力,通过大模型进行指标取数的问答将更大提供指标的价值大模型找数THANKS.