报告预览

NoETL自动化指标平台打造分析自由_Aloudata大应科技.pdf

编号：164042

PDF 27页 4.20MB 下载积分：VIP专享

下载报告请您先登录！

NoETL自动化指标平台打造分析自由_Aloudata大应科技.pdf

1、NoETLNoETL自动化指标平台打造自由分析自动化指标平台打造自由分析杜雪芳Aloudata 合伙人&首席业务架构师2024/05/26AloudataAloudata：领先的自动化数据管理软件服务商领先的自动化数据管理软件服务商P10CEO 周卫林，原蚂蚁集团数据平台总经理10+原蚂蚁/阿里 P8 及以上高级专家70%+产研人员占比16+软著成都杭州杭州上海北京深圳2021/05，公司成立2021/06，获红杉中国天使轮投资2021/08，签约招商银行2021/09，获 Pre-A 轮融资2022/05，NoETL 引擎在招行银行规模化应用2023/12，ABC 产品家族正式发布，全面商业

2、化2024/01，多个行业头部客户签约 16 项软著 6 个技术专利多项信创认证中国信通院高质量数字化转型产品测评认证多项兼容性认证和软件产品证书 2023 年信通院两个“星河”标杆案例 2024 IDC PeerScape：金融领域数据管理分析服务最佳实践案例目录 Contents1.数据分析的本质2.目前的数据分析模式3.NoETL 自动化指标平台打造自由分析体验4.总结数据分析的本质数据分析的本质01典型的数据分析场景理想的数据分析体验典型的数据分析场景典型的数据分析场景公司公司年累计销售额年累计销售额完成比例同比环比团队团队/员工员工运营决策运营决策渠道分析：渠道分析：天猫、抖音

3、、京东、拼多多、商品分析：商品分析：SPU、SKU、动销分析、首发、评价、会员分析：会员分析：VIP、新/老、客单价、流失分析、转化分析：转化分析：浏览下单转化率、交易失败分析、营销活动分析营销活动分析客群分析：客群分析：标签、用户画像策略分析：策略分析：优惠券发放、归因分析产品体验优化：产品体验优化：路径转化、体验优化ABAB实验、供应链管理实验、供应链管理管理驾驶舱管理驾驶舱业务自助分析业务自助分析考核指标考核指标部门部门线上年累计销售额线上年累计销售额各渠道，占比线下年累计销售额线下年累计销售额各区域，占比当月累计销售额当月累计销售额当日销售额当日销售额经营分析看板经营分析看板下钻拆解下

4、钻拆解明细数据明细数据业务运营工作台业务运营工作台数据接口数据接口业务期望的数据分析体验：快、全、准业务期望的数据分析体验：快、全、准快快试错快试错快：结果快速验证决策快决策快：快速优化决策定位快定位快：快速定位原因查询快查询快：查询秒级响应全全细数据细数据：获取明细数据高灵活高灵活：指标灵活度高准准数据准数据准：数据一致口径清口径清：指标口径清晰可视目前的数据分析模式目前的数据分析模式02数仓+BI 的分析模式目前模式存在的问题目前的分析模式：目前的分析模式：“数仓数仓+BI+BI”的分析模式的分析模式业务系统数据日志数据第三方数据维度表事实表事实表维度表宽维度表宽事实表宽事

5、实表宽事实表各类汇总表更大的宽表更大的宽表明细层明细层汇总层汇总层3.3.乱：乱：指标口径不一致指标口径不一致相同指标针对不同业务部门、不同场景（譬如经营分析和 AB 实验）需要开发大量不同的表，不同报表的指标数据对不上，导致业务决策的失误。2.2.缺：分析不灵活缺：分析不灵活以固定报表开展监控分析，业务无法从汇总数据下钻查看明细数据；在开展自助分析时，受查询性能和需求不确定性影响，分析字段欠缺。1.1.慢：需求响应慢慢：需求响应慢任意维度/指标的新增或变更都依赖 ETL 人员，需求响应长达 2 周甚至超过 1 个月；指标口径变更时，需要进行多个地方的修改回刷。数据集数据集数据集报表 1报表

6、2报表 3数据集数据集数据开发平台数据开发平台BIBI 工具工具报表报表慢慢缺缺乱乱以用户交易分析为例，传统模式带来的问题以用户交易分析为例，传统模式带来的问题用户行为表订单明细表发货明细表产品维表用户维表渠道维表事实表事实表（DWDDWD）维度表维度表（DIMDIM）用户行为宽表用户订单宽表用户发货宽表轻粒度汇总表轻粒度汇总表（DWS)DWS)日粒度转化分析日期品类地区渠道访问用户订单用户发货用户重粒度汇总表重粒度汇总表(ADS(ADS）品类分析表品类访问用户订单用户发货用户渠道分析表渠道访问用户订单用户发货用户报表报表1：按天用户交易分析：按天用户交易分析日期品类地区渠道访问用户订单用户发

7、货用户报表报表2：品类交易分析：品类交易分析品类访问用户订单用户发货用户分天交易分析品类交易分析渠道交易分析BIBI 数据集数据集报表报表3：渠道交易分析：渠道交易分析渠道访问用户订单用户发货用户数据开发平台数据开发平台BIBI 工具工具ITIT 侧：指标重复开发、变更维护成本高侧：指标重复开发、变更维护成本高根据业务报表需求定制化开发，同一指标不同分析维度开发多张表；一旦需求发生变化，必须经过冗长的开发链路进行变更业务侧：试错成本高、决策迭代慢业务侧：试错成本高、决策迭代慢用户分析时，受限于报表背后的有限分析字段，无法基于数据指导决策，业务凭经验决策，试错成本高、决策迭代速度慢NoETLNo

8、ETL自动化指标自动化指标平台打造分析自由平台打造分析自由03什么是 NoETL 自动化指标平台NoETL 自动化指标平台的核心能力如何打造“快、全、准”的分析体验BI 工具 AI 工具自建应用经营分析运营分析 AB 实验AloudataAloudata CANCAN：NoETLNoETL 自动化指标平台自动化指标平台应用场景指标平台数据仓库指标管理基础指标派生指标复合指标维度管理原始维度分组维度计算维度指标应用指标目录指标分析指标归因权限管理查看权限指使权限行级权限贴源层公共层DIM用户维度物料维度店铺维度DWD主题域 1主题域 2主题域 3主题域 4主题域业务系统业务系统业务系统业

9、务系统业务系统业务系统管管：统一指标口径管理研研：应用层自动化代持用用：灵活一致指标消费基于标准化和自动化能力，提供基于标准化和自动化能力，提供“快、全、准快、全、准”的分析体验的分析体验标准化指标定义标准化指标定义强大的语义数据模型和函数能力，复杂指标实现配置化定义，实现指标的共享复用，确保指标数据的准确性和全面性自动化指标研发自动化指标研发IT 无需开发宽表与汇总表，只需选择需要物化加速指标，系统自动编排、刷新与回收数据，确保秒级的查询响应速度AloudataAloudata CANCAN 指标平台指标平台 vsvs 传统传统 ETLETL 指标加工流程指标加工流程业务系统数据日志数据第三

10、方数据维度表事实表事实表维度表宽维度表宽事实表宽事实表宽事实表各类汇总表更大的宽表更大的宽表明细层明细层汇总层汇总层应用层应用层指标平台（语义层）：指标平台（语义层）：逻辑层与物理层解耦，无需大量宽表和汇总表开发语义模型语义模型原子指标原子指标派生派生指标指标复合指标复合指标业务系统数据日志数据第三方数据维度表事实表事实表维度表快：指标定义即消费，低成本试错验证，实现指标体系快速迭代快：指标定义即消费，低成本试错验证，实现指标体系快速迭代客观性原则客观性原则指指标标体体系系建建设设四四大大原原则则好的指标需要客观、真实的反应业务发展情况系统性原则系统性原则指标体系的建设需要有全局性、结构性和层

11、次性，需要体现出对业务运作的全面理解动态性原则动态性原则指标体系不可一尘不变，需要跟随业务规划及时迭代，动态调整敏感性原则敏感性原则业务变化，需要能被指标敏感的捕捉到，并反映出来强大的指标定义能力，支持任意指标标准化定义，实现快速探查强大的指标定义能力，支持任意指标标准化定义，实现快速探查通过指标平台实现配置化定义，无需在数仓写 SQL 开发，低成本进行指标体系的试错验证指标统计周期：业务限定：基础度量：1.1.当日当日/近近N N日日/本年至今本年至今e.g.昨日/近 7 日/本年至今上周/近 7 周/本周至今2.2.自定义周自定义周/财年财年e.g.自定义周：周二周一自定义年：4.13.3

12、13.3.自定义日历自定义日历e.g.近 5 个交易日上一个交易日1.1.常规维度值筛选常规维度值筛选e.g.状态=已支付邮箱结尾为2.2.指标结果筛选指标结果筛选e.g.上月交易量 0 的用户近 7 天领券金额 0 的用户3.3.指标指标 TopNTopN 的维度值的维度值e.g.上月交易量前 3 的产品当日持仓金额前 3 的债券1.1.简单聚合简单聚合e.g.交易笔数/人数/金额2.2.时间维度多次聚合时间维度多次聚合e.g.日均交易人数月日均交易金额最大值3.3.非时间维度多次聚合非时间维度多次聚合e.g.单股最大净流入金额地区门店日均订单量特定特定维度筛选维度筛选忽略忽略只保留/只排除

13、特定维度筛选特定维度筛选参数特定维度筛选参数将维度筛选值作为度量输入参数快：突破数据需求的最后一公里，业务全流程自助分析快：突破数据需求的最后一公里，业务全流程自助分析ETL 工程师提出数据需求物理表定制开发业务人员ITIT 准备数据，分析维度准备数据，分析维度固定固定BeforeBefore业务人员业务人员原子指标任意维度ETLETL 工程师工程师公共层建设及原子指标定义灵活组装分析业务自助定义指标，分析维度业务自助定义指标，分析维度灵活灵活AfterAfterITIT：无惧业务需求的变化：无惧业务需求的变化数据分析效率10倍提升业务：指标维度灵活组装业务：指标维度灵活组装指标开发与变更成本

14、降低70%快：指标智能归因分析，快速帮助业务深层次洞察波动原因快：指标智能归因分析，快速帮助业务深层次洞察波动原因指标维度下钻归因指标维度下钻归因维度层层下钻分析，维度层层下钻分析，直至定位根本原因直至定位根本原因指标因子关系归因指标因子关系归因按照指标的因子关系找按照指标的因子关系找出指标的相关性影响出指标的相关性影响兼容不同兼容不同 MPPMPP 引擎（引擎（StarRocksStarRocks、DorisDoris、.).)物化数据构建物化数据构建物化方案推荐查询命中改写查询命中改写物化元数据索引查询自动改写物化命中选择快：自动物化加速，实现十亿数据秒级查询响应快：自动物化加速，实现十亿

15、数据秒级查询响应自动物化编排周期物化刷新指定日期回补增量物化构建JDBC指标数据查询API 自动物化构建自动物化构建自动物化方案推荐自动物化链路编排指定日期数据回补增量物化数据构建完备物化监控运维查询命中改写查询命中改写直接基于指标语义查询，无须关心物理表，系统基于物化元数据信息，自动进行查询物化数据选择，并自动改写成最优的查询执行 SQL指标语义查询，无需关心物理表指标语义查询，无需关心物理表全：语义模型定义指标，业务可基于虚拟明细大宽表灵活分析全：语义模型定义指标，业务可基于虚拟明细大宽表灵活分析订单表订单表成交时间订单id产品id客户id交易金额销售数量销售价格客户表客户表客户id客户

16、名称客户所在地区产品表产品表产品id产品名称类目表类目表产品id产品类目id产品类目名称退款表退款表退款时间退款id订单id产品id客户id退款金额退款状态退款原因语义数据模型（逻辑关系而非物理关联）语义数据模型（逻辑关系而非物理关联）交易金额交易客户数交易订单量退款金额退款订单量退款客户数指标指标维度维度客户名称客户所在地区产品名称产品类目名称退款原因虚拟大宽表虚拟大宽表一个指标，一个指标，任意维度下钻任意维度下钻一个维度，一个维度，串联任意指标串联任意指标多指标多维度多指标多维度灵活组装灵活组装全：用户可以基于所有指标和维度灵活组装分析全：用户可以基于所有指标和维度灵活组装分析无需加工汇总

17、表，实现无需加工汇总表，实现将来自不同事实表的指将来自不同事实表的指标放在一起分析标放在一起分析无需提前打成宽表，用无需提前打成宽表，用户自主选择维度开展不户自主选择维度开展不同切片分析同切片分析全：典型分析场景示例全：典型分析场景示例 -留存分析留存分析指标标签化快速圈选分析人群指标标签化快速圈选分析人群支持维度下钻分析不同客群的留存率支持维度下钻分析不同客群的留存率全：典型分析场景示例全：典型分析场景示例 -客群分析客群分析指标标签化快速圈选分析人群指标标签化快速圈选分析人群基于丰富的维度全面精准刻画用户画像基于丰富的维度全面精准刻画用户画像准：指标平台提供准：指标平台提供完善的指标规范管

18、理能力，完善的指标规范管理能力，实现指标口径的统一实现指标口径的统一指标数据规范指标数据规范指标分类分级指标分类分级指标类目管理指标类目管理自定义扩展属性自定义扩展属性指标质量管理指标质量管理指标重复校验指标重复校验指标监控预警指标监控预警指标上下架管理指标上下架管理指标指标发布发布审批审批指标版本管理指标版本管理指标权限管理指标权限管理指标血缘分析指标血缘分析指标查看权限指标查看权限指标使用权限指标使用权限指标行级权限指标行级权限指标运营监控指标运营监控指标使用分析指标使用分析总览总览资源分析资源分析指标规划指标规划指标定义指标定义/管理管理/使用使用指标治理指标治理完善的指标管理产品能力完

19、善的指标管理产品能力准：准：指标管理流程透明化、可视化，保障指标口径的一致性指标管理流程透明化、可视化，保障指标口径的一致性业务需求部门提出需求指标平台中搜索选择对应指标申请权限提交指标需求申请同步至指标平台YESNO重新提交需求需求审核部门确认需求合理性需求合理性审核指标定义开发完善及调整需求YESNO指标开发部门指标口径沟通指标定义开发指标发布审批指标消费应用调整指标定义YESNO产品能力+管理办法，完善企业指标管理流程，实现指标口径统一的“长治久安”分类分级属性标准同名不同义、同义不同名校验指标血缘跟踪、指标版本管理指标权限管理NoETLNoETL 自动化指标平台价值总结自动化指标平台价值总结灵活且一致的分析体验灵活且一致的分析体验指标口径指标口径100%100%一致一致快快全全准准数据分析决策效率数据分析决策效率1010 倍提升倍提升虚拟的明细大宽表虚拟的明细大宽表0 0 字段缺失字段缺失Aloudata 公众号产品试用Thank

友情提示

1、下载报告失败解决办法
2、PDF文件下载后，可能会被浏览器默认打开，此种情况可以点击浏览器菜单，保存网页到桌面，就可以正常下载了。
3、本站不支持迅雷下载，请使用电脑自带的IE浏览器，或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩，下载后原文更清晰。

本文（NoETL自动化指标平台打造分析自由_Aloudata大应科技.pdf）为本站（张5G）主动上传，三个皮匠报告文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。若此文所含内容侵犯了您的版权或隐私，请立即通知三个皮匠报告文库（点击联系客服），我们立即给予删除！

温馨提示：如果因为网速或其他原因下载失败请重新下载，重复下载不扣分。

上海品茶

NoETL自动化指标平台打造分析自由_Aloudata大应科技.pdf

NoETL自动化指标平台打造分析自由_Aloudata大应科技.pdf