1、数据驱动业务发展-业务指标数据体系建设及集市治理实践张婉绮 京东 数据挖掘工程师|01业务集市现状03未来展望02业务集市治理目录 CONTENT|01业务集市现状业务集市的现状和治理要点业务集市治理背景|数据挖掘及分析数据指导决策业务迭代实践“数据驱动力”通过数据体系系统化地获取及分析数据，为业务决策提供有效支撑，驱动业务发展使用中台能力，系统化构建业务指标体系通过指标及维度呈现波动分析逻辑，帮助各层管理者，实现目标管理形成“业务智慧”及运用智慧持续驱动业务发展的能力。提供高效率规范数仓能力，减少数据分析师线下工作量，提升分析效率。更多关注业务数据交付，不关注集群状态历史集群无序建设业务集市

2、现状|不可知不可取不可用不可控烟囱式开发现象严重模型分散，冗余计算任务浪费过多集群资源。跨层依赖严重业务数据共享度低无统一数据标准跨层依赖严重，读取共享数据有明显问题，存在大量重复读取消耗IO资源，缺乏共享复用。业务线多，耦合性强，但数据共享度低。各业务团队间没有统一数据标准，数据口径难以保持统一，质量参差不齐。业务集市治理要点|传统集市治理工具+标准规范+历史重构0102030504理数据定标准做规划建模型供服务|02业务集市治理实践业务数据体系规范化框架及业务集市治理实践数据体系规范化框架实践|*Eg：全量-增量*用户行为日志流量指标用户指标交易指标*中台基础模型*业务模型数据仓库标准通用

3、基础模型 明细业务配置*商品维表维表主题指标计算 聚合渠道商品店铺品类模式部门*中间表-减少资源浪费在线期间运营效果复盘分析历史数据沉淀新项目规划数据看板展示深度分析其他系统底层支持使用场景覆盖项目维度组合分析交叉维度*营销指标分析支持指标体系基础建设数据仓库刷岗处理向下拆解向上实现精细运营复用度高数据质量逐层保障集群治理业务基础模型规范|用建设业务数仓的思路搭建标准通用化模型。按照不同业务线组织数据，主要进行明细数据的整合，解藕数据源，简化数仓模型使用复杂度。面向分析师通用应用场景，高效获取统一口径，支持常用指标和维度分析。封装标准口径行列裁剪维度扩展跨主题拼接治理思路-更关注模型在整条业务

4、线上的普适性及有效性，而非深陷某个具体业务或指标的拆解分析。订单明细（快照）各业务角度用户身份订单明细（历史至今全量）业务身份121业务身份2业务身份3业务身份4业务身份5用户身份用户宽表封装APP层口径订单行粒度打标3用户/订单主题各指标订单行粒度打标，支持自定义时间粒度，节约计算和存储资源。标准 通用 维度组合集群治理业务通用模型实践|集群治理数据指标体系|应用数据层为专题经营分析服务，模型按照具体的需求进行设计。其数据直接供数据看板产品展现使用，或者推送到其他系统做相关的数据支撑。按分析对象耦合数据，供日常查询，提升易用性。组合度量定义主题衍生指标基础指标业务1对比复合指标指标体系运算业

5、务2集群治理指标维度值统一|指标：访问人数维度1ABC维度2AB维度3AC流量模型指标：下单人数交易模型维度1ABC维度2AB维度3AC指标：转化率衍生指标维度1ABC维度2AB维度3AC?指标：访问人数维度1ABC维度2AB维度3AC流量模型10001 998 777710001 998 777710001 998 7777指标：下单人数交易模型维度1ABC维度2AB维度3AC指标：转化率衍生指标维度1ABC维度2AB维度3AC!根据不同的维度组合进行聚合时，对同一维度组合生成全局唯一场景值编码，可方便快速定位到所需下钻维度。针对Group by/GroupingSets维度组合进行全局排，

6、映射维度字段形成全局唯一编码，并支持反推。select groupdim(维度a,维度b,维度c)返回值:10001返回值:维度a,维度b,维度cselect groupid(10001)select groupdim(维度a,维度b,维度c,维度d,维度e,维度f,grouping_id,s)返回值:abcdef返回值:10001select groupdim(维度a,维度b,维度c,维度d,维度e,维度f,grouping_id,h)groupdim(维度a,维度b,维度c)返回值:10001集群治理指标维度值统一|将发生在该SKU的历史事实数据，按照最新的SKU及岗

7、位等维度信息，进行历史数据回溯获取SKU和维度信息的对应关系数据量级大维度组合爆炸刷新频率高 明细数据量级大 多张大宽表关联 刷岗日期范围不断增大 明细刷岗后需重新聚合 精细化运营下维度越来越多 日粒度刷新 时效要求高本 质集群治理ClickHouse字典刷岗|明细表直接关联岗位的维表（left join）进行查询在ClickHouse中将维表加载到字典，然后将明细表基于字典直接进行相应岗位的数据查询获取sku和部门的对应关系l 查询效率快l 查询逻辑简单l 字典数据量大，占用空间大l 全量刷岗容易超内存败x01020304字典按照sku分片缩减字段类型优化sku一对多单分片放置的数据量缩减为

8、1/分片数字典占用空间减少50%字典占用空间减少60%实现了sku一对多的业务场景优化措施|集群治理ClickHouse字典刷岗将维表中的string字段进行转换，剔除部门name相关字段，将维表按照sku_id分布的方式推入ck，并导入字典关联的本地表中数据切分，解决内存不够的问题按分片reload字典按分片对字典和本地表进行0值/数据量校验按分片删除并创建字典应用效果：用户26个月周期数据，每日2.5小时更新完成 1亿用户按日汇总秒级返回 30亿用户刷岗去重数据按月汇总30S内返回|集群治理ClickHouse字典刷岗|集群治理ClickHouse字典刷岗治理措施效果：对读取频率top的大模型进行行/列裁剪 通过信息过滤构建加速模型，减少数据量 复用度高的数据沉淀业务数仓，简化数仓模型使用复杂度，标准化口径支持通用维度快速关联。维表存储数据特性，通过拼接快速对定位数据 合理设计中间表，降低加工过程计算难度应用效果：读仓成本降低43%应用层模型数量减少51%，存储降低34%末端看板产品出数时间缩短3小时|集群治理ClickHouse字典刷岗|03对未来的展望展望未来|湖仓一体流批一体资源高效、应用敏捷、业务智能、安全可信自动化智能化非常感谢您的观看|