报告预览

6-1 T3出行湖仓一体架构下的统一指标平台.pdf

编号：102299

PDF 31页 2.11MB 下载积分：VIP专享

下载报告请您先登录！

6-1 T3出行湖仓一体架构下的统一指标平台.pdf

1、T3出行湖仓一体架构下的统一指标平台郑平贺|040102CONTENTS目录为什么需要统一指标湖仓一体下的统一指标平台架构未来展望03统一指标平台的实现|01为什么需要统一指标|什么是指标指标用来量化事物的一个工具，用数字来帮助我们用来量化事物的一个工具，用数字来帮助我们描述一些抽象的事件描述一些抽象的事件一组能反映某一业务在单位时间内的规模、程一组能反映某一业务在单位时间内的规模、程度、比例的数字度、比例的数字|为什么需要统一指标数据数据质量质量指标指标口径口径问题问题追溯追溯可视化可视化|简介：统一指标平台指标一体化平台定位核心指标分析、拆解、异常运营、归因、预测、估算功能运营决

2、策、全公司受众|02湖仓一体下的统一指标平台架构|系统架构|旧架构什么问题？数据处理架构-网状模式（旧）|l每天基于事实表和维表生成的打宽表，但却不知道存量表中是否已经存在，而且复杂性变得越来越复杂，当上游数据发生变更时，并不能保证下游作业完全被更新。l业务口径没办法统一，无法确认哪个部门提供的数据是准确的。数据处理架构-网状模式（旧）|新架构有什么优势？数据处理架构-中心化模式（新）|l重建业务模型，生成精简的、规范化的、经过认证的事实表和维表。这样可以统一业务口径，减少表业务逻辑冗余l增加数据集管理，可经过确认的事实表和维表生成统一度量的聚合表，并结合业务变更，自动维护数据集版本，将变更

4、l语义语义可多维度字段预计算，提供快速灵活可多维度字段预计算，提供快速灵活的查询能力的查询能力支持湖仓生态支持湖仓生态支持超大数据集计算和存储支持超大数据集计算和存储可通过可通过jdbc方便访问和管理数据集方便访问和管理数据集52143计算引擎选择|计算引擎选择ANSI SQL支持支持对象存储支持直接读取湖仓Hudi数据可进行亚秒级查询交互支持Spark On Yarn动态资源计算Cube多维Cube计算选择选择Kylin|Kylin引擎数据处理流程|一站式数据集创建界面化编辑语义文件006语义上线解析语义创建modelCube创建配置定时Cube构建0203040506

5、|Kylin引擎优化ABDEC存算分离，存储使用独立的对象存储，计算使用独立的MRS集群Spark开启spark.dynamicAllocation.enabled动态资源支持Hudi表读取生成宽表Build Cube 开启动态Shuffle开启Cube build planner|Kylin压测结果由于业务模型维度字段维度字段较多且支持客户端灵活查询，所以在Cube维度选择上增大到16个，固定强制维度强制维度为分区字段分区字段。测试单分区数据量8000w。Label#样本样本平均值平均值中位数中位数最小值最小值最大值最大值异常异常%吞吐量吞吐量发送发送 KB/sec测试接口50000421

6、4243313690.00%1178.66521.42总体5000042.00%1178.66521.42|04未来展望|01020304持续迭代指标趋势预测，热点指标关注，预测，估算等功能持续迭代功能数据集模型测试配置并无缝切换引擎环境，然后自动完成在不同环境配指上线构建等工作.无缝测试上线生产增加实时指标接入能力，引入实时计算引擎，并支撑离线指标.增加实时指标为了兼容不同类型指标，包括运维指标，画像指标等.抽取数据集和指标管模块。指标管理独立|未来展望融合离线实时指标|为了能够同时满足离线和实时指标元数据统一、引擎统一能力，我们POC了StarRocks引擎。融合离线实时指标|场景场景离线离线实时实时导入方式broker loadflink频次T-110s-15s并发-100非常感谢您的观看|

友情提示

1、下载报告失败解决办法
2、PDF文件下载后，可能会被浏览器默认打开，此种情况可以点击浏览器菜单，保存网页到桌面，就可以正常下载了。
3、本站不支持迅雷下载，请使用电脑自带的IE浏览器，或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩，下载后原文更清晰。

本文（6-1 T3出行湖仓一体架构下的统一指标平台.pdf）为本站（云闲）主动上传，三个皮匠报告文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。若此文所含内容侵犯了您的版权或隐私，请立即通知三个皮匠报告文库（点击联系客服），我们立即给予删除！

温馨提示：如果因为网速或其他原因下载失败请重新下载，重复下载不扣分。

上海品茶

6-1 T3出行湖仓一体架构下的统一指标平台.pdf

6-1 T3出行湖仓一体架构下的统一指标平台.pdf