《金融级实时数仓建设实践.pdf》由会员分享,可在线阅读,更多相关《金融级实时数仓建设实践.pdf(21页珍藏版)》请在三个皮匠报告上搜索。
1、DataFunSummitDataFunSummit#20232023金融级实时数仓建设实践马年圣-蚂蚁集团-实时数仓架构师蚂蚁实时数仓架构实时数仓架构设计实时数据解决方案流批一体应用流批一体能力构建流批一体场景应用实时数据质量保障面向研发过程的任务级监控面向数据链路的全链路监控数据湖落地展望数据湖落地展望目录 CONTENTDataFunSummitDataFunSummit#2023202301蚂蚁实时数仓架构蚂蚁实时数仓架构背景引擎平台资源资产工具质量选择引擎选择平台申请资源口径copy代码开发任务测试任务上线报警配置任务运维可优化点引擎特性语法函数开发生态运维问题平台能力参差不齐多平台
2、运维任务散布多平台用户实时开发心智平台任务迁移问题计算资源申请和管理存储资源的管理计存资源和项目域的关系存储计算资产复用性问题逻辑表更同步问题重复解析的资源浪费口径对齐问题开发效率问题代码开发提效数据验证提效任务压测效率任务执行计划配置任务稳定性监控数据时效监控数据内容监控全链路监控事中的应急处理!实时开发链路围绕实时研发流程和能力,定义其中的关键问题,进行实时数仓和架构的建设什么是实时资产?APISDKCLTIDE客户端接入层HTTP Server云账号服务SQLPlannerWorkerWorkerSchedulerExecutorExecutor逻辑层MetaStore(OTS)MR J
3、obSQL JobPanguFuxi存储/计算层DataStreamRuntime计算层DataSetTable Api语义层SQLOb存储层ExplorerHbaseSLSConnector DDL?ODPSFlink元表定义元表消费元表管理实时元表实时资产=内容定义生产体系消费体系资产管理元表质量唯一性校验强Schema规范性治理配置复用资产主题资产目录资产搜索元表权限元表血缘流批一体自动化研发内容校验时效性校验蚂蚁实时数仓架构物理表实时数据分析(OLAP)实时数据集定义实时报表配置数据应用接入实时数据服务(OLTP)实时接口定义资产元数据打通实时标签服务 实时保障计算开发层存储层FLIN
4、K数据源线上日志数据库日志实时消息DQC质量巡检异源数据比对主备一致性监控场景基线保障任务运行监控数据服务层ODPS元表引擎层低代码研发流批一体核心资产资产即服务资产定义资产沉淀资产复用资产规范统一资产服务资产消费血缘资产搜索资产合规管控计算逻辑定义开发模式复用实时任务生成通用能力沉淀计算逻辑一致开发效率提升解决方案拓展数据保障增强数据源定义物理表定义字段定义SLSEXPLORERHBASE实时压测系统诊断系统实时计算解决方案-关联类数据计算用户流量埋点转化事件user1user1user1user1trans1log1log3trans4trans5trans6log5trans2log2t
5、rans3log4log7log6log8用户流量埋点转化事件user1user1user1user1trans1log1log3trans4trans5trans6log5trans2log2trans3log4log7log6log8log1log2log3log4log5log6log7log8trans1user1user_idlog_timespmtrade_no trade_time trade_amt user12021-12-0511:57:00a1.b1.c1.d1 trade12021-12-0512:00:00 100.0user12021-12-0511:57:30a2
6、.b2.c2.d2 trade12021-12-0512:00:00 100.0user12021-12-0511:59:00a6.b6.c6.d6 trade12021-12-0512:00:00 100.0user12021-12-0511:59:30a7.b7.c7.d7 trade12021-12-0512:00:00 100.0user12021-12-0511:59:45a8.b8.c8.d8 trade12021-12-0512:00:00 100.0路径筛选拓扑构建其他解决方案:端上进行流量日志的串联、数据湖准实时构建基础解决方案:双流Join、维表关联图计算方案实时计算解决方
7、案-去重类指标计算 RbmUDAF最细粒度新增膨胀分发累计聚合明细流构建维表离线回流实时打标累计聚合明细流细粒度Hll/Theta查询开窗聚合去重+膨胀维表去重Hyperloglog/ThetasketchBitmap用户去重ExplorerHbase初始化FlinkOdpsuser_id查询SlsRbmUDTFOLTP点查OLAP分析Hbase累计数据分维度RBM流批对齐用户高位分布序列维表init如果查询活动期累计UV?=尽可能缩小数据量 =合并T+1前的累计数据 =通过流批优化计算优化方案:Cumulate windowDataFunSummitDataFunSummit#2023202
8、302实时数据质量保障事前事中调试+诊断压测+限流防降 数据异常监控任务异常监控全链路基线服务异常监控压测数据构造压测环境任务压测测试报告异常数据监控基线配置DQC数据比对DQC执行比对监控血缘能力基线全链路巡检历史数据回放基于规则造流TPS配置并行数最大消费速率消费瓶颈点CPU使用MEM使用目标消费能力限流记录数波动数值分布数据不一致主备监控异源核对异常巡检Metric采集数据统计差异比对基线等级基线场景任务挂载保障体系故障体系全链路监控单任务延迟末节点溯源DP任务血缘全任务血缘消费血缘统计周期统计方式对比周期阈值区间监控字段选定时间区间阈值区间数据波动数据分布在事前和事中两个重要的阶段,通
9、过研发卡点、任务监控、数据监控、全链路监控等能力,保障任务和数据的稳定性实时数仓保障体系-面向研发流程实时数仓保障体系-面向数据链路数据源任务基础监控底层组件稳定性监控任务级DQC计算层存储层查询层应用层Metric注册中心监控快排分析写入监控消费生产“端到端”数据质量查询服务水位监控服务巡检数据上报时效采集延迟监控采集服务稳定性监控算法场景报表场景负载监控文件分布查询报错告警查询耗时监控热点监控服务可用性监控底层依赖监控快恢消费切换数据健康度面向实时数据的全生命周期和全链路,从最底层的引擎到最上层的服务,构建端到端的实时数据质量监控能力实时数仓保障体系-任务粒度监控任务DQC单任务异源核对实
10、时 vs 离线主备校验主 vs 备DWSDWDSLSExplorerHbaseMetric DQCMetric DQC结果DQC异源核对主备核对监控规则规则配置时序数据库监控系统报警系统数据服务质量监控实时数仓保障体系-全链路监控场景(内容)血缘基线(时效)链路监控大促保障资源管理资产分类风险评估场景基线ADM_1HBS_ADM_1R35ADM_2EXP_ADM_2R18ADM_3UCS_ADM_3R27DWSSLS_DWSR35DWDSLS_DWDR18DIMHBS_DIMR27ODSSLS_ODSR18ODSDRC_ODSR27发布管控资产汰换DataFunSummitDataFunSum
11、mit#2023202303流批一体应用流批一体-Lambda贴源层明细层(消息中间件)明细层OdpsFlink轻度汇总层应用层轻度汇总层应用层(存储多样)数据回流应用回流应用直连报表场景标签场景特征场景流/批模型融合数据/应用融合数据融合30%30%30%30%10%10%60%60%60%60%10%10%离线数仓重中间层,实时数仓重应用层,从中间层到应用层均会进行数据融合 =流批一体能力要能够兼容从原始层到应用层的逻辑对齐和引擎计算能力流批一体-技术架构DataphinDataphinFlinkFlinkKubernetesKubernetes原生调度原生调度/集群模式调度集群模式调度P
12、luggable Components离线调度引擎离线代码生成元表管理离线代码研发离线任务运维BackendJob SchedulerShuffle ServiceSource/Sink ConnectorsOperator APISQL/Table APIBatch OptimizerDataStreamStream&Batch Physical SDK数据源元表预编译调试提交发布SQL解析代码生成代码编辑任务参数变量替换资源设置调度配置任务依赖运行报告调度实例实例运行周期任务周期实例补数据实例运行日志监控报警任务保障字段定义参数配置权限管理FunctionOptimizerAutoConf
13、“ABS”RateLimitAdaptation流批一体-逻辑对齐a varcharb varcharc varchard bigint_source_type_ METADATAa varcharb varcharc varchard bigint_source_type_ METADATAmix_sourcestream_sourcea varcharb varcharc varchard bigint_source_type_ METADATAbatch_sourcea varcharb varcharcnt_c bigintcnt_d bigintis_real varcharsink
14、a varcharb varcharcnt_c bigintcnt_d bigintis_real varcharsink代码生成元表注册变量替换Sink限流保护线上库如为mix sink,则会分别翻译静态/动态分区流VS批流批标识离线数据源实时明细流离线天级汇总表实时天级汇总离线累计汇总表Lindorm实时累计汇总流离线数据源实时明细流离线天级汇总实时天级汇总离线累计汇总Lindorm实时累计汇总流混合元表OdpsFlink数据回流Flink BatchFlink StreamOdps流批一体优化点通过流批一体能力保证实时离线口径的一致性口径一致性任务数由4+减少到1个,运维便捷性提高运维效
15、率UV/PV类、前后置汇总均可使用此套方案计算通用性结果数据可直接同步到Flink相关生态存储引擎中研发生态一套计算逻辑流批一体-长周期指标计算DataFunSummitDataFunSummit#2023202304数据湖落地展望数据湖落地展望数据源线上日志数据库日志实时消息ODPS(dtm-delta-ods)ODSDWDDWSADM应用场景实时元表ODPS(di)ODPS(hi)LindormdimSlsriODPS(1d)ODPS(1h)ExplorerSlsODPS(1d)ODPS(1h)ExplorerLindorm离线实时准实时增量+初始化Paimon(增全量明细)ExplorerLindormPaimon(明细-累计汇总)离线兜底数据同步数据回流数据报表数据服务用户标签算法特征样本消息流计算存储资产效率一套计算引擎分钟级计算打通存储生态全量+增量+实时 切换为一套存储,节约存储资源一份存储,管理可控对齐Odps生态,构建准实时场景的相关资产管理和保障能力一份存储一套引擎,真正实现流批一体研发简化复杂解决方案(如长周期、关联类等)感谢观看