1、胡晶明/高级数据开发工程师理想汽车基于理想汽车基于 F Flinklink 实时数据仓库实时数据仓库0 0-1 1初步建设初步建设理想汽车8,66014,46412,57917,57525,005000300002020Q32020Q42021Q12021Q22021Q3第三季度交付25116辆，同比增长190%理想one截止目前累积交付突破十万业务场景业务场景实时数仓架构实时数仓架构实践案例实践案例未来展望未来展望#1#2#3#4#1#1业务场景业务场景业务场景实时数据大屏实时数据大屏包括pv、uv、日活等核心指标实时数据异常检测实时数据异常检测实
2、时监控自埋点日志实时监控自埋点日志发现发现用户应用使用异常实时数据分析实时数据分析数据支撑业务发展#2 2实时数仓架构实时数仓架构实时数仓目标数据平台架构多维分析即席查询可视化报表业务数据数据服务hadoophivesparkflinktidbdoris任务监控数据质量生命周期管理任务调度指标集拆分并行查询数据聚合缓存模型管理维度管理异构数据接入血缘分析元数据检索内部系统数据埋点日志实时数仓分层架构实时数据生产平台SQL化#3 3实践案例实践案例构建汽车生产进度实时看板流流和流维关联混合场景两个流的关联时间差可控regular join流表业务数据流表流表生产进度实时数据生产排期任务维度TID
3、BKAFKA汽车生产进度实时统计门店专家营销数量实时统计实时门店专家历史潜在客户访问次数单流统计历史全量数据准确率100%实时计算实时计算t0增量TTL可控:2天结果融合离线计算离线计算t-2历史全量t0增量t-2全量智能排产改配构建实时订单资源实时数据，帮助算法实现车辆智能生产的排程和配置的更改双流关联，两条流的事件时间不可控制使用TTL时间无限长业务库业务库特征特征特征特征模型flink实时计算数据业务库智能排产改配订单表生产表订单流订单流regular join历史数据回查TIDB流和流关联事件驱动流和维关联解决时间久远匹配不上问题flink实践总结#1#2#3数据格式通用字段:even
4、t_time:事件时间,和业务相关。update_time:系统更新时间,和本次记录到达相关。主备链路双跑数据格式通用字段:version:版本,和开发迭代相关，便于下游切换新数据,且不消费旧脏数据根据业务特点进行天级别修复使用测流输出异常数据进行循环修复#4 4未来展望未来展望实时数仓建设总结依靠TIDB做调度微批阶段flink算子开发和微批调度结合flink sql化数仓建设实时数据仓阶段1.0实时数据仓阶段2.0实时数据仓实时数据仓建设中建设中流批一体完善实时监控和报警体系1342OLAP和FLINK结合使用指标平台建设批流一体探索端到端统计指标,链路跟踪,任务异常多种OLAP提升实时链路端到端的能力计算指标打通指标系统，具备可视化能力数据湖的探索和实践2021-12-05THANKS
sgpjbg002
工作日 8:30 - 17:30
报告分类
