3.Flink助力美团数仓增量生产的.pdf

编号：29287

PDF 34页 1.99MB 下载积分：VIP专享

下载报告请您先登录！

3.Flink助力美团数仓增量生产的.pdf

1、鞠大升美团研究员、实时计算负责人 Flink 助力美团数仓增量生产 Flink 助力美团数仓增量生产大纲数仓增量生产流式数据集成 Increment Data Integration 流式数据处理 Increment Data Process Contents 流式 OLAP 应用 Increment OLAP 未来规划 Future Increment Data Process of Data Warehouse 0102030405 01美团数仓架构和增量生产美团数仓架构数据安全受限域认证系统万象平台应用层权限系统将军令安全审计系统天眼元数据与血缘统一元数据中心全链

2、路血缘数据集成数据处理数据消费数据应用 Spark Flink Hdfs/Hive Kafka MySQL MySQL KV MySQL OLAP 多维分析 MySQL Presto即席查询数据服务报表分析即席分析文件下载加工层权限系统河图用户行为数据 DB 数据日志数据文件数据日志收集系统 DB 收集系统文件上传系统用户行为收集系统 Datalink 机器数作业数Topic 数 60003000050000 高峰流量 1.8亿/s 美团 Flink 应用概况 1. 实时数仓、经营分析、运营分析、实时营销 2. 推荐、搜索 3. 风控、系统监控 4. 安全审计

3、美团 Flink 应用场景实时数仓 vs. 数仓增量生产离线数仓 T+1实时数仓 T 离线数仓时效性质量成本实时 Realtime 准时 Ontime 实时数仓实时成本数仓增量生产T+?/n 数仓增量生产准时成本质量：问题及时发现 1. 能够及时发现数据质量问题，避免 T+1 修复数据； 2. 充分利用资源，提前数据产出时间；数仓增量生产的优势 02流式数据集成数据集成 V1.0 Kafka DB数据 DB收集系统批量传输 Binlog数据 DBHDFS/HIVE ODS 数据集成 V2.0 DB数据批量传输 Binlog数据 DBHDFS/HIVE 原始数据流式传输 ODS Kafka Kafka2Hive Merge Camus批量 - SparkStreaming - Flink Kafka 数据集成 V3.0 DB数据批量传输 Binlog数据

友情提示

1、下载报告失败解决办法
2、PDF文件下载后，可能会被浏览器默认打开，此种情况可以点击浏览器菜单，保存网页到桌面，就可以正常下载了。
3、本站不支持迅雷下载，请使用电脑自带的IE浏览器，或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩，下载后原文更清晰。

本文（3.Flink助力美团数仓增量生产的.pdf）为本站（X-iao）主动上传，三个皮匠报告文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。若此文所含内容侵犯了您的版权或隐私，请立即通知三个皮匠报告文库（点击联系客服），我们立即给予删除！

温馨提示：如果因为网速或其他原因下载失败请重新下载，重复下载不扣分。