基于Flink+Iceberg构建企业级实时数据湖.pdf

编号：29741

PDF 38页 2.79MB 下载积分：VIP专享

下载报告请您先登录！

基于Flink+Iceberg构建企业级实时数据湖.pdf

1、Apache Flink Community China 严禁商业用途基于Flink+Iceberg构建企业级实时数据湖胡争阿里巴巴 / 技术专家 Apache Flink China Meetup 深圳 2020年09月26日 Apache Flink Community China 严禁商业用途目录 01 数据湖背景介绍02Flink数据湖业务场景介绍 03 为何选择Iceberg 05 社区未来规划 04 Flink+Iceberg流式入湖 Apache Flink Community China 严禁商业用途数据湖背景介绍 PART 01 Apache Flink Commu

2、nity China 严禁商业用途数据湖数据湖存存储储原始数据原始数据结构化数据半结构化数据非结构化数据二进制数据(图片等）完善的数据管理完善的数据管理多种数据源接入数据连接 Schema管理权限管理多种多种计计算模型算模型批处理流计算交互式分析机器学习灵活的底灵活的底层层存存储储 S3/OSS/HDFS Parquet/Avro/Orc 数据缓存加速 Apache Flink Community China 严禁商业用途数据湖和数据数据湖和数据仓库仓库 Apache Flink Community China 严禁商业用途开源数据湖架构开源数据湖架构廉价

3、、弹性可扩展的分布式文件系统层数据加速层，提供本地数据缓存和元数据加速服务。 Table Format层，提供面向用户的表级语义。计算引擎层。多种计算引擎满足不同的分析需求。 Apache Flink Community China 严禁商业用途 Flink数据湖业务场景介绍 PART 02 Apache Flink Community China 严禁商业用途场场景一：构建景一：构建实时实时Data Pipeline 原始表原始表提提纯纯后的数据后的数据聚合聚合结结果果核心优势可以借助flink实现数据exactly-once语义地入湖和出湖。新写入数据可在checkpoint周期内可见。可以方便地构建data pipeline，满足不同业务层的数据加工和分析需求。对比Hive方案： hive的增量写入以partition为单位，长期高频率的 checkpoint写

友情提示

1、下载报告失败解决办法
2、PDF文件下载后，可能会被浏览器默认打开，此种情况可以点击浏览器菜单，保存网页到桌面，就可以正常下载了。
3、本站不支持迅雷下载，请使用电脑自带的IE浏览器，或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩，下载后原文更清晰。

本文（基于Flink+Iceberg构建企业级实时数据湖.pdf）为本站（X-iao）主动上传，三个皮匠报告文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。若此文所含内容侵犯了您的版权或隐私，请立即通知三个皮匠报告文库（点击联系客服），我们立即给予删除！

温馨提示：如果因为网速或其他原因下载失败请重新下载，重复下载不扣分。