9-1 Apache Iceberg 在网易严选批流一体的实践.pdf

编号：102502

PDF 31页 2.64MB 下载积分：VIP专享

下载报告请您先登录！

9-1 Apache Iceberg 在网易严选批流一体的实践.pdf

1、Apache Iceberg在网易严选批流一体的实践祝佳俊网易严选2022-04-232目录/CONTENTS1234数据架构现状基于Iceberg的批流一体实践落地情况&未来规划Iceberg表治理Chapter01数据架构现状数据架构现状数据架构现状数据架构现状lambda架构，实时离线两套逻辑离线数据实效性低，依赖于快照制作同步链路组件多，可维护性差1.批流一体？2.存储支持Upsert？Apache IcebergApache HudiDeltaLake文件合并ManuallyAutomaticManually数据清理ManuallyAutomaticAutomatic文件格式Parq

2、uet,Avro,ORCParquet,avroParquet计算引擎Hive/Spark/Presto/FlinkHive/Spark/Presto/FlinkHive/Spark/Presto存储引擎HDFS/S3HDFS/S3HDFS/S3/AzureSQL DMLupsertACIDTimeTravel是否支持索引可扩展的元数据存储Schema演进方案比对通用表格式，解耦计算引擎存储批流一体 Upsert和ACID Schema变更元数据管理数据质量保障Iceberg简介Chapter02基于Iceberg的批流一体实践流批一体架构新的问题消息乱序&去重处理消息乱序&去重处理消息乱序&去重处理消息乱序&去重处理消息乱序&去重处理一致性快照一致性快照一致性快照Chapter03Iceberg表治理Iceberg表治理Iceberg表治理重写DeleteFile重写DeleteFile合并DeleteFile重排序治理效果Chapter04落地情况&未来规划落地情况已完成ODS层数据产出的批流融合离线数据延迟缩短至5分钟所有ODS T+1快照的制作可提前半小时已经有500+任务稳定运行未来规划010302更多的场景特征工程数仓DWD更好的管理产品化更快的查询PrestoAlluxioZ-orderBloom-FilterTHANK YOUTHANK YOU

友情提示

1、下载报告失败解决办法
2、PDF文件下载后，可能会被浏览器默认打开，此种情况可以点击浏览器菜单，保存网页到桌面，就可以正常下载了。
3、本站不支持迅雷下载，请使用电脑自带的IE浏览器，或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩，下载后原文更清晰。

本文（9-1 Apache Iceberg 在网易严选批流一体的实践.pdf）为本站（云闲）主动上传，三个皮匠报告文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。若此文所含内容侵犯了您的版权或隐私，请立即通知三个皮匠报告文库（点击联系客服），我们立即给予删除！

温馨提示：如果因为网速或其他原因下载失败请重新下载，重复下载不扣分。