郑锴-数据湖存储架构选型_compressed.pdf

编号：29786

PDF 22页 728.95KB 下载积分：VIP专享

下载报告请您先登录！

郑锴-数据湖存储架构选型_compressed.pdf

1、数据湖存储架构选型阿里巴巴郑锴 2020-11-1 CONTENT 数据湖是个潮流 01 02 湖存储/加速：挑战很 03 “完美” 选项之 checklist 04 阿云上的 JindoFS 录 02 数据湖是个潮流什么是数据湖统、集中地存储全部原始数据结构化、半结构化、图/视频/频使 BI + AI 来分析不只是 SQL 为什么要数据湖数据孤岛计算管理弹性数据湖架构数据湖加速 (JindoFS, Alluxio) 数据湖存储（OSS, S3, HDFS）数据湖构建数据湖管理元数据服务数据开发数据湖集成数据治理数据大屏机器学习数据报表数据挖掘

2、数据湖应用数据湖计算数据湖 02 湖存储/加速：挑战很海量数据数据规模 PB、EB 件规模亿级件数据超录成本存储和计算分离吞吐性能丰富的计算和场景 AI 训练数据分析、交互式、实时计算计算场景 EMR、ECS 建、云原、混合云架构升级和迁移数据迁移、校验作业迁移、对运维、治理 Ranger 权限、审计 03 “完美” 选项之 checklist CheckList 1. 基于对象存储，规模存储能 2. 录元数据操作能 3. 策略灵活的缓存加速能 4. 和计算打通优化的能 CheckList (contd) 5. 持数据湖新型表格存储的能 6. 归档/压缩

3、/安全存储的能 7. 全的数据+AI态持 8. 强迁移能甚是缝迁移能 04 阿云上的 JindoFS Hadoop OSS 持和优化元数据优化百万级件数录，幅提升： list, delete，du，count Rename 优化百万级件数录，rename 操作：幅提升，持重试，回退清理须 rename 的 Jindo Job Committer 读写 IO 优化充分异步并发，发挥 OSS 吞吐 OSS 多版本持优化性能开销 OSS 缓存加速系统数据致性元数据致性缓存数据致性磁盘缓存写时缓存读时缓存，避免读放磁盘负载均衡位清理缓存块 LRU 淘汰基于 OSS 的存储系统管理元数据内存缓存细粒度锁件数据分块存放 OSS 1 备份缓存 1 备份性能优化元数据操作普遍 HDFS 缓存读 + OSS读 HDFS 扩展基于 OSS 的规模平扩展 Ch

友情提示

1、下载报告失败解决办法
2、PDF文件下载后，可能会被浏览器默认打开，此种情况可以点击浏览器菜单，保存网页到桌面，就可以正常下载了。
3、本站不支持迅雷下载，请使用电脑自带的IE浏览器，或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩，下载后原文更清晰。

本文（郑锴-数据湖存储架构选型_compressed.pdf）为本站（X-iao）主动上传，三个皮匠报告文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。若此文所含内容侵犯了您的版权或隐私，请立即通知三个皮匠报告文库（点击联系客服），我们立即给予删除！

温馨提示：如果因为网速或其他原因下载失败请重新下载，重复下载不扣分。