《2020年终大会-大数据架构:5-1.pdf》由会员分享,可在线阅读,更多相关《2020年终大会-大数据架构:5-1.pdf(31页珍藏版)》请在三个皮匠报告上搜索。
1、如何让Ozone成为HDFS的下 一代分布式存储系统 毛宝龙 腾讯大数据 Apache Ozone Committer Alluxio PMC Ozone Introduction NameNode on HDDS Contributions from Tencent Ozone Future Agenda Ozone Introduction Whats wrong with HDFS? NameNode FsInodeService BlockManager DatanodeManager RedundancyMonitor HeartbeatManager Global lock Cen
2、tralized Block Management Your Logo Whats wrong with HDFS? Your Logo NN Scalability Throughput Block report storm NN Startup Slow GC disaster Why Ozone? Activity Ozone Community More and more Popular Tencent,JD.com,Cloudera, Cisco, Google。(Apache member, Hadoop PMC / Committer) Why Ozone? HCFS API 接
3、入大数据生态 S3G 提供 S3 API Goofys 提供 FUSE 挂盘能力 Ozone-CSI 支持 k8s 挂盘 Ozone structure Ozone=(OM + HDDS) HDDS=SCM+DNs OM= Object Store, Volume/Bucket Metadata on Rocksdb Container-Block Write data by Ratis Challenge: Ozone replace HDFS Ozone 不支持 Append、truncate、hflush 等操作 Ozone 的 key 不写完,不可见。 Ozone 的 RPC 链路比 HDFS 的 RPC 链路长 Ozone 目前没有文件系统概念,只是个 Volume/Bucket 下的 KV 对象存储。 因此,list,rename等操作,都会非常慢,并且没有文件夹的metada