1、分布式数据库与存储专场苏锐 2021年81分布式件系统在云原时代的挑战与趋势 较种流的分布式件系统 云原环境下遇到的挑战 如何为云原环境设计分布式件系统 在业务场景中的收益 未来展望 foo bar/foo/a/b/c/aa/aaa/b/c/foo/a/foo/b/foo/c/foo/a/aa/foo/a/aaa/foo/a/aaa/b/foo/a/aaa/b/ foo bar/foo/a/b/c/aa/aaa/b/cAtomic Update/bar/foo/a/foo/b/foo/c/foo/a/aa/foo/a/aaa/foo/a/aaa/b/foo/a/aaa/b/ foo bar/f

2、oo/a/b/c/aa/aaa/b/cAtomic Update/bar/foo/a/foo/b/foo/c/foo/a/aa/foo/a/aaa/foo/a/aaa/b/foo/a/aaa/b/c/bar/a/bar/b/bar/c/bar/a/aa/bar/a/aaa/bar/a/aaa/b/bar/a/aaa/b/cData foo bar/foo/a/b/c/aa/aaa/b/cAtomic Update/bar/foo/a/foo/b/foo/c/foo/a/aa/foo/a/aaa/foo/a/aaa/b/foo/a/aaa/b/c/bar/a/bar/b/bar/c/bar/a/

3、aa/bar/a/aaa/bar/a/aaa/b/bar/a/aaa/b/cData copyIndexU foo bar/foo/a/b/c/aa/aaa/b/cAtomic Update/bar/foo/a/foo/b/foo/c/foo/a/aa/foo/a/aaa/foo/a/aaa/b/foo/a/aaa/b/c/bar/a/bar/b/bar/c/bar/a/aa/bar/a/aaa/bar/a/aaa/b/bar/a/aaa/b/cData copyIndexUpdateNo Transaction Guarantee Eventual Consistency较种流的分布式件系统

4、GlusterFS优势 数据件最终以相同录保存在指定节点的本地件系统上，集群不可时仍能在该节点上直接访问到数据。劣势 集群结构相对静态，不易调整；因为没有独元数据，元数据性能随集群规模扩下降。https:/docs.gluster.org/en/latest/Quick-Start-Guide/Architecture/ 套系统能同时满 Block、Object、File 三种形态。劣势 运维复杂；元数据持久化在 RADOS 中，如果要性能同样需要很的内存缓存；MDS 内使多线程提吞吐，在件操作的并发处理上复杂度幅提升。 Hadoop 态标准组件；有量实践经验积累。劣势 NameNode 缺少

5、横向扩展案；集群的运维挑战，如：Full GC；POSIX 访问协议，Java 客户端成熟度也不够。 10亿 100亿件管理；持 100PB 1000PB 容量规模；全托管服务，开箱即；弹性伸缩；多租户；Kubernetes CSI 持；访问协议？POSIX，HDFS，S3，NFS，CIFS，S vs.CephFS vs.HDFS云原环境下遇到的挑战都是向物理机设计，法弹性伸缩；没有全托管服务；元数据能是件系统的挑战；单集群规模挑战以及多租持改造难度。云原环境下分布式件系统的需要持 10亿 100亿件管理；持 100PB 1000PB 容量规模；全托管服务，开箱即；弹性伸缩；多租户；Kuber

6、netes CSI 持；访问协议？POSIX，HDFS，S3，NFS，CIFS，Samba云原环境下，如何设计分布式件系统 File System ArchitectureData（DataNode）Meta（NameNode）Client（Java SDK）云原环境下，如何设计分布式件系统 File System ArchitectureData（DataNode）Meta（NameNode）Client（Java SDK）S3GCSAzure BlobOSSCOSMinIOCephRGW云原环境下，如何设计分布式件系统 File System ArchitectureData（DataNo

7、de）Meta（NameNode）Client（Java SDK）S3GCSAzure BlobOSSCOSMinIOCephRGWPOSIXSDKAPI云原环境下，如何设计分布式件系统 基于 Redis 做元数据管理JuiceFS Architecture云原环境下，如何设计分布式件系统 基于 Redis 做元数据管理JuiceFS Architecture优势 Redis 很流，家对它很熟悉；内存引擎，快；持事务。劣势 HA 案不够完美，关注 RedisRaft 进展；不能 Redis Cluster，法平扩展；AOF 持久化仍有险。云原环境下，如何设计分布式件系统 基于 MySQL 做元

8、数据管理JuiceFS Architecture云原环境下，如何设计分布式件系统 基于 MySQL 做元数据管理JuiceFS Architecture优势 MySQL 同样流，家对它很熟悉；持久化问题解决了；规模瓶颈解决了。劣势 相内存引擎，时延，不适合对元数据性能要求的场景。云原环境下，如何设计分布式件系统 基于 TiKV 做元数据管理JuiceFS Architecture云原环境下，如何设计分布式件系统 基于 TiKV 做元数据管理JuiceFS Architecture优势 持久化问题解决了；规模瓶颈解决了；HA 问题解决了。劣势 延迟略于 Redis。前是早期版本，有优化空间，欢迎

9、家参与测试、评估、改进 云原环境下，如何设计分布式件系统 多元数据引擎持，可以在性能、规模、成本等取舍选择；Redis MySQL MariaDB PostgreSQL SQLite TiKV 多后端存储选择，轻松适配各种云环境；已持 33 中，查看完整列表；POSIX、HDFS、S3 协议互通，便对接各种上层应。业务场景中的收益-数据 HDFS 相 实现存储计算分离架构；弹性伸缩；元数据横向扩展能；持 POSIX，便和更多应态对接；持随机读写，能持更丰富的需求。业务场景中的收益-数据 HDFS 相 实现存储计算分离架构；弹性伸缩；元数据横向扩展能；持 POSIX，便和更多应态对接；持随机读写，能持更丰富的需求。与 对象存储 相 100%HDFS 兼容；强致性；性能 Listing；原 Rename；在不同云环境中差异；对来说，件系统相 Bucket 更容易做数据管理业务场景中的收益-AI数据采集清洗/预处理 特征程训练模型推理业务程序Spark业务程序TensorFlow业务程序S3HDFSS3本地磁盘S3HDFS本地磁盘Docker Image数据会在不同的存储中搬来搬去 特征程训练模型推理业务程序Spark业务程序TensorFlow业务程序KubernetesJuiceFSCSI via