报告预览

【知乎贾承昆】知乎多云数据缓存实践.pdf

编号：157175

PDF 41页 2.03MB 下载积分：VIP专享

下载报告请您先登录！

【知乎贾承昆】知乎多云数据缓存实践.pdf

1、知乎多云数据缓存实践知乎多云数据缓存实践贾承昆知乎数据平台负责人个人介绍知乎数据平台团队负责人曾任职于阿里云、猿辅导等公司，目前在知乎负责大数据平台和数据架构相关的工作多年 DevOps 和大数据架构领域工作经验1.背景和简介介绍知乎的多云背景和现状3.基于 Alluxio 的多云缓存方案主要介绍 Alluxio 在知乎算法场景的落地2.自研组件 UnionStore 介绍知乎自研的跨机房数据缓存系统4.总结和展望业务收益和社区贡献Part1 Part1 背景和介绍背景和介绍背景和简介多云多机房，专线互联一个大数据机房，多个在线机房自建基础设施和公有云设施共存多云架构训练在线服务离线数据HDF

2、SPodPodPodPod在线服务机房，部署大部分的对外服务机器学习机房，承担大部分的训练计算大数据机房，负责数据存储多机房的挑战高并发的数据访问有限的专线带宽统一的访问接口理想的多云架构训练在线服务离线数据HDFSPodPodPodPod每个机房增加一层数据缓存，确保数据重复读取只经过一次专线对已经缓存过的数据有加速效果支持 FUSE/HTTP 等访问接口数据加速层数据加速层数据加速层Part2 Part2 自研组件自研组件 UnionStore UnionStore自研组件 UnionStore强一致元数据S3 兼容的 API提供本机房缓存能力训练在线服务离线数据HDFS推理服务对象存储U

3、nionStore对象存储UnionStoreUnionStore 的问题缺少元数据缓存，接口性能强依赖 HDFS缓存层选择了云厂商的对象存储，其带宽随着业务发展逐渐成为瓶颈UnionStore 自身没有存储，虽然设计简单，但是读取数据的延时非常高Part3 Part3 基于基于 Alluxio Alluxio 多云缓存方案多云缓存方案Alluxio 简介Alluxio 功能调研高性能的数据和元数据缓存透明缓存，无需改造业务逻辑支持多种元数据缓存策略丰富的 UFS 支持 HDFS S3 .多种 API 支持 Alluxio Client S3 API POSIX活跃的社区各个大厂的实践案

4、例活跃的 Github 社区场景一场景一训练加速训练加速业务场景数据集更新频率低，多个 epoch 重复读取数据的不同区块GPU 资源昂贵分布式训练，通常需要使用 FUSE 访问数据数据湖存储机器学习平台FUSEHDFS对象存储专线训练场景的痛点问题统一 POSIX 访问数据读取慢导致 GPU 利用率低机房专线稳定需求支持 POSIX统一不同 UFS 的访问接口支持本地缓存数据湖存储机器学习平台Alluxio 加速层TrainingPodFUSETrainingPodTrainingPodTrainingPodHDFS对象存储Alluxio Fuse 性能测试FUSE 部署模式Daemon

5、Set()共享缓存节省资源挂载点恢复CSI隔离性好运维容易Alluxio 集群部署模式瘦集群胖客户端3 Master+3 Worker数百 FUSE 客户端单节点 10TB NVME 缓存AlluxioMasterJob MasterMasterJob MasterMasterJob MasterWorkerJob WorkerWorkerJob WorkerWorkerJob WorkerKubernetesTrain PodFUSE PodTrain PodTrain PodFUSE PodTrain PodTrain PodFUSE PodTrain Pod生产环境问题1.FUSE 不稳

6、定容易异常退出2.训练性能不稳定，慢于本地磁盘3.Alluxio Master 节点负载高，容易崩溃1.FUSE Pod 健康检查失败2.FUSE 容器 OOM原因：1.Direct Memory 配置不合理2.Kernel Cache 的回收不受控制，需要预留解决思路：1.-XX:MaxDirectMemorySize=16G2.预留 Kernel CacheTotal Pod MemoryFUSE KernelJVMDirect MemoryHeap3.挂载点恢复挂载点恢复指的是：当 FUSE Pod Crash 之后，业务 Pod 的mountpoint 可以自动恢复，这样

7、业务就可以通过自身重试达到容错的目的，增强自身的鲁棒性hostpathhostpathhostpath训练 Pod挂载目录/mnt/alluxioAlluxio FUSE 容器数据缓存目录/data/alluxio训练 Pod训练 Pod4.Master 调优禁用 accesstime 自动更新针对元数据量较大的 UFS 适当调长 metadata sync 间隔效果总结每个 Batch的训练时间对比 UnionStore/HDFS 下降 60%训练数据读取速度提升 250%训练任务 7x24 小时运行，不会文件系统的原因异常退出场景二场景二模型跨机房加载模型跨机房加载业务场景-推理服务部署

8、模型数量几百+推理服务上线读并发 1 0 0+，峰值流量 1Tb/s跨机房专线产出后立刻需要读取KubernetesInference ServiceInference ServiceInference ServiceUnionStore专线客户端选择业务容器多，规格小部署/更新并发高兼容 UnionStore 协议KubernetesInference ServiceS3 Proxy专线Inference ServiceInference ServiceAlluxio WorkerAlluxio WorkerAlluxio WorkerS3 ProxyS3 ProxyNodeS3 Pr

9、oxy 优点1.兼容 S3/UnionStore 协议2.和 Worker 混布支持短路读3.裸金属独立部署，网卡容量大UserS3 ProxyAlluxioWorkerLocal Disk缓存预热方式一：用户主动通知方式二：侦听 HDFS 变更方式三：Block 预热UserS3 ProxyMasterWorker1Worker2Worker3Block1-4readBlock(1,4)readBlock(2)readBlock(3)Concurrency readopenFile()512MB元数据缓存1min Master 元数据 CacheMetaData Load API on S3

10、 Proxy业务改造：避免 overwrite 操作限速1.高峰时刻会打满集群网卡，导致数据读取超时2.业务容器所在机器本身会受到影响KubernetesNodePodPodNodePodPodNodePodPodAlluxioNodeProxyWorkerNodeProxyWorkerNodeProxyWorker阶段一：UnionStore阶段二：Alluxio+S3Proxy阶段三：HDFS 缓存预热优化Part4 Part4 总结和展望总结和展望业务收益优化了专线带宽的覆盖统一了算法的数据访问接口优化的训练和推理服务的部分性能社区贡献PR 17 个，合并 11 个社区分享 1 次Issues 若干未来规划探索 Worker 靠近业务的部署模式，进一步提高缓存数据的访问效率探索 CSI 的 FUSE 部署模式，降低运维成本拓展 Alluxio 的使用场景，应用在 OLAP 加速场景谢谢谢谢观观看看thanks

友情提示

1、下载报告失败解决办法
2、PDF文件下载后，可能会被浏览器默认打开，此种情况可以点击浏览器菜单，保存网页到桌面，就可以正常下载了。
3、本站不支持迅雷下载，请使用电脑自带的IE浏览器，或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩，下载后原文更清晰。

本文（【知乎贾承昆】知乎多云数据缓存实践.pdf）为本站（stock）主动上传，三个皮匠报告文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。若此文所含内容侵犯了您的版权或隐私，请立即通知三个皮匠报告文库（点击联系客服），我们立即给予删除！

温馨提示：如果因为网速或其他原因下载失败请重新下载，重复下载不扣分。

上海品茶

【知乎贾承昆】知乎多云数据缓存实践.pdf

【知乎贾承昆】知乎多云数据缓存实践.pdf