Apache Celeborn｜让 Spark 和 Flink 更快更稳更弹性.pdf

编号：155417

PDF 29页 5.60MB 下载积分：VIP专享

下载报告请您先登录！

Apache Celeborn｜让 Spark 和 Flink 更快更稳更弹性.pdf

1、Spark/Flink+Celeborn:更快，更稳，更弹性周克勇（一锤）阿里云/数据湖Spark引擎负责人Streaming lakehouse meetup快0101CONTENT0202稳0303弹0404Evaluation背景00004545背景介绍传统ShuffleCeleborn简介4545传统Shuffle的问题最重要的算子15%资源消耗不够稳定Fetch FailureOOM不够高效高网络连接随机磁盘IOIO放大无法存算分离依赖大容量本地盘Apache Celeborn(Incubating)4545统一中间数据服务Shuffle+Spill Data引擎无关https:/

2、1100+Commits 47 Contributors,15 Committers 480+Stars用户反馈4545快核心设计列式Shuffle向量化引擎多层存储核心设计:Push/聚合/Split存算分离写放大磁盘随机小IO网络高连接小IO核心设计:异步异步推送异步刷盘异步Commit异步Fetch列式Shuffle行列转换代码生成Shuffle Size减少40%对接向量化引擎社区合作:Gluten+Celeborn优化正交HDD环境性能提升8%-12%多层存储内存/本地盘/HDFS/OSS灵活配置快存储优先4545稳容错快速滚动升级Traffic Control负载均衡容错两副本Re

3、vive机制磁盘防爆Worker自检集群健康检测RPC重试ReviveBatch Revive快速滚动升级向前兼容快速优雅重启Traffic Control反压拥塞控制Credit Based负载均衡隔离坏盘分配给快/大盘45弹Spark/Celeborn on K8s典型场景完全混部Celeborn独立部署存算分离Spark/Celeborn on K8s4545Evaluation稳定性滚动重启性能弹性稳定性：Spark大作业Spark on Yarn+Celeborn混部1000+Workerx PB每天稳定性：Flink大作业Spark/Celeborn On K8s混部500+Worker单Shuffle 680+T滚动重启21:19:44Shutdown信号21:19:53完成下线并退出21:20:01完成重启和注册生产：1000+Worker，10批，2min每批作业无感性能Shuffle 1.1/2.2/3.3 T数据性能10T TPCDS，20%提升弹性存算分离100+Worker数万pods加入我们GitHub https:/ Celeborn孵化ThanksStreaming lakehouse meetup

友情提示

1、下载报告失败解决办法
2、PDF文件下载后，可能会被浏览器默认打开，此种情况可以点击浏览器菜单，保存网页到桌面，就可以正常下载了。
3、本站不支持迅雷下载，请使用电脑自带的IE浏览器，或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩，下载后原文更清晰。

本文（Apache Celeborn｜让 Spark 和 Flink 更快更稳更弹性.pdf）为本站（张5G）主动上传，三个皮匠报告文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。若此文所含内容侵犯了您的版权或隐私，请立即通知三个皮匠报告文库（点击联系客服），我们立即给予删除！

温馨提示：如果因为网速或其他原因下载失败请重新下载，重复下载不扣分。