1、Spark/Flink+Celeborn:更快,更稳,更弹性周克勇(一锤)阿里云/数据湖Spark引擎负责人Streaming lakehouse meetup快0101CONTENT0202稳0303弹0404Evaluation背景00004545背景介绍传统ShuffleCeleborn简介4545传统Shuffle的问题最重要的算子15%资源消耗不够稳定Fetch FailureOOM不够高效高网络连接随机磁盘IOIO放大无法存算分离依赖大容量本地盘Apache Celeborn(Incubating)4545统一中间数据服务Shuffle+Spill Data引擎无关https:/
2、1100+Commits 47 Contributors,15 Committers 480+Stars用户反馈4545快核心设计列式Shuffle向量化引擎多层存储核心设计:Push/聚合/Split存算分离写放大磁盘随机小IO网络高连接小IO核心设计:异步异步推送异步刷盘异步Commit异步Fetch列式Shuffle行列转换代码生成Shuffle Size减少40%对接向量化引擎社区合作:Gluten+Celeborn优化正交HDD环境性能提升8%-12%多层存储内存/本地盘/HDFS/OSS灵活配置快存储优先4545稳容错快速滚动升级Traffic Control负载均衡容错两副本Re
3、vive机制磁盘防爆Worker自检集群健康检测RPC重试ReviveBatch Revive快速滚动升级向前兼容快速优雅重启Traffic Control反压拥塞控制Credit Based负载均衡隔离坏盘分配给快/大盘45弹Spark/Celeborn on K8s典型场景完全混部Celeborn独立部署存算分离Spark/Celeborn on K8s4545Evaluation稳定性滚动重启性能弹性稳定性:Spark大作业Spark on Yarn+Celeborn混部1000+Workerx PB每天稳定性:Flink大作业Spark/Celeborn On K8s混部500+Worker单Shuffle 680+T滚动重启21:19:44Shutdown信号21:19:53完成下线并退出21:20:01完成重启和注册生产:1000+Worker,10批,2min每批作业无感性能Shuffle 1.1/2.2/3.3 T数据性能10T TPCDS,20%提升弹性存算分离100+Worker数万pods加入我们GitHub https:/ Celeborn孵化ThanksStreaming lakehouse meetup
1、下载报告失败解决办法 2、PDF文件下载后,可能会被浏览器默认打开,此种情况可以点击浏览器菜单,保存网页到桌面,就可以正常下载了。 3、本站不支持迅雷下载,请使用电脑自带的IE浏览器,或者360浏览器、谷歌浏览器下载即可。 4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩,下载后原文更清晰。
Jet Streaming数据和预测分析:Lakehouse和Apache Spark™如何让柯林斯航空公司保持飞机飞行.pdf
三个皮匠报告专业的行业报告下载站,每日更新,欢迎大家关注!
copyright@2008-2013 长沙景略智创信息技术有限公司版权所有 网站备案/许可证号:湘B2-20190120
专属顾问
机构入驻、侵权投诉、商务合作
三个皮匠报告官方公众号
验证即登录,未注册将自动创建三个皮匠报告账号
使用 微信 扫一扫登陆