闵文俊-蚂蚁金服实时计算引擎建设.pdf

编号：101901

PDF 21页 27.71MB 下载积分：VIP专享

下载报告请您先登录！

闵文俊-蚂蚁金服实时计算引擎建设.pdf

1、蚂蚁金服实时计算引擎建设闵文俊/蚂蚁集团技术专家云化实践SQL算子与运行时优化未来展望#1#2#3#1云化实践云化实践 Native Kubernetes 部署结合蚂蚁云原生组件，提供云原生的体验通过operator组件，进行作业管理以及和内部组件交互轻量化运维145632更好的隔离性资源使用效率无盘化日志采集nydus镜像加速kata安全容器资源动态伸缩框架Vpa In-place update资源推荐算法JVMOOM处理资源效能提升资源效能提升Pod资源画像Jdk11 G1 Elastic Heap内存预留特性监听K8S OOM Event 处理升级使用JemallocStateBac

2、kend严格的内存控制HBO资源效能提升资源动态升缩框架 VPA(Vertical Pod Autoscaler)Inplace Updater Pod粒度资源画像 Moving window算法画像推荐资源效能提升资源动态升缩框架 HBO 根据SQL，参数，jar，vertex等信息构建pod唯一标识调度期的固定稳定性问题断网演练触发HA代码bug引起无法恢复问题 FLINK-24021 批任务运行结束后无法退出的问题 FLINK-23871 JobManager和IO线程共用线程池，导致Jm web ui卡住问题 FLINK-24124 JobManager节点hang住，卡在Cont

3、ainerCreating状态 FLINK-24633 JobManager节点删除后pod批量重建问题 FLINK-24713 流任务一定概率出现任务失败不再拉起问题 FLINK-24063 ApiServer升级触发的watch重建递归调用栈溢出问题内部fix 集群模式探索k8s集群存在的问题调度能力瓶颈创建pod的速率和稳定性ip分配超时等影响作业提交时间和成功率资源缺乏弹性，无法带来更高的资源使用效率，比较容易触发OOMKilled等问题当前支持的模式 Yarn/Kubernetes Session/Application/Job Mode集群模式探索集群模式的目标让Fl

4、ink具有裸机的调度能力Standalone FLINK-23697 进一步提升整体的资源使用率和作业模式结合，服务于不同的workload 提供更稳定和更友好的用户体验#2SQL优化多滑窗优化存在的问题窗口状态存储冗余，checkpoint size大触发timer过多，性能急剧下降每个窗口每条数据单独更新，下游io放大多滑窗优化多滑窗优化-Flink-23181 work in progress SQL语法支持/通过优化规则识别状态存储复用 timer复用 io合并减少对下游的压力Timer优化-Early Trigger 非周期性的timer注册优化timer数量 Flink-23031Timer优化-SlideWindow 增量式触发SQL修改状态迁移能力探索现在场景无法识别这种sql不兼容，可能会导致计算错误状态存储Row的schema发生变化兼容场景SQL修改状态迁移能力探索状态算子的列的血缘信息兼容方式多版本的Lazy恢复每次全量恢复#3未来展望未来展望作业模式+集群模式服务不同的业务负载大规模的批任务场景支持+k8s shuffle service+remote shuffle 能力 SQL算子状态兼容场景的拓展自动化的调优社区贡献

友情提示

1、下载报告失败解决办法
2、PDF文件下载后，可能会被浏览器默认打开，此种情况可以点击浏览器菜单，保存网页到桌面，就可以正常下载了。
3、本站不支持迅雷下载，请使用电脑自带的IE浏览器，或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩，下载后原文更清晰。

本文（闵文俊-蚂蚁金服实时计算引擎建设.pdf）为本站（云闲）主动上传，三个皮匠报告文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。若此文所含内容侵犯了您的版权或隐私，请立即通知三个皮匠报告文库（点击联系客服），我们立即给予删除！

温馨提示：如果因为网速或其他原因下载失败请重新下载，重复下载不扣分。