上海品茶

三个皮匠报告
上海品茶
最新
合集
英文
会议
图表
入驻
付费
new
报告
报告 合集 图表

1、林小铂-网易游戏 Flink SQL 平台化实践.pdf

编号：101896 PDF 24页 1.52MB 下载积分：VIP专享
下载报告请您先登录！

1、林小铂-网易游戏 Flink SQL 平台化实践.pdf

1、林小铂 网易游戏资深开发工程师网易游戏 Flink SQL 平台化实践Flink SQL Platform Construction Practice in Netease Games网易游戏 Flink SQL 发展历程#1基于模板 jar 的 StreamflySQL#2基于 SQL Gateway 的 StreamflySQL v2#3未来工作#4#1网易游戏 Flink SQL 发展历程Streamfly 实时计算平台发展历程Omega 离线作业平台Lambda 子系统Streamfly 实时计算平台（Lambda 为子系统）Streamfly SQL v1（基于模板 jar+配置中心

2、）Streamfly SQL v2（基于 SQL Gateway）2018 Q22019 Q12019 Q42021 Q2Flink SQL 工作流程Flink 集群部署模式 Application:运行在 JobManager，TableEnvironment 在作业提交后退出 Per Job:运行在 Client，TableEnvironment 在作业提交后退出 Session:运行在 Client，TableEnvironment 在作业提交后退出Flink SQL 平台化架构 SQL 解析翻译优化均在 Client 进行 典型案例:通用模板 jar、SQL Client 优点:开箱即

3、用、低耦合 缺点:难以支持高级功能、性能差#1 Client 端 SQL 编译 SQL 解析翻译优化在常驻的 Server 端进程执行 典型案例:SQL Gateway 优点:可拓展性好、性能好 缺点:缺乏成熟开源解决方案，开发成本较高#2 Server 端 SQL 编译#2基于模板 jar 的 StreamflySQL v1技术选型及考量作业调度器 Lambda 采用 Go开发，难以调用 Flink API平台集成Flink 1.9 Client API 比较复杂不适合平台集成，并在重构中松耦合模版 jar 加配置中心模式有多项成熟应用实践经验StreamflySQL v1 架构痛点一：响应

4、慢只有 SQL 编译优化和 Job 调度不可避免资源懒初始化且复用率低（Environment/Cluster）准备 TableEnvironmentSQL 编译优化准备 Per-Job ClusterFlink Job 调度10 s20 s30 s40 s0 s痛点二：调试难 调试的 SQL 与线上 SQL 一致 不能对线上数据产生影响 限制消耗资源 方便快捷地获取到预览结果SQL 调试需求 SQL 翻译时替换调试 SQL 的 Sink 为专用的 PrintSink PrintSink 提供限流功能，利用反压机制达到总体限流，并限制执行时间 调试 SQL 使用 MiniCluster 本地执

5、行，PrintSink 结果从标准输出提取解决方案痛点二：调试难 复杂 SQL 编译优化占用大量时间导致超时，并给服务端造成较大压力 无法调试时间窗口较长的作业或者需要 Bootstrap State 的作业 执行结果需要等作业结束时一并返回，而不能流式返回，因此用户仍需要等 10 分钟以上 对 Flink Table 模块入侵比较多，完全不优雅痛点三：只允许单条 DMLSQL 分类描述示例支持程度DML用于操控数据INSERT/UPDATE/DELETE仅支持 INSERTDQL用于查询数据SELECT不支持DDL用于定义元数据CREATE/ALTER/DROP不支持DCL用于管理数据权限G

6、RANT/REVOKE不支持#3基于 SQL Gateway 的 StreamflySQL v2技术选型及考量关键问题:Q:自研 or 基于开源项目？A:基于 SQL GatewayQ:如何与现有的 Lambda 平台集成？A:Lambda 管 Session Cluster，StreamflySQL 管 SQL 作业核心需求:改善用户体验（响应久、调试难）更完善的 SQL 支持解决方案:采用 Server 端 SQL 编译的架构，提高可拓展性和性能 采用 Flink Session Cluster 部署模式，预先准备好集群资源StreamflySQL v2 架构StreamflySQL 前后

7、版本对比特性StreamflySQL v1StreamflySQL v2响应时间通常 1 分钟左右通常 3-10 秒调试预览结果随作业日志在结束后批量返回结果通过 socket 流式返回支持 SQL 类型只支持 DMLDML/DQL/DDL挑战一:元数据持久化Flink Configuration(Global)Gateway Configuration(Global)Session Configuration(Per Session)Job Configuration(Per Job)会话元数据 Catalogs Functions Tables Flink Configuration挑战二

8、:多租户（认证/资源）Session Cluster（User A）Session Cluster（User A）Queue ASession Cluster（User B）Queue BStreamflySQLsubmit job(doAs)Hive MetastoreHDFSobtain delegationtokenlogin proxy user挑战三:水平拓展StreamflySQL 实例 1(TableEnvironment 1)StreamflySQL 实例 2(TableEnvironment 2)StreamflySQL 实例 3(TableEnvironment 3)亲和性

9、负载均衡浏览器Session ClusterDB挑战四:作业状态管理 监控线程定时轮询 作业状态 CAS 乐观锁 作业异常终止或无法获取状态时告警#作业运行状态（Status）提供 stop 和 stop-with-savepoint 异常终止或简单 stop 后重启，自动查找最新的 checkpoint/savepoint#作业持久化状态（State）#4未来工作未来工作#1 State Migration FLIP-91 SQL Gateway Apache Kyuubi Flink 支持 SQL State 是黑盒，SQL 变更后可能无法兼容之前的 State 计划从执行计划入手，分析变更前后 SQL 的 State 兼容性并预先提示用户 未支持在作业级别指定资源配置（比如内存），资源只能通过作业并行度调整 Flink 1.14 版本 FLIP-169 已支持DataStream API 的细粒度资源，但 SQL 还未有计划#2 细粒度资源管理#3 社区贡献

友情提示

1、下载报告失败解决办法
2、PDF文件下载后，可能会被浏览器默认打开，此种情况可以点击浏览器菜单，保存网页到桌面，就可以正常下载了。
3、本站不支持迅雷下载，请使用电脑自带的IE浏览器，或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩，下载后原文更清晰。

本文（1、林小铂-网易游戏 Flink SQL 平台化实践.pdf）为本站 （云闲） 主动上传，三个皮匠报告文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私，请立即通知三个皮匠报告文库（点击联系客服），我们立即给予删除！

温馨提示：如果因为网速或其他原因下载失败请重新下载，重复下载不扣分。
客服
商务合作
小程序
服务号
会员动态
会员动态 会员动态：

177**05...  升级为至尊VIP wei**n_...  升级为高级VIP 

  wei**n_... 升级为至尊VIP wei**n_...  升级为至尊VIP

wei**n_...  升级为标准VIP  wei**n_... 升级为高级VIP 

155**91... 升级为至尊VIP  155**91...  升级为标准VIP 

177**25... 升级为至尊VIP   139**88... 升级为至尊VIP 

wei**n_... 升级为至尊VIP   wei**n_...  升级为高级VIP

 wei**n_...  升级为标准VIP 135**30... 升级为标准VIP 

 wei**n_... 升级为高级VIP  138**62...  升级为标准VIP

洛宾  升级为高级VIP  wei**n_...  升级为标准VIP

wei**n_... 升级为高级VIP  wei**n_... 升级为标准VIP

 180**13... 升级为高级VIP  wei**n_... 升级为至尊VIP

 152**69... 升级为标准VIP 152**69... 升级为标准VIP 

  小**... 升级为标准VIP wei**n_... 升级为标准VIP 

138**09... 升级为标准VIP  wei**n_... 升级为至尊VIP 

邓** 升级为标准VIP  wei**n_...  升级为标准VIP 

 wei**n_... 升级为至尊VIP  186**22... 升级为标准VIP  

微**...   升级为至尊VIP wei**n_... 升级为至尊VIP 

zhh**_s... 升级为标准VIP wei**n_... 升级为至尊VIP 

wei**n_... 升级为至尊VIP wei**n_... 升级为高级VIP 

wei**n_... 升级为至尊VIP  131**00...  升级为高级VIP

wei**n_...  升级为高级VIP  188**05...  升级为至尊VIP

 139**80... 升级为至尊VIP  wei**n_... 升级为高级VIP

 173**11... 升级为至尊VIP 152**71...  升级为高级VIP

137**24...  升级为至尊VIP  wei**n_... 升级为高级VIP

185**31... 升级为至尊VIP 186**76... 升级为至尊VIP

wei**n_...  升级为标准VIP  wei**n_... 升级为标准VIP

138**50...  升级为标准VIP wei**n_...  升级为高级VIP 

wei**n_...  升级为高级VIP   wei**n_... 升级为标准VIP

 wei**n_... 升级为至尊VIP  Bry**-C... 升级为至尊VIP 

  151**85... 升级为至尊VIP  136**28... 升级为至尊VIP

166**35... 升级为至尊VIP  狗**... 升级为至尊VIP 

般若   升级为标准VIP wei**n_...  升级为标准VIP 

185**87...  升级为至尊VIP 131**96...  升级为至尊VIP

琪**  升级为标准VIP wei**n_...  升级为高级VIP

wei**n_... 升级为标准VIP  186**76...  升级为标准VIP 

微**...  升级为高级VIP 186**38...  升级为标准VIP

wei**n_...  升级为至尊VIP Dav**ch...  升级为高级VIP

wei**n_... 升级为标准VIP  wei**n_... 升级为标准VIP 

 189**34...  升级为标准VIP  135**95... 升级为至尊VIP

 wei**n_...  升级为标准VIP wei**n_...   升级为标准VIP

137**73...  升级为标准VIP  wei**n_... 升级为标准VIP 

 wei**n_...  升级为标准VIP  wei**n_... 升级为至尊VIP

137**64... 升级为至尊VIP 139**41... 升级为高级VIP 

 Si**id  升级为至尊VIP 180**14... 升级为标准VIP 

 138**48... 升级为高级VIP 180**08...  升级为高级VIP 

wei**n_... 升级为标准VIP  wei**n_... 升级为高级VIP  

 136**67...  升级为标准VIP 136**08...  升级为标准VIP

177**34... 升级为标准VIP  186**59... 升级为标准VIP 

139**48...  升级为至尊VIP  wei**n_... 升级为标准VIP 

188**95... 升级为至尊VIP   wei**n_... 升级为至尊VIP