4-冯海涛-Flink在58同城应用与实践-TY.pdf

编号：29294

PDF 36页 3.90MB 下载积分：VIP专享

下载报告请您先登录！

4-冯海涛-Flink在58同城应用与实践-TY.pdf

1、Flink在58同城应用与实践 58同城冯海涛实时计算平台架构实时SQL建设 Storm 迁移 Flink实践一站式实时计算平台后续规划目录实时计算平台架构01 平台定位为58集团海量数据提供高效、稳定实时计算一站式服务实时数据存储实时数据计算实时数据分发 Kafka Storm/Spark Streaming Flink 基础能力建设 DDS数据分发（Kafka Connect） Wstream一站式实时计算平台平台化建设定位平台实时架构实时业务场景和诉求业务诉求： 1.高吞吐/低延迟的计算能力； 2.灵活窗口支持； 3.数据乱序； 4.Exactly on

2、ce语义保障； 5.中间状态管理场景：业务：实时ETL 实时数仓实时监控实时数据流分析 Flink集群高可用架构任务隔离业务业务招聘商业金融 . 计算型 IO型场景集群规模 900+ 机器数 2000+ 实时任务数 2.5万亿日实时计算数据 3000万每秒峰值 Flink On YARN HDFS Fedration Cgrou p Node Label 实时SQL建设02 实时SQL演进 Flink上线DDL扩展支持实时SQL平台化合并Blink社区最新版数仓化 DMLDDL定义维表join 实时存储扩展配置化可视化开发在线调试 . Mini Ba

3、tch Emit 数据倾斜 TopN . 批流合一 Flink Hive 元数据管理血缘关系数仓分层存储扩展实现功能支持DDL语法维表join 打通主流存储和公司内部实时存储定制format支持支持并发度设置 wmb kafka 源表 mysqlhbaseredis wrediswtable kafka mysql hbase wtable ck redis Stream sql 性能优化 MiniBatch Local-Global聚合 Emit功能异步IO机制异步client 多线程缓存LRU 缓存条数过期时间单并发度多线程写入 Sink算子buffer Consumer 1 Stream Consumer 2 Consumer N sink Blink特性数仓化建设目标：提供面向数仓化实时Sql能力，在数仓设计，任务开发，平台化管理全面对齐离线数仓的

友情提示

1、下载报告失败解决办法
2、PDF文件下载后，可能会被浏览器默认打开，此种情况可以点击浏览器菜单，保存网页到桌面，就可以正常下载了。
3、本站不支持迅雷下载，请使用电脑自带的IE浏览器，或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩，下载后原文更清晰。

本文（4-冯海涛-Flink在58同城应用与实践-TY.pdf）为本站（X-iao）主动上传，三个皮匠报告文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。若此文所含内容侵犯了您的版权或隐私，请立即通知三个皮匠报告文库（点击联系客服），我们立即给予删除！

温馨提示：如果因为网速或其他原因下载失败请重新下载，重复下载不扣分。