1、基于 Fl nk 的滴滴实时数仓实践 ? ? 业务&践 ? ? ? 整体概况 ? ? ? 平台&引擎 ? ? ? 总结反思 ? ? ? 未来规划 ? ? ? 整体概况? ? ? 建设历程 ? ? ? ? ? ? ? ? ? 需求驱动 分散建设 统一规划 规范建设 业务实践 经验沉淀实时数仓 平台引擎 现状 ? )标作业 ? 资源(量(Vcores) 业务实践? 数仓分层 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 延迟消费 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 利用OLAP特性 ?
2、 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 数据校验 ? ? ? ? ? ? ? ? ? ? ? ? ? ? 体系架构 数据体系 建设规范 一站式开发平台 计算引擎 ? 数据源 ODS DWD DWM APP 数/链路 ? ? ? ? ? ? ? ? ? ? ? ? ? 多流join 开窗汇总 清洗去重 ODS层 DWD层DWM/DM层 ? ? ? ? ? ? ? ? APP层 ? ? ? ? ? 业务展现活动观察风险监控数据特征 ? ? ? ? ? ? ? ? ? ? ? ? ? ? 数据应用 数据应用 引擎&平台? 13架构 DC1 ? ? DC2DC3 ? ? ? ?
3、? ? ? ? 平台引2 逻辑集群统一 二级资源A离 多物理集群 定制YARN调度器 Flink引擎优化 ? 一站式开发平台 ? ? ? ? 一站式开发平台 ? ? ? 总结反思? 为什么要做 技术升级规范建设 规范建设 业务诉求实时数仓 ? ? ? ? ? ? 技术升级 ? ? ? 业务诉求 为什么这样做 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 重要事项 ? ? ? ? ? ? ? ? ? 离线&实时数据&对 ? ? ? ? ? ? ? ? ? 数据沉淀 ? ? ? ? ? ? ? ? ? 质量保障 指标 视角 上游 频繁变化快速更新 经常切换 需求 不确定 快速发展的业务? 未来展望? 统一建设 规范落地 血缘&元数& 批流一体 ? ? ? ? ? ? ? ? ? ? 未来展望 ? ? ?
1、下载报告失败解决办法 2、PDF文件下载后,可能会被浏览器默认打开,此种情况可以点击浏览器菜单,保存网页到桌面,就可以正常下载了。 3、本站不支持迅雷下载,请使用电脑自带的IE浏览器,或者360浏览器、谷歌浏览器下载即可。 4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩,下载后原文更清晰。
【15-B01】苏舒-腾讯基于Flink+ Iceberg 全场景实时数仓的建设实践.pdf
【15-A04】王展雄 - 腾讯看点基于Flink构建万亿数据量下的实时数仓及实时查询系统.pdf
袁尤军-SmartNews基于Flink的实时数仓建设.pdf
康琪KangQi - 十荟团基于Flink SQL与Zeppelin构建实时数仓的实践 .pdf
基于 Flink CDC 和 OceanBase 的云上实时数仓探索_伍翀.pdf
5、邹云鹤-BIGO使用Flink做Olap分析及实时数仓的实践及优化.pdf
【15-A01】叶贤勋-网易流批一体的实时数仓平台实践.pdf
三个皮匠报告专业的行业报告下载站,每日更新,欢迎大家关注!
copyright@2008-2013 长沙景略智创信息技术有限公司版权所有 网站备案/许可证号:湘B2-20190120
专属顾问
机构入驻、侵权投诉、商务合作
三个皮匠报告官方公众号
验证即登录,未注册将自动创建三个皮匠报告账号
使用 微信 扫一扫登陆