1、Flink + Hologres:云原生实时数仓最佳实践 刘一鸣 2020-11-1 开源大数据实时数据处理体系 Kafka Flink 订阅 Subscription 批量归档 Archiving 实时导入 Realtime Ingestion 维表关联 Dim Table Join 离线加速 Batch Acceleration 联邦计算 Federated Analytics 点查询 Point Lookups 实时计算 Realtime Analytics API Applications Reports Dashboards Redis Mysql Drill Presto HBas
2、e Cassandra Druid ClickHouse Hive 结果缓存 Result Caching 批处理 Batch Processing 实时导入 Realtime Ingestion 架构复杂、资源消耗大、数据孤岛、人才培养难、开发成本高、不敏捷 实时数仓Lambda架构 数据源 离线数仓 实时数仓 ODSDWDDWSADS ADS T+1 T+0 服务平台 数据周期性更新,面向复用 数据实时更新,面向应用 Cache 高QPS 联邦能力 数据应用 Batch View Real-Time View 实时离线一体化?分析服务一体化? 如何选型数仓架构 实时写入、实 时计算 实时离
3、线数据 一致性 业务与技术解耦体系化、可复用 Serving Analytics Transaction 有银弹吗? Hybrid Transaction/Analytics Processing(HTAP) 数据来源于业务系统(TP) 需要事务机制保证ACID 需要保证TP和AP的一致性(数据、模 型,大量同步) 适合模型简单,简单分析场景 Hybrid Serving/Analytics Processing(HSAP) 统一实时、离线存储引擎 无事务开销(锁、同步) 埋点数据、机器数据,比TP高数量 级,高吞吐写入 为多场景设计可复用数仓 随机读写、事务、可靠,面向DBA高并发、简单、快速,面向在线应用 大规模数据扫描、过滤、汇总,面向分析师 新一代技术理念HSAP:分析、服务一体化 数据应用 数据报告(Analytics)数据看版(S&A)在线应用(Serving) HSAP 离线
1、下载报告失败解决办法 2、PDF文件下载后,可能会被浏览器默认打开,此种情况可以点击浏览器菜单,保存网页到桌面,就可以正常下载了。 3、本站不支持迅雷下载,请使用电脑自带的IE浏览器,或者360浏览器、谷歌浏览器下载即可。 4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩,下载后原文更清晰。
专场12.1-云原生无服务器数仓最佳实践与实时数仓架构-潘超.pdf
龙逸尘-腾讯云原生实时数仓建设实践 .pdf
02-小红书云原生实时数仓的建设与实践-王成.pdf
三个皮匠报告专业的行业报告下载站,每日更新,欢迎大家关注!
copyright@2008-2013 长沙景略智创信息技术有限公司版权所有 网站备案/许可证号:湘B2-20190120
专属顾问
机构入驻、侵权投诉、商务合作
三个皮匠报告官方公众号
验证即登录,未注册将自动创建三个皮匠报告账号
使用 微信 扫一扫登陆