报告预览

王春波-既快又好还省实时数仓新选择——Doris.pdf

编号：136991

PDF 32页 2.61MB 下载积分：VIP专享

下载报告请您先登录！

王春波-既快又好还省实时数仓新选择——Doris.pdf

1、既快又好还省，实时数仓新选择Doris演讲人：王春波CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CONTENT目录实实时时数数仓仓概概

2、述述Doris功能解读Doris实时数仓设计CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 20231.1 数据仓库的发展历程Inmon将数据仓库

3、描述为一个面向主题的、集成的、随时间变化的、非易失的数据集合，用于支持管理者的决策过程。1990年代2000年以后1980年代20世纪80年代，IBM的研究人员提出了商业数据仓库的概念。数据仓库概念的提出，是为了解决和数据流相关的各种问题，特别是多重数据复制带来的高成本问题。2000年前后进入中国，最开始主要集中了在银行业和电信业，为满足监管报送和数据统计要求。2010年以后随着大数据技术的发展扩展到其它行业。互联网、零售、制造、医疗行业等各行各业都在推广数据仓库。1991年，Bill Inmon在Building the Data Warehouse一书中首次提出了数据仓库的概念。Bill

4、Inmon也被称为数据仓库之父。CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 20231.2数据仓库技术的发展 2010年以前，Oracle、D

5、B2、Teradata 占据主导地位。数据库、ETL平台、BI工具组成数据仓库的三件套。2010年前后，互联网公司开始接入Hadoop平台;2013年,建行引入Greenplum，数据仓库进入了分布式时代。2016年前后，Hive数据仓库开始在互联网企业流行;以Storm、Spark Streaming、Flink为代表的流式引擎崭露头角。2018年以后，以Hadoop3.0为代表的一些列组件发布3.x版本，Hive数仓走向成熟；2019年阿里巴巴收购Flink母公司，Flink在国内大火，中国从开源社区的追随者变成技术引领者。3214CoreJavaWeek 2023CoreJavaWeek

6、 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 20231.3 离线数仓技术栈l 数据仓库领域存在许多开源技术栈，以下是一些常见的开源数据仓库技术栈：1.Apache Hadoop：Apache Hado

7、op是一个开源的分布式计算框架，提供了可扩展的存储和处理大规模数据的能力。它的核心组件包括Hadoop Distributed File System(HDFS)、MapReduce和Yarn资源管理器，可用于构建大规模的离线数据仓库。2.Apache Hive：Apache Hive是基于Hadoop的数据仓库基础架构，提供了类似SQL的查询语言（HiveQL），使用户可以通过SQL风格的语法进行数据查询和分析。它支持将结构化数据映射到Hadoop集群上的HDFS，并利用MapReduce进行查询处理。3.Sqoop：一个短命而重要的Hadoop组件，用于从关系型数据库抽取数据到Hive数仓

8、中或者从Hive数仓中导出数据到关系型数据库。sqoop是一个非常重要的组件，但是不知道出于什么原因，很早就停止了更新，目前国内基本上都是用阿里巴巴开源的DataX替代其功能。4.Apache Spark：Apache Spark是一个快速、通用的大数据处理引擎，可用于构建离线数据仓库和实时数据分析系统。Spark提供了高性能的数据处理和分析能力，并支持多种编程语言，如Scala、Java和Python。5.Apache Kylin：Apache Kylin是一个开源的分布式分析引擎，专门用于构建OLAP（联机分析处理）数据仓库。它支持在Hadoop上构建多维数据模型，提供快速的查询性能和高度

9、可扩展性。6.Presto：Presto是一个分布式SQL查询引擎，可用于构建大规模数据仓库和实时数据分析系统。它支持在多个数据源上执行高性能的查询，包括Hive、MySQL、PostgreSQL等。CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek

10、2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 20231.4 OLAP技术l在传统数据仓库中，OLAP查询和数据仓库是融为一体的。在Hadoop体系（或者也叫Hive数据仓库）引入数据仓库领域以后，大大提升了数据ETL处理的能力、集群的扩展能力、数据存储的稳定性，但是牺牲了数据的查询能力。所以就诞生了OLAP查询这个专业领域。l在离线数仓技术中，除了上文介绍的Kylin、Presto、Druid都是为了解决OLAP查询而设计的，但是这些基于HDFS设计的OLAP引擎都只是加速了查询速度，还没能达到令人满意或者令人惊艳的速度。于是，Clic

11、kHouse和Doris横空出世，一举成为了OLAP领域的王者：ClickHouse 是俄罗斯的 Yandex 于 2016 年开源的用于在线分析处理查询MPP架构的列式存储数据库，能够使用 SQL 查询实时生成分析数据报告。ClickHouse的全称是Click Stream，Data WareHouse。ClickHouse 是第一款实现向量化查询引擎的数据库，也是一款专注于OLAP查询的数据库。Apache Doris（原Palo，后更名Doris）是一个MPP（massively parallel processing，即大规模并行处理）分析型数据库产品（OLAP），仅需亚秒级响应时间

12、即可获得查询结果，有效支持实时数据分析。其分布式架构非常简洁，易于运维，可以支持10PB以上的超大数据集。可以满足多种数据分析需求，如固定历史报表，实时数据分析，交互式数据分析，探索式数据分析。CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 202

13、3CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 20231.5MPP架构MPP(Massively Parallel Processing)是大规模并行处理框架的简称。MPP是Shared Nothing架构，是将任务并行地分散到多个服务器和节点上，在每个节点上的计算完成后，将各部分的结果汇总在一起得到最终的结果。CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 202

14、3CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 20231.6实时数仓定义实时数仓是指数据的实时性更高、延迟性低，一般是统计一天以内的数据。包括按小时执行的小时级、分钟级的延时的准实时和秒级延时纯实时数仓。要做到以较低的延迟采集数据，常用的方法是读取数据库变更日志（也叫CDC）或者之间接入在线Kafka数据流。数数据据采采集集实时数据一般采用Apache Flink或者Spark

15、 Streaming来完成数据加工，中间过程数据保存在Kafka。数数据据加加工工一般只支持将数据汇总写入MySQL等关系型数据库，便于快速查询结果。为了支持更快的查询，会将数据写入Clickhouse和Doris。数数据据查查询询CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2

16、023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 20231.7 实时数仓的难点123数据失效。数据失效分为两种，一种是物理删除，一种是状态变为无效，例如支付后取消订单维度数据变更。当维度数据发生变化时，历史数据和新写入的数据将存在不一致。多表关联，也叫多流jion，当其中一方数据延迟时，如果另外的流数据不在时间窗口内，将无法关联CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJav

17、aWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CONTENT目录实实时时数数仓仓概概述述Doris功能解读Doris实时数仓设计CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWee

18、k 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 20232.1Doris发展历程恢复Apache Doris是由百度研发并开源的数据库项目。Doris2008年开始在百度内部立项，经历了五个大版本的迭代后于2017年开源，2018年进入Apache基金会孵化项目。2022年4月18日正式发布Doris1.0，2022年6月16日正式毕业

19、，成为Apache 软件基金会的顶级项目。CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 20232.2 Doris三大模型Doris还支持各种外

20、部表，包括ODBC外部表、Hive外部表、ES外部表和Iceberg外部表。Duplicate Key:明细模型和普通的数据库表用法一样，保留每一条插入的数据；Aggregate Key：聚合模型按照指标的列聚合数据，大大缩小数据量；Unique Key:去重模型则是按照主键保留最新记录，实现数据的删除和修改。明细模型聚合模型唯一模型CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek

21、2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 20232.3 Doris数据导入Broker Load：HDFS或者所有支持S3协议的对象存储1Stream Load：通过HTTP协议导入本地文件或者数据流中的数据 2Routine Load:生成例行作业，直接订阅Kafka消息队列中的数据3Binlog Load：增量同步用户在MySQL数据库中的CDC操作日志4Flink Connector：在Fli

22、nk中注册数据源，实现对Doris数据库读写5Spark Load：通过外部的Spark计算资源实现对导入数据的预处理6Insert Into：库内数据ETL写入或者从ODBC外部表导入7DataX：通过Doris社区提供的DataX Connctor批量导入数据8CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2

23、023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 20232.4 Doris多表关联Doris支持Shuffle Join、Bucket Shuffle Join、Broadcast Join和Colocate Join四种分布式join策略。CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023

24、CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 20232.5 Doris核心设计CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 20

25、23CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 20232.6 Doris查询优化除了最重要的缀稀疏索引之外，还支持了MinMax索引、Bloom Filter索引、Bitmap索引，还支持通过rollup设置多种不同字段组合的索引rollup和物化视图。Doris支持通过rollup和物化视图提前预聚合数据，减少查询的数据量，提高响应速度。分区。Doris支持多级分区，可以通过分区降低数据的扫描范围，提高查询速度；索引聚合查询优化。Doris

26、接收到用户的查询语句以后，会先进行SQL语句改写，尽可能降低查询复杂度，减少数据扫描范围。例如谓词下推、Join Order优化、复杂SQL改写。向量化向量化查询引擎。Doris通过支持向量化查询引擎，可以大幅提高CPU数据处理能力，提高查询效率；查询优化分区CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023

27、CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 20232.6 实时数仓应用场景监监控控预预警警实时业务监控和预警，避免线上业务中断未能及时发现导致的损失。实实时时大大屏屏实时大屏，主要用于618或者双十一大促期间监控业绩目标达成情况。机机器器人人播播报报实时机器人播报，通过实时数据加工，及时向相关同事通报当日业绩进展情况和排名。移移动动看看板板移动端实时数据展现，方便领导、管理人员实时查看业绩完成情况。自自助助分分析析自助分析补充当日实时数据。主要是给自助分析补充当日数

28、据。实实时时看看板板实时看板。按照五分钟的粒度查看成交指标，并和同期进行对比，便于及时发现业务故障，比实时监控更直观。实实时时接接口口实时数据接口。有一些数据对外的场景，需要实时提供最新的数据，便于跨系统对接。实实时时推推荐荐实时推荐，例如商品实时销售排行榜等。CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek

29、2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 20232.7 Doris应对实时数仓的痛点痛点应对方案CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023

30、CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CONTENT目录实实时时数数仓仓概概述述D Do or ri is s功功能能解解读读D Do or ri is s实实时时数数仓仓设设计计CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJava

31、Week 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 20233.1 离线数仓分层离线数仓一般分为ODS、DW和DM三层架构，其中DW层又分为DIM、DWD和DWS层。CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023

32、CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 20233.2 实时数仓之Lambda架构Lambda架构是由Twitter工程师南森马茨（Nathan Marz）提出的大数据处理架构。简单的说，就是流批各一套，流数据作为批数据的补充，批数据矫正流数据的结果。CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWee

33、k 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 20233.2 实时数仓之Kappa 架构Kappa架构可以认为是Lambda架构的简化版（只要移除lambda架构中的批处理部分即可）。在Kappa架构中，需求修改或历史数据重新处理都通过上游重放完成。CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaW

34、eek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 20233.3 两种架构对比灵魂拷问我们真的需要一个完全实时的数据仓库吗？所有的业务都需要吗？在数据准确性和实时性之间，那个更重要？我们都知道不管是Lambda架构的实时部分还是Kap

35、pa 架构架构，我们都无法做到100%准确的实时。实时计算的中间过程数据保存在Kafka中，数据出现了异常，我们要怎么找原因？Kappa架构给我们规划了一个非常美好的蓝图，但是真的可以实现吗？Lambda架构虽然满足了实时的需求，但是需要维护两套代码。Kappa架构只有一套代码，但是历史数据回溯是个难点，准确性难以保障。CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023Cor

36、eJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 20233.4 基于Doris的流批一体方案前面我们介绍了Doris具备强大的多表关联查询能力和基于主键的数据增删改能力。所以我们不妨结合流数据和Doris强大的查询能力来构建流批一体方案。简单的说就是底层逻辑用流数据写入，上层逻辑通过SQL关联来实现。方方案案一一方方案案二二方方案案三三方方案案四四方方案案五五ODS流式写入保留副本保留副本流式写入保留副本DWD微批加工F

37、linkSQL写入保留副本视图+隔日刷新FlinkSQL写入DWS微批加工微批加工FlinkSQL写入视图+隔日刷新视图+隔日刷新ADS可忽略可忽略可忽略可忽略可忽略CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek

38、2023CoreJavaWeek 2023CoreJavaWeek 20233.4 基于Doris的实时数仓（方案一）我们可以通过Flink清洗Kafka日志数据写入Doris、Doris直接读取MySQL binlog、Doris直接读取Kafka日志数据三种方式实现ODS层的数据实时接入和实时更新，往上可以通过半小时一次或者更高频率的跑批任务刷新数据到DWD、DWS、ADSCoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJava

39、Week 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 20233.4 基于Doris的实时数仓（方案二）我们通过FinkSQL读取Kafka数据后，利用FlinkSQL的ETL能力，将数据依次加工成DWD、DWS，然后写入Doris，在Doris中通过报表直接查询DWS的数据，完成数据的实时展现。CoreJavaWeek 2023CoreJavaWeek 2023Cor

40、eJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 20233.4 基于Doris的实时数仓（方案三）需要通过FinkSQL完成数据的全流程加工，直接将ADS层的数据写入Doris，由分析平台直接读取结果展示数据CoreJa

41、vaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 20233.4 基于Doris的实时数仓（方案四/五）我们还可以针对路径一和路径二进行优化，将ODS或者DWD

42、层往上的数据加工替换成视图，然后由数据分析平台直接查询顶层的视图，这样就衍生出了方案四和方案五。方案四和方案五的优点是不需要跑批，可以直接查询最实时的数据，缺点是如果代码过于复杂，会影响前端查询性能。视图视图视图视图视图方案四方案五CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2

43、023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 20233.5 五种方案对比方案一方案二方案三方案四方案五时效性低较低高高较高支持更新支持有限支持几乎不支持有限支持数据准确性高较高低高较高回溯历史简单较难难简单较难ETL压力大一般无无无查询压力小小小大较大这种五种方案简单实用，可以满足大部分实时数仓的需求，并且可以复用一套代码实现流批一体。之所以提供五个方案，主打一个灵活。CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023C

44、oreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 20233.5 不同场景的方案选择业务场景方案一方案二方案三方案四方案五监控预警实时大屏机器人播报移动看板自助分析实时看板实时接口实时推荐五种方案都有各种的优点，也有各自的使用场景。不同的业务场景，对数据时效性和查询时效性要求不同，因此

45、可以选择不同的方案。CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023更多细节，欢迎购买Doris实时数仓实战限时5折：Java核心技术大会

46、直播间福利！视频号“IT阅读排行榜”5折下单！CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023感谢聆听演讲人：王春波CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023CoreJavaWeek 2023

友情提示

1、下载报告失败解决办法
2、PDF文件下载后，可能会被浏览器默认打开，此种情况可以点击浏览器菜单，保存网页到桌面，就可以正常下载了。
3、本站不支持迅雷下载，请使用电脑自带的IE浏览器，或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩，下载后原文更清晰。

本文（王春波-既快又好还省实时数仓新选择——Doris.pdf）为本站（2200）主动上传，三个皮匠报告文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。若此文所含内容侵犯了您的版权或隐私，请立即通知三个皮匠报告文库（点击联系客服），我们立即给予删除！

温馨提示：如果因为网速或其他原因下载失败请重新下载，重复下载不扣分。

上海品茶

王春波-既快又好还省实时数仓新选择——Doris.pdf

王春波-既快又好还省实时数仓新选择——Doris.pdf