1、苏宁 OLAP 引擎发展之路统一报表门户统一指标口径统一模型视图统一SQL引擎演进和优化01离线&实时任务整体架构0203DruidDruidKylinPrestoSparkSQLSpark-DruidDruidSQL支持全SQL下推HLL,sketch支持JS转表达式虚拟列支持时序汇总Druid优化实时peon OOM优化动态查询优先级大查询限制明细SparkSQLES-HadoopESSQL下推Alias转IndexAliasAlias1Alias2Alias3IndexAIndexBESPGPG Table APG Table BPGTableSQLLogicalPlanPGOptimi
2、zerSQL日期格式转换字段类型转换AB表替换非时序汇总dimAdimBdimCmetric1metric2P1DdimAdimBmetric1metric2P1DdimAmetric1metric2P1Y根据粒度、维度等路由在汇总模型上建立cubeCUBEModel TableHDFSTableDruid TableDruid Cube TableES TablePGTablePG Cube TableMappingTableHIVE MetaStorageEngineHDFS PathES Index AliasDruidDatasourcePG Table APG Table BESPa
3、rtitionAliasESPartitionAliasESIndexESIndexESIndexESIndex元数据RouterESOptimizerDruidOptimizerParquetOptimizerPGOptimizerSparkSQLES-HadoopSpark-DruidSpark-HDFSSpark-JDBCESDruidHDFSPG查询引擎分段汇总2018-01-012019-01-012019-01-012019-05-012019-05-012019-05-08P1Y CubeP1M CubeP1D CubeModel|Realtime Cubenownownow预定
4、义SQLselect.from.group by?.cuboiddimAdimBdimCmetric1 metric2111xxxxxxxxxx111xxxxxxxxxx001xxxxxx001xxxxxx101xxxxxxxxdimA,dimB,dimC111dimC001dimA,dimC101复杂查询预计算COSTCountCount Distinct(HLL)Histogramwheregroup byhavingorder byselect采集计算应用报表开发熔断隔离路由Dim Table JobFact Table JobDim Table JobDim Table JobMode
5、l Join JobDruid JobStatistic JobES JobPG JobDruid Cube JobDruid Cube JobPG Cube JobPG Cube Job离线任务Dim TableFact TableDim TableDim TableDimADimBDimC统一关联字段采样小维表 Broadcast大维表 分2段处理数据倾斜优化KafkaSparkStreamingDruidESPGHDFSHBaseHDFSSpark实时任务KafkaFlinkDruidESPGHDFSHBaseKafkaKISDIDICacheDruidCubeKIS实时任务演进元数据服务调度任务查询引擎Cost存储引擎监控OLAP整体架构文件存储汇总存储明细存储RDB解析路由优化缓存数据集数据流模型CUBE资源调度资源隔离扩缩容HA管理同步接口异步接口系统管理流控离线任务实时任务统计任务Cost服务基数查询APM日志监控任务监控服务监控数据安全管理数据资产管理数据质量管理存储引擎离线计算引擎实时计算引擎OLAP引擎搜索引擎指标标签数据仓库标签开发维度开发离线任务数据采集报表开发指标开发实时任务管理平台报表门户自主分析数据预测业务数据产品数据应用产品开发工具数据中台大数据平台苏宁大数据
sgpjbg002
工作日 8:30 - 17:30
报告分类
