《6-1 基于 StarRocks 现代数据栈的典型应用.pdf》由会员分享,可在线阅读,更多相关《6-1 基于 StarRocks 现代数据栈的典型应用.pdf(26页珍藏版)》请在三个皮匠报告上搜索。
1、基于StarRocks的典型应用StarRocks 谢寅|MPP DATABASESTARROCKS2022STARROCKS|StarRocksMPP Gradual Technical Advance固定分析自助分析离线数据实时数据专用设备通用设备分析型数据库MPP数据库实时MPP数据库分析型智能湖仓应用场景固定报表基于离线数仓的报表、BI和可视化面向实时、探索式自助分析湖仓一体联合分析、智能优化数据类型结构化结构化结构化、半结构化结构化、半结构化、非结构化数据量GBGB,TBTB,PBTB,PB资源架构专业设备;共享存储专用设备;通用服务器、MPP无共享架构通用服务器(X86,ARM)通
2、用服务器(云、非云);存算分离数据仓库湖仓一体StarRocks|TeradataGreenplumNetezzaSAP HANAOracle ExadataDatabricksStarRocksHashDataGaussDB(DWS)OuShuDBAnalyticDBMaxComputeClickhouseSnowflakeGbase8A存算一体存算分离StarRocksScenarios in industries营销运营预警金融 CDP客户数据平台 信用卡分期精准营销 券商历史客户激活 投顾客户挖掘 基金精准推荐 客服质量分析 客户旅程分析 实时对公存贷款 银行反欺诈预警 银行反洗钱预警
3、 贷前风险评估 券商异常交易识别 信用卡跨境消费告警零售 内容精准推送 评论智能情感分析 短信精准营销 APP智能推荐 流失会员激活智慧供应链实时经营分析智慧仓储智慧物流 动态定价 智能排产派工 销量预测 自动补货先进制造 售后服务质量 维修工单追溯 物料智能画像 工艺优化 产线质检 能耗优化公共事业 防疫溯源分析 客运量分析 线网路径优化 车辆拥挤度告警 客流预测 电池健康度学习 驾驶员疲劳预警物流实时运单分析路径优化运力智能调度互联网略StarRocks|StarRocks典型场景 StarRocks在复杂查询、高并发、实时分析等OLAP场景下,提升分析效率,实现数据价值最大化。即席分析即
4、席分析自助式BI系统自助指标平台湖仓一体分析实时分析实时分析实时看板实时数仓实时风控监控大屏固定报表广告主报表运营分析报表供应链统计表运单分析报表表用户画像精准营销客群圈选AB测试Technical Scenarios StarRocks|StarRocksStarRocks新一代极速全场景MPP数据库。查询优化全新CBO优化器核心技术完全自研复杂查询性能成倍提升MPP现代化MPP架构并行计算流水线执行无需等待Pipeline查询性能可线性扩展充分利用多机多核动态资源规划实时更新delete-and-insert更新性能提升3-15倍不影响查询效率全面向量化数据按列存放算子100%向量化执行面
5、向列存的优化弹性伸缩FE、BE两类节点数据自动均衡无外部组件依赖01极速02灵活03实时StarRocks|StarRocksFlat-table:ClickBench benchmarkStarRocks|StarRocksMulti-table:TPCH 100 ScaleStarRocks|MPP DATABASESTARROCKSSTARROCKS2022StarRocksidLocationPv1CN302US15dateidLocationPv2022.01.011CN102022.01.012US152022.01.021CN202022.01.023SG40Aggregatio
6、nRealTime Data WarehouseStarRocks|StarRocksReportOLAPAd HocINSERT INTO table_name PARTITION(p1,.)WITH LABEL labelSELECT select_list FROMsource_tableWHERE processing_time between date_add(now(),interval-1 minute)and date_add(now(),interval-2 minute)mysql/KafkaDatabase Logs+processing_time Dup/Agg/Pri
7、mary KeyLoadDIMDIMDIMDWSDWSDWSODSODSODSADSADSADSDWDDWDDWDStarRocks Micro-bath Micro-bathMicro-bathRealTime Data Warehouse:Micro-batchStarRocks|workflowStarRocksDIMDIMDIMDIMDIMDIMDWSDWSDWSDWSDWSDWSADSADSADSADSADSADSDWDDWDDWDDWDDWDDWDStarRocksReportReportOLAPOLAPAd HocAd HocKafkaDatabaseDatabaseLogsLo
8、gsApacheFlink/Apache SparkDWSDWSDWSDWSDWDDWDDWDDWDADSADSADSADSRealTime Data Warehouse:incremental aggregationStarRocks|StarRocksDIMDIMDIMDWSDWSDWSODSODSODSADSADSADSDWDDWDDWDStarRocksReportOLAPAd HocKafkaViewViewViewCREATE VIEW IF NOT EXISTSdb_name.view_name(column1,column2,.)AS query_stmtmysql/Kafka
9、DatabaseLogsPrimary KeyApache Flink/Flink-CDCRealTime Data Warehouse:StarRocks ViewStarRocks|StarRocksRealTime Data Warehouse:In the near futrueStarRocks|E-L-TFlink lookup tablePartial updateMulti-table MVLocal cachePrimary KeyMPP DATABASESTARROCKSSTARROCKS2022StarRocksCDP(Customer Data Platform)Sta
10、rRocks|StarRocksCDP systemETLHiveESHBase组合标签查询服务组合标签规则进行条件查询 返回rowkey列表 批量获取rowkeyETLHiveStarRocks组合标签查询服务 判断uid是否在标签内,弹相应广告 RoaringBitmap按位计算求交集、并集、差集等对内:客群包转储到HDFS供后导任务或其他系统取用,如行为分析、订单系统、信用卡系统等对外:转储到对象存储封API接口,将清单对外提供清单下载服务,并做权限控制 固定维度的群体分布特征统计,如性别男女、年龄分布等KafkaStarRocks ID-Mapping其他设备。UserAUserBID
11、-Mapping即把不同来源的身份标识通过数据手段识别为一个用户主体同一个用户在登录和未登录的行为数据之间需要打通,用Hive做ETL,完成uid和cookieid的映射关系UIDCookieidStartEnd123123123 86a20c1b92a2d831b50ba20202123123123 31b50ba9d62e18ed86b9220204456456456 15b792de87bce5d88324320201StarRocks|StarRocksGlobal Data Dictionary更多参考:StarRoc
12、ks|StarRocksSegmentationStarRocks|StarRocksAnalysis of user behaviors理财购买路径分析StarRocks|StarRocks DATABASESTARROCKSSTARROCKS2022StarRocksLakeHouse AnalyticsLakeHouse AnalyticsStarRocks|StarRocks DATABASESTARROCKSSTARROCKS2022StarRocks Define metrics once,use them everywhereThe Good CaseThe Good CaseStarRocks|StarRocksResource GroupPartial UpdateMTMVSaaSNew FeaturesNew FeaturesStarRocks|