《阿里云 EMR StarRocks 引擎产品化实践.pdf》由会员分享,可在线阅读,更多相关《阿里云 EMR StarRocks 引擎产品化实践.pdf(21页珍藏版)》请在三个皮匠报告上搜索。
1、DataFunSummit2023阿里云EMR STARROCKS 产品化实践演讲人:李咸海-阿里云-研发工程师 EMR StarRocks 简介 可观测性 增量计算 总结EMR整体架构硬件资源ECS(Intel,AMD,倚天)/神龙/ECI调度资源EMR on ECSEMR on ACKEMR Serverless存储资源OSS-HDFS(Powered by JindoData)分析场景新版数据湖Datalake数据分析OLAP实时数据流Dataflow数据服务DataServing数据科学DataScienceSpark/Hive/Yarn/Presto/HudiDelta/RSS/Ky
2、uubiStarrocks/Doris/Clickhouse/Flink/KafkaHbase/PhoenixTensorflow/Pytorch开发工具开源解决方案 EMR Studio(Notebook,Workflow)企业级开发平台 DataWorks on EMR管控平台弹性调度故障补偿组件管理监控告警集群诊断权限&安全DLF元数据&湖管理EMR StarRocks功能功能半托管半托管全托管全托管系统指标监控一键急速集群部署监控告警版本自动升级SLA保证SR Manager数据管理X产品形态半托管服务 全托管服务 SR ON ECS SR ON ACK EMR StarRocks 简
3、介 可观测性 增量计算 总结可观测性大数据的可观测性:大数据的可观测性:定义:通过指标采集,元数据采集等技术获取到系统的洞察数据,而不是简单的指标罗列。价值:价值:资源分析:更合理的资源利用和更健康的集群使用 分析、根因分析,快速定位问题 问题提示和异常提醒,减轻开发与运维人员的工作量,提高效率采集系统入仓系统分析系统展示系统指标监控原因诊断方案推荐异常预警可观测性内存CPUQPSDisk系统指标CompactionQueryLoadStarRocks Metrics日志采集HeartBeatOpenTelemetryThread PoolEMR Doctor探针调优定位NetworkSLS日
4、志服务可观测性:内存管理process_mem_trackerupdate_mem_trackerupdate_state_cacheIndex_cachedel_vecmetadata_mem_tracker.load_mem_tracker 常见问题:内存配置原因 物理内存限制 Be CrashMem usage has exceed the limit of single query.Mem usage has exceed the limit of BE.可观测性:导入管理导入方式:Stream Load Routine Load Broker Load Insert Into Spa
5、rk Load通过 HTTP 协议导入本地文件、或通过程序导入数据流。.从 Apache Kafka 实时地导入数据流。.从 HDFS 或外部云存储系统导入数据。Flink-conectorCTAS&CDAS查看Kafka分区的lagTask执行情况利用JindoFs加速访问Stream LoadRoutine loadInsert IntoBroker Load内核管控批量导入导入记录转存Profile 可视化导入详情导入失败:Error提示,Core dump性能调优:Profile稳定性 :Safe Mode可观测性:Compaction 管理旧compaction框架 每个tablet
6、 线程一定范围的tablet 遍历所有tablet 对score最高的tablet 做compact新compaction框架 Event Based:导入 schema change,clone 优先级队列 调度compact导入频率过快是否做CompactionToo Many VersionCompaction失败饥饿可观测性:集群画像 集群资源:磁盘,CPU,内存 集群进程:查询:Tablet管理:库,表,分区 FE,BE进程端口探测 查询记录 慢查询分析可观测性:集群画像planoperatorAoperatorBoperatorCschedulerFEBEtrace 导入事物:be
7、gin,commit,publish PK Apply:load index,update PK Index,gen DelVector Tablet Rebalance Task:check,schedule,execute可观测性集群画像元数据管理:库,表、版本,Tablet索引、物化视图Profile分析内存管理精细化内存占用分析Compaction管理任务管理 导入任务管理:查询,创建,取消 导入Profile 物化视图任务 Clone Task集群管理服务重启弹性扩缩容集群稳定集群稳定性预防建性预防建议议集群稳定集群稳定性维护建性维护建议议业务侧应业务侧应用参考用参考 监控告警监控告
8、警 日常巡检日常巡检 业务上新前的抗压测试与业务上新前的抗压测试与应急预案应急预案 StarrocksStarrocks版本规划与持续版本规划与持续升级保障升级保障 大宽表使用大宽表使用 分区启用分区启用 PKPK模型使用模型使用 限制导入速度限制导入速度 限制导入内存限制导入内存 资源隔离资源隔离 SafeSafe ModeMode 运维经验运维经验保障与建议保障与建议 EMR StarRocks 简介 可观测性 增量计算 总结增量计算一条SQL语句,完成 StarRocks 建表、Flink-CDC 任务创建、实时同步 Schema 变更的多项繁杂操作CTASCTAS&CDASCDASEM
9、R-SREMR-SR与与FlinkFlink推出推出CTAS&CDAS CTAS&CDAS Starrocks-Connector-Flink-V2Starrocks-Connector-Flink-V2 两阶段提交,StarRocks 侧提供了 Begin、Prepare、Commit 等接口,支持将多次数据写入请求作为同一个事务提交,保证了同一事务内数据的一致性 Exactly-Once语义下,V1等待CheckPoint完成再写入StarRocks,V2分批写入,降低了 Flink 侧存储数据 Buffer 的内存消耗,提高了 Flink 任务的稳定性。增量计算Lambda 架构实时链路
10、Binlog平替Kafka增量MVCREATE TABLE t0(c0 int,c1 string,c2 int,c3 bigint)DUPLICATE KEY(c0)DISTRIBUTED BY HASH(c0)properties(“replication_num”=“1”,“enable_binlog”=“true”,“binlog_ttl”=“”,“binlog_max_size”=“”,);增量计算Apache Apache PaimonPaimon PaimonPaimon:Apache Paimon(incubating)is a streaming data lake plat
11、form that supports high-speed data ingestion,change data tracking and efficient real-time analytics.1.Paimon Catalog 2.Paimon ChangeLog 支持外表查询 增量MV 做 ETL 外表物化视图加速 EMR StarRocks 简介 可观测性 增量计算 总结总结1.EMR StarRocks:2.可观测性:3.增量计算:EMR完整的生态服务 半托管服务与全托管两种产品形态 湖仓一体 尽可能白屏化 内存管理,导入管理,Compaction管理 集群画像结合Binlog能力与Flink和Paimon深度集成云盘OSS 对象存储实例管理实例监控实例配置实例扩缩容计算资源平台运维全托管 Serverless ASI存储层FEFEFEBEBEBEBEBE实例实例FEFEFEBEBEBEBEBE实例实例实例告警实例升降配诊断与分析SQL Editor元数据管理权限管理数据运维审计日志物化视图弹性扩缩容StarRocksManagerDataFunSummit2023感谢观看