《腾讯云clickhouse性能调优实践.pdf》由会员分享,可在线阅读,更多相关《腾讯云clickhouse性能调优实践.pdf(43页珍藏版)》请在三个皮匠报告上搜索。
1、 腾 讯 云 ClickHouse 性 能 调 优 及 实 践 三、 腾讯云ClickHouse性能调优 、 常ClickHouse实时分析场景 、 腾讯云ClickHouse在QQ乐实践 录 四、 腾讯云ClickHouse现状与规划 ClickHouse简介 极地节约了IO带宽 压缩(持LZ4, ZSTD) 列式存储与数据压缩 2 DDL(数据定义语) DML(数据操作语) 权限控制 数据备份与恢复 分布式管理 完备的DBMS功能 1 分布式计算 多核并计算 向量化执与SIMD 动态代码成 向量化执引擎 3 管理数据存储,不依赖其他组件 主键索引/级索引 数据集分(sharding) 数据
2、分区(partition) 数据容灾 TTL持 数据存储 5 对户友好的SQL语法 内置功能全的分析统计函数 丰富的数据结构持,字典、json, array, bitmap等 SQL持 4 论是查询还是写,性能极其卓越 性能卓越 6 、 QQ乐PB级数据实时分析带来的挑战 Hive离线分析仅能满T+1定时报表单 场景 Hive法满QQ乐多(产品、 运营员等)对实时交互分析的诉求 时效性 低 基于Hive跑离线任务需要数时 分析结果价值随着时间推移迅速降低 易性 低 数据分析需求来源于 产品、运营、市场 多员 由于分析槛,产品、运营、市场 员法主分析 流程效率 低 分析需求均需由分析师完成,需排
3、期、沟通、建模、分析、可视化等流程 整套流程常需周时间, 分析结果不及时 、 QQ乐PB级数据实时分析带来的挑战 ClickHouse集群现状业务价值 集群规模 近万核,PB级存储、万亿级别记录量。 每天过千亿数据落地库保存(实时流、 离线中间表等约700张表)。 实时性 复杂交互分析秒级完成(如分版本、分平台 DAU,营收及其他多径业务指标)。 性能指标 查询千亿、万亿流的请求可在数秒内完 成。 易性 利Superset可主DIY各类报表,当前 SuperSet过万图表中,超半由产品、研发、 运营、研究员、财务等数据同学创建。 三、 腾讯云ClickHouse性能调优 、 常ClickHouse实时分析场景 、 腾讯云ClickHouse在QQ乐实践 录 四、 腾讯云ClickHouse现状与规划 三、 常ClickHouse实时分析场景举例 场景1: 物化视图应:数据摄 三、 常Cli