《ClickHouse知识讲解PPT.pptx》由会员分享,可在线阅读,更多相关《ClickHouse知识讲解PPT.pptx(39页珍藏版)》请在三个皮匠报告上搜索。
1、知识讲解,ClickHouse,Knowledge explanation,四、 ClickHouse在公司的现状与规划,三、 ClickHouse性能调优,常ClickHouse实时分析场景,认识 ClickHouse,目录,ClickHouse简介,完备的DBMS功能,DDL(数据定义语) DML(数据操作语) 权限控制 数据备份与恢复 分布式管理,1,列式存储与数据压缩,极地节约了IO带宽 压缩(持LZ4, ZSTD,2,向量化执引擎,分布式计算 多核并计算 向量化执与SIMD 动态代码成,3,SQL持,对户友好的SQL语法 内置功能全的分析统计函数 丰富的数据结构持,字典 json,a
2、rray,bitmap等,4,数据存储,管理数据存储,不依赖其他组件 主键索引/级索引 数据集分(sharding) 数据分区(partition) 数据容灾和TTL持,5,性能卓越,论是查询还是写性能极其卓越,6,对于OLAP环境行式数据库与列式数据库之查询对比,行式,列式,看到差别了么?下面将详细介绍为什么会发生这种情况,输入/输出,针对分析类查询,通常只需要读取表的一小部分列。在列式数据库中你可以只读取你需要的数据。例如,如果只需要读取100列中的5列,这将帮助你最少减少20倍的I/O消耗。 由于数据总是打包成批量读取的,所以压缩是非常容易的。同时数据按列分别存储这也更容易压缩。这进一步
3、降低了I/O的体积。 由于I/O的降低,这将帮助更多的数据被系统缓存,CPU,由于执行一个查询需要处理大量的行,因此在整个向量上执行所有操作将比在每一行上执行所有操作更加高效。同时这将有助于实现一个几乎没有调用成本的查询引擎。如果你不这样做,使用任何一个机械硬盘,查询引擎都不可避免的停止CPU进行等待。所以,在数据按列存储并且按列执行是很有意义的,Clickhouse集群现状以及业务价值,Clickhouse,ClickHouse集群现状,业务价值,集群规模,可近万核,PB级存储、万亿级别记录量。 每天过千亿数据落地库保存(实时流、离线中间表等约700张表,性能指标,查询千亿、万亿流的请求可在数秒内完成,实时性,复杂交互分析秒级完成(如分版本、分平台DAU,营收及其他多径业务指标,易性,利Superset可主DIY各类报表,当前 SuperSet过万图表中,超半由产品、研发、 运营、研究员