《潘岳：HTAP能力持续增强-HybridDB for MySQL分析性能提升（23页）.pdf》由会员分享，可在线阅读，更多相关《潘岳：HTAP能力持续增强-HybridDB for MySQL分析性能提升（23页）.pdf（23页珍藏版）》请在三个皮匠报告上搜索。

1、HTAP能力持续增强阿里云高级技术专家潘岳HybridDB for MySQL分析性能提升分析需求介绍新增特性分析技术提升典型场景及应用未来演进路线2 3 4 511、分析需求介绍新型数据分析需求：高性能、大容量、低成本、智能化、多功能组合性能多功能组合容量&成本深度探索AI算法、智能化复杂数据类型(多值、blob、json)全文检索、空间检索图关系分析任意维度、灵活探索2、HybridDB for MySQL新增特性实时分析多值子列全文检索空间检索BI生态兼容HybridDB for MySQL新增计算规格计算规格：8core、32GB,720G SSD可轻松扩展至PB容量HybridDB

2、for MySQL计算规格介绍-极速分析能力毫秒级查询能力 百亿大表，任意维度 支持维度表，支持星型和雪花等模型 支持列级索引，支持聚集索引良好的SQL兼容性 MySQL全部查询语法 TPC-H、TPC-DS 标准benchmark Oracle分析函数、层次查询批量加载无缝切换实时写入实时可见分布式并行计算create table test(uid bigint,city varchar,tags multivalue delimiter,value_type varchar,brands multivalue delimiter:,value_type varchar int)Hybrid

3、DB for MySQL计算规格介绍-多值子列uidCityTagsBrands1BJA,BX:80,Y:702HZB,C,DZ:653BJB,DY:78,Z:90定义：包含多个子列的列，平行嵌套列1过滤：select count(*)from test where ref(tags,0)in(A,B,C)23分组：select ref(tags,0),count(*)from test where ref(tags,0)in(A,B,C)group by ref(tags,0)组合：select*from test where ref(brands,0)in(X,Y)and ref(bran

4、ds,1)804连接：select count(*)from test,test2 where test.uid=test2.uid and ref(tags,0)in(A,B,C)and ref(brands,1)create table test(uid bigint,city varchar,title varchar tokenizer ik)HybridDB for MySQL计算规格介绍-全文检索uidcitytitle1BJ中华人民共和国2HZ云栖大会HTAP专场3BJhello,world全文检索：支持在SQL中精确全文检索1检索1：select count(*)from te

5、st where title in(人民,大会)2检索2：select count(*)from test where title in tokenize(云栖大会)and city=HZ3连接&组合：select count(*)from test,test2 where test.uid=test2.uid and title in tokenize(云栖大会)HybridDB for MySQL计算规格介绍-空间检索圆形检索多边形检索select count(*)from test where geo_in_cycle(poi,“116.3972,39.9096”,300)select

6、count(*)from test where geo_in_polygon(poi,“116.3972 39.9096,116.43 39.991,.”)位置点检索select count(*)from test where geo_in_points(poi,“116.3972 39.9096”)空间检索：支持在SQL中快速便捷的空间检索uidcitypoi1BJ116.3972,39.90962HZ120.1313,90.27273BJ116.4041,39.9863create table test(uid bigint,city varchar,poi geo2d delimiter

7、,)HybridDB for MySQL计算规格-扩展能力distribute by col1,col2,partition by col1,col2,两级扩展 一级sharding扩展（一级分区）二级shard内分区扩展（二级分区）HybridDB for MySQL计算规格-BI生态RDSMaxComputeOSSMQStreamComputeDataVQuickBITableauQlikViewExternal TableMySQL ProtocolHybridDB Table实时写入外表映射数据可视化批量流转3、HybridDB for MySQL分析技术提升HybridDB for

8、MySQL分析技术提升-计算引擎加速执行引擎优化 采用Pipeline流水线执行 代码生成+向量化执行技术 精确的内存控制和复用技术分布式SQL优化器 CBO+RBO结合，分阶段优化 PPD、CTE、Join-Reorder、AggPD 多种统计信息，考虑分布式属性执行调度优化 分布式并行计算 切分为MPP和DAG两种执行模式 动态识别执行模式，可动态转换HybridDB for MySQL分析技术提升-存储引擎加速高性能列式存储 按列存，列级链式组合压缩 多种元数据统计信息加速扫描 支持丰富的存储格式（关系数据、KV、JSON、Blob等）强大的索引能力 索引框架，列级智能索引，任意维度组合

9、 支持Hash/Bitmap/BKD等多种索引格式 支持复杂数据类型检索（全文、空间、JSON等）多种加速技术 动静数据分离，类LSM tree自动轮转 多种数据缓存（Block,Index,Join等）存储和索引融合扫描，流式结果归并HybridDB for MySQL分析技术提升-混合加速计算存储分离 计算和存储资源隔离，可动态调整 计算存储独立扩展，彼此松耦合存储加速计算 存储统计信息提供精确的计算成本估算 计算利用存储数据位置信息locality计算计算下推存储 支持谓词、聚合下推、二级分区下推 简单查询直接取统计信息快速出结果HybridDB for MySQL分析技术提升效果技术提

10、升前后对比TPC-H 1TB 10倍提升16节点规格数据流转2TB每小时4、典型场景及应用场景特点 实时写入或者批量导入 高并发和交互式混合查询 SQL+全文&空间检索+图等典型场景 政企安全大数据场景新技术新金融新能源新制造新零售场景特点 实时写入或者批量导入 高并发，毫秒级响应 数据可适度预建模典型场景 实时推荐类应用 电商数据参谋类应用高并发分析场景实时数仓场景HybridDB for MySQL典型分析类场景实时可见，极速分析，激活企业大数据场景特点 实时写入或者批量导入 交互式查询，并发不高 数据无法预建模典型场景 营业指数应用 BI报表准实时分析类应用交互式分析场景需求 日志类数据

11、实时入库，实时可见 用户前端在线复杂查询，要求5s快速返回 总数据量100TB+，1年历史数据，日新增2亿痛点 海量低成本存储、数据实时可见 在线复杂查询，查询性能要求高解决方案&效果 采用HybridDB 64节点，8倍压缩率 根据业务特点，采用聚集索引+二级分区 平均查询响应时延2s，QPS 20HybridDB for MySQL应用案例需求 电商商品和卖家数据，总数据量20TB+，数十张表 要求毫秒级高并发查询（商家），交互式查询（运营）数据从离线数仓批量导入；运营实时修正数据痛点 高吞吐批量导入，后端实时更新（Update）高并发和交互查询混合 多值列，全文索引解决方案&效果 采用 HybridDB 32节点满足业务需求 简单查询rt 100ms，并发2000；复杂查询 10s内返回云产品日志分析电商商家选品业务5、未来演进路线立足HTAP实时可见极速分析极速分析多功能智能化硬件红利SQL全文检索空间检索存储过程图分析HybridDB for MySQL技术演进分析性能持续提升AI助力数据探索自适应调优自动运维FPGAGPURDMA