《OceanBase 4.3 关键能力深度解析_余璜.pdf》由会员分享,可在线阅读,更多相关《OceanBase 4.3 关键能力深度解析_余璜.pdf(27页珍藏版)》请在三个皮匠报告上搜索。
1、OceanBase 4.3 关键能力深度解析余璜OceanBase 内核产品总监Contents目录01 更完善的 OLTP 持续打磨 OLTP 能力,提升稳定性和易用性 02 全新的 OLAP 构建 OceanBase 在线分析能力03 内核 Roadmap 01更完善的 OLTP OLTP 能力持续打磨优化器增强 大表 DDL 空间优化 租户快速克隆 事务&日志优化 OLTP 易用性提升索引使用监控客户端本地导入参数模板 配置项 reset 02全新的 OLAP 支持 OLAP,给开发者更好的选择分布式能力TP 能力融合实时写入TP 查询功能&兼容性稳定性扩展性容灾能力数据导入&数据加工A
2、P 查询AP 生态AP 能力下单模拟场景今日预定量:今日颜色销量Top3:select o_color,count(*)from car_orderswhere o_createtime curdate()group by o_color order by 2 desc limit 3;select count(*)from car_orderswhere o_createtime curdate();宽表:order+lineitem+customercreate table car_orders(o_createtime timestamp,o_order_id bigint,o_colo
3、r tinyint,o_amount int,o_customer_name varchar(32);读得快算的快T+0 同步快需求下单模拟场景读得快算的快T+0 同步快需求列存向量引擎实时写入行存+列存的组合create table t1(pk int,c1 varchar(1),c2 varchar(1)with column group(each column,all columns);聚合分析点查、范围扫描 全新的向量引擎第四代(2022-至今)1 面向列格式向量化第三代(2019-2022)1 强数据类型运算2 静态内存预分配3 自动内存管理第二代(2017-2019)1 向量化引擎
4、2 基于编码的 filter 下压第一代(2014-2017)1 弱数据类型计算T+0 的实时能力OceanBase 实时 OLAP实时导入支持小事务Flink生态实时查询高级查询优化器向量化引擎列存表行存表带主键点查二级索引多种JOIN算法物化视图:减少重复计算orders 宽表按颜色聚合Top3预定量MVselectselect如何更快?需求MV 刷新策略MV 刷新方法单表聚合多表关联查询改写基表非实时物化视图异步定时全量刷新手动全量刷新YesYesYes普通表已有物化视图普通视图外表异步定时增量刷新手动增量刷新YesYes(五表内连接)Yes普通表实时物化视图异步定时全量刷新手动全量刷新
5、YesYes(五表内连接)Yes普通表异步定时增量刷新手动增量刷新YesYes(五表内连接)Yes普通表同步(on commit)实时生效YesYesYes普通表物化视图4.3.04.3.14.3.2暂无规划如果您想给 OceanBase 一个机会,实际用一下,如何开始导数?旁路导入 提升海量数据导入性能004000500060004xlarge(16c32G)数据库表的 schemaload timeOB(旁路导入)堆表737sOB(非旁路)堆表5160sOB(旁路导入)索引组织表1402sOB(非旁路)索引组织表4920sLOAD DATA/*+direct(need
6、_sort,max_error_allowed)*/INFILE file_name IN TO TABLE table_name;insert/*+append enable_parallel_dml parallel(16)*/into to_table select*from from_table单机约 100w 行/秒单机约 50w 行/秒Iineitem(100G)在单机 c6a.4xlarge 导入性能对比丰富的 OLAP 场景(1):TP 增强场景行存主副本从副本列存索引主副本ZONE_1P5 P6P8 OBServerP7ZONE_2P5 P6P8 OBServerP7ZONE
7、_3P1 P2P4 OBServerP1 P3P4 OBServerP3 P2 OBProxy交易类业务、实时报表业务WritesReads资源组 1P5 P6P8 OBServerP7P1 P3P2OBServerP4资源组 2资源组 1资源组 2资源组 1资源组 2资源组 1资源组 2资源组 1资源 组2资源组 1资源组 2交易支付批作业 TP 用行存 AP 用列存索引(降低存储开销)隔离用资源组丰富的 OLAP 场景(2):Serving 场景实时写入批量写入部分更新ServingOceanBase 4.3交互式查询联邦查询报表BI即席查询复杂查询多维查询ODS列存表三方生态在线/离线数
8、据加工ADS列存表业务日志TP 数据库队列CDCOceanBase 4.3丰富的 OLAP 场景(3):轻量数仓场景实时写入批量写入部分更新数仓&ServingOceanBase 4.3交互式查询联邦查询报表BI即席查询复杂查询多维查询ODS列存表DWD物化视图DWS物化视图ADS行存表列存表业务日志TP 数据库队列CDC丰富的 OLAP 场景(4):轻量实时数仓场景实时写入OceanBase 4.3交互式查询联邦查询报表BI即席查询复杂查询多维查询ODS列存表DWD列存表DWS列存表ADS行存表列存表业务日志OceanBaseTP 数据库队列Flink CDC维度表FlinkSQL-1SQL
9、-2SQL-3变更日志维表关联多源合并指标计算OceanBase 4.3 OLAP 性能提升0554045Q1Q2Q3Q4Q5Q6Q7Q8Q9Q10Q11Q12Q13Q14Q15Q16Q17Q18Q19Q20Q21Q22各版本 RT 对比v3.2.4v4.2v4.3V3.2.4V4.2.0V4.3.0148.41s 123.89s 98.54s TPC-H 1T 性能提升 25%OceanBase 4.3 OLAP 性能提升TPC-DS 1T 性能提升 112%0.1110Q1 Q3 Q5 Q7 Q9 Q11Q13Q15Q17Q19Q21Q23Q25Q27Q29Q31Q3
10、3Q35Q37Q39Q41Q43Q45Q47Q49Q51Q53Q55Q57Q59Q61Q63Q65Q67Q69Q71Q73Q75Q77Q79Q81Q83Q85Q87Q89Q91Q93Q95Q97Q99v4.2 与 v4.3 的 RT 之比V4.3 性能提升V4.3 性能回退V3.2.4V4.2.0V4.3.04195.18s1519.41s717.62s03内核 RoadmapOceanBase 内核 2024 Roadmap列存表列存索引物化视图全新向量化引擎分区交换增量旁路导入物化视图(多表连接、自动改写)全文索引JSON 多值索引存算分离性能优化稳定性增量旁路导入增强(索引表,LOB 列)Parquet、ORC 作外表BitmapArrayVector2024 Q12024 Q22024 Q42024 Q3谢谢谢谢谢谢