《OceanBase 社区版创新实践_封仲淹.pdf》由会员分享,可在线阅读,更多相关《OceanBase 社区版创新实践_封仲淹.pdf(29页珍藏版)》请在三个皮匠报告上搜索。
1、封仲淹OceanBase 开源态总经理OceanBase 社区版创新实践01 OceanBase 社区版最新进展02 OceanBase 用户场景探索03 OceanBase 社区版未来规划Contents目录01最新进展OceanBase 正在成为开发者喜欢的数据库今天:OceanBase 社区版集群安装量成功破万5754389257626608742496550009000120002023年7月2023年8月2023年9月2023年10月2023年11月2023年12月2024年1月2024年2月2024年3月2024年4月如何选型一款数据库六
2、边形战士自测语言力承受力专注力热情力执行力表达力稳定性功能运维性性能生态成本OceanBase 4.2.1 LTS 正式发布一体化数据库的首个长期支持版本OLTP 完整功能更稳定更强的性能面向 OLTP 核心场景的全功能里程碑版本开源和商业用户的汇聚主备库TP 性能是 3.1 版本的 2.1 倍AP 性能是 3.1 版本的 5.7 倍4.2.1_CE2023.10.132023.11.12023.12.72024.1.22024.3.54.2.1_CE_BP14.2.1_CE_BP24.2.1_CE_BP34.2.1_CE_BP4稳定性性能运维性生态不断提升 OLTP 场景下性能 TPC-DS
3、 提升16%Sysbench read-only 提升13%Auto DOP支持动态采样自适应Runtime Filter统计信息强化只读外表4.2.0_CE4.2.1_CE4.2.2_CE4.2.3_CE支持MemTable动态采样并行读取归档日志并发create table小规格 sysbench 优化 20%大in 优化统计信息和估行系统增强执行引擎优化Recursive cte 搜索优化Window Function 优化Adaptive Hash GBY 优化Hash Based Distinct Aggregate 优化PL 重新编译逻辑优化 OBKV 性能优化GIS 性能优化Ou
4、tRow Lob 性能优化Create table as select 优化Select into outfile 优化CTE 大union 优化稳定性性能运维性生态OceanBase 4.3:TP 能力持续打磨,AP 产品能力初具形态大数据分析能力旁路导入+外部表+DBLink,快速集成外部数据数据集成高级存储功能列式存储,行式存储,行列混合等存储方式并支持格式互换,并支持行存索引,列存索引物化视图、联邦查询、窗口函数、CTE、层次查询、计算下推AP 计算能力分布式计算MPP 架构,数据分区,auto dop 并行计算支持 JSON 、GIS、XML和 LOB 数据类型非结构化数据处理流式分
5、析兼容 Flink CDC、Flink 状态存储,Flink外表查询,Flink 流式分析性能提升相比 4.2,TPC-H 1T 提升25%,TPC-DS 1T 提升 111%AP 性能优化加载数据场景性能提升 6 倍旁路导入兼容性兼容 MySQL 协议,无缝接入 MySQL BI 生态软件兼容 MySQL BI 生态支持 Oracle 数据仓库建模 PL/SQL兼容 Oracle PL 脚本易用性白屏化、向导式选型OLAP 内核参数模版,基础用户免参数调优OLAP 参数模板提升索引使用效率,减少存储空间浪费索引使用监控提供场景化指导文档和DemoOLAP 场景化文档OLTP 能力持续打磨提升
6、统计信息收集效率,估行准确性增强,引入自适应代价模型以自动适应不同硬件环境优化器增强降低日志传输带宽;提升 PDML 并行执行扩展性事务&日志优化快速复制租户,降低新业务试错运维成本租户快速克隆稳定性性能运维性生态OceanBase 云平台(OceanBase Cloud Platform,OCP)具备易部署、高性能、高可用的特点,让用户能够更加高效地管理、维护、使用 OB 集群。过去一年,OCP 的安装部署问题得到有效解决稳定性性能运维性生态obdiag:开启 OceanBase 自助诊断的钥匙稳定性性能运维性生态OceanBase 敏捷诊断工具(OceanBase Diagnostic T
7、ool,简称obdiag)是一款源代码开源敏捷黑屏诊断工具,可以对 OceanBase 集群进行一键集群巡检、一键分析以及一键诊断信息收集。极致轻量完全开源高度可扩展一款30M大小的一键部署,开箱即用黑屏工具源代码开源插件化的场景高度扩展性一键巡检一键分析一键收集支持30+巡检项的一键集群健康巡检一键日志分析一键根因分析一键全链路分析支持20+故障场景的一键信息收集obdiag:开启 OceanBase 自助诊断的钥匙 稳定性性能运维性生态1.0.01.3.01.4.01.5.01.6.02.0.0一键诊断信息收集一键日志分析一键巡检一键全链路诊断sysbench 压测巡检docker 部署集
8、群诊断场景化诊断信息收集场景化根因分析context 改造,场景扩展能力增强根因分析二期改造2.1.02.2.02.3.02.4.02.5.03.0.0tabledump 收集根因分析场景扩展根因分析场景扩展支持SQL诊断根因分析场景扩展适配ob日志压缩改造服务化改造的一期增加2款内核工具的适配增加对OMS的一键诊断SQL 诊断二期,支持 SQL 问题的根因分析AI化探索已发布规划中OceanBase 兼容性攻坚战稳定性性能运维性生态 开始对MySQL 8.0 系统化兼容支持 系统函数 字符运算符 时间日期函数 加解密函数 Perf信息函数 窗口函数 其他函数 SQL Mode 独立SQL M
9、ode 组合SQL Mode Information Schema 精度兼容 float(m,d)GIS 数据类型 支持Latin1 字符集4.1.0_CE4.2.0_CE4.2.1_CE4.2.2_CE支持函数索引字符集 GB18030-2022OBCDC 满足MySQL BinlogService 兼容性需求Values Statement 支持Rename Column 支持Json Table 支持提升自定义变量兼容性兼容分页保序功能INSERT.ON DUPLICATE KEY UPDATE Statement 支持MySQL JSON 表达式支持MySQL JSON Partial
10、 UpdateMySQL XMLMySQL GIS 增强支持utf8mb4/utf16_Unicode_ciShow EXTENDED 语法兼容MySQL COM_SET_OPTION客户端导入支持PS 协议支持存储过程出参Lateral Derived Tables 支持INTEGER 列类型增长支持Online DDL.Binlog Service 让生态上下游无缝适配稳定性性能运维性生态110集群阿里云、AWS、华为云、腾讯云已经有超过 110 个集群开通Binlog 服务,并切换到生产订阅200+实例Binlog 实例数目前在云服务上已经超过了 200 个BinlogServiceCa
11、nalFlinkDebeziumMaxwellMySQL 订阅工具阿里云 DTS华为云 DRSDataworksAWS DMS基于 Binlog 的云服务60+客户高德、泡泡玛特、美年大健康、小电科技、二维火、映客、比心、三维家、蕉内、Palmpay 等10+下游工具目前已经平滑对接和适配了包括Canal、Debezium、Maxwell、DTS、DMS、DRS、Cloudcanal、FinkCDC 等近 10几款工具和云服务02用户场景探索原生分布式数据库支撑支付网关 分库分表+HTAP 频繁 DDL,对分库分表带来严重挑战 成本过高,单机群过百 TB,MySQL 和ElasticSearc
12、h 2 套存储存储 运维复杂,同时运维 MySQL 和 ElasticSearch ElasticSearch 数据实时性较差业务挑战 机器数从80+下降到 20+,成本大幅下降 原生分布式替换分库分表,在线支持 DDL 运维工作大幅减少 根据业务需求(写入 TPS 和查询 QPS)弹性扩缩容收益实时同步查询分析MySQL_1 MySQL_2MySQL_N数据写入Elasticsearch查询分析数据写入OceanBase历史库:存储历史库海量数据,降低存储成本 MyRocks 支撑历史库扩展能力不足 分库分表需要人工负载均衡,且不支持跨库操作业务挑战 无需分库分表,实现在线水平扩展,数据迁移
13、对业务透明 OceanBase 高级压缩技术降低存储成本85%左右 实现多点写入和并行写入,写入性能提升数倍收益智能管控监控运行灰度流控均衡自愈历史数据归档库OceanBase配置中心任务调度源数据库MySQLMySQLMySQL+执行节点1Job1Job2执行节点2Job1Job2读取校验删除OceanBaseOceanBase多租户能力适合 SaaS 场景,总体水位更健康,成本控制更好业务挑战收益 数据库实例多,大幅增加运维和开发复杂性 存储成本压力大,数据量超过8TB 面对大促,需要快速升降级应对流量洪峰 数据分析需求不断增强 强大的可扩展性,应对节假日、促销节等场景非常有帮助,扩容策略
14、能灵活非常多 多租户大幅减少机器成本和运维成本 实测同等规格下业务 SQL 性能要远优于 MySQL 三副本高可用保障业务的连续性 分析需求得到有效满足OBServer1小商户A中型商户B日常业务增长中型商户C增长为大商户大商户D大促扩容小租户12C8G中型租户28C16G大租户332C128G中型租户416C64G大型租户432C128GOBServer2(弹性扩展)小租户12C8G中型租户216C32G中型租户516C64GOBServer3(弹性扩展)大租户348C160G小租户62C8G大租户72C8G原地升配弹性扩展多云异地容灾KMS 加密系统负责将业务系统敏感数据进行数据加密OCP
15、 管控平台 云中立产品,支持阿里云,腾讯云混合架构 稳定性要求高,RPO=0,RTO 15s 对数据有强一致要求 灾备集群成本低,期望社区版 需要高度兼容 MySQL 协议业务挑战 对比前分布式数据库方案,成本下降50%满足多云异地容灾,RPO=0,RTO 15s 备集群成本低 OCP,OMS 统一管控平台,降低混合云下运维成本和复杂度收益OB CloudRegion1Region2OceanBaseOceanBaseOceanBase阿里云KSM系统OceanBase 社区版腾讯云OceanBaseOceanBaseOceanBase数据校验数据迁移回源保护CDC数据订阅/同步OMSFlin
16、k CDC+OceanBase实时数仓方案改造前平台UI/API业务微服务MPP引擎(Trino)HiveServer2Hadoop YarnHadoop Hdfs改造后平台UI/API平台UI/APIOceanBase文件存储 MinIO引擎架构升级离线任务调度引擎流计算引擎Flink离线任务调度引擎流计算引擎增加CDC能力OBRedis 支持 Redis 冷热分离方案 期望更稳定的持久化存储系统,解决单机多实例互相影响的困境,持久化kv 系统,经常因为 compaction 而抖动 期望更低的成本,数据量已经超过10TB,Redis 机器磁盘空闲,持久化KV 系统内存空闲 期望更高的性能和
17、扩展性:Redis Cluster 最大分片1000,无法支撑业务扩展业务挑战 多租户保证实例间资源隔离 OBKV 持续稳定,无gc 问题,延迟稳定 存储节省40%弹性扩容 更强的单核能力,平均单核6000 QPS收益业务读DB写Cache读Cache写DBOceanBaseMySQL/持久化KV 系统写Cache读Cache写DB读DB业务03未来规划不断提升自助能力诊断能力不断强化 obdiag 诊断能力不断强化 OCP 的监控能力内核生成更友好的报警日志内核提供更详细的视图培训正在直播 OceanBaseDBA 入门与实战Q3 推出 OceanBase 开发者最佳实践沉淀知识库将基于开源
18、团队工单系统 Q3 推出开源知识库引导更多用户基于论坛答疑增强论坛答疑补充论坛专职答疑员工引入悬赏答疑,激励更多社区小伙伴进行答疑引入版主机制4.2.x 不断强化 OLTP 核心场景不断强化稳定性兼容性诊断能力性能4.3.x 不断增强分析能力2024 Q12024 Q22024 Q32024 Q4列存表列存索引物化视图全新向量化引擎分区交换增量旁路导入物化视图(多表连接、自动改写)全文索引JSON 多值索引增量旁路导入增强(索引表,LOB列)BitmapArrayParquet、ORC 作为外表存算分离性能优化稳定性One more thing通过 OceanBase:构建向量引擎插件,实现
19、SQL+AI 一体化欢迎到Developer Hub 展区,体验基于 OceanBase 向量化插件的知识库 Demo Show利用 LLM+Embedding Model+OceanBase 向量检索 快速构建文档知识库应用答案问题OceanBase 如何创建向量索引?大预言模型(LLM)向量嵌入模型(Embedding Mode)select.order by embedding?Limit 5 OceanBase 创建向量索引的语法是问题+关联信息文档知识库文档切片向量嵌入模型(Embedding Mode)OceanBase 向量检索OceanBase 向量检索使用.md创建向量索引的语法是 create index 例如:insert values(-3.1415926,2.7182818,);用户管理员面向个人用户Operator 拥抱 K8s 基础设施Now&Future欢迎到 Developer Hub 展区,进行体验Yum 安装SystemCtlyum install 直接安装使用 systemctl管理一体化数据库15324简化运维快速扩容灵活变配自动故障恢复优化成本6897云迁移多基础设施云下上云监控告警自动扩缩容10谢谢谢谢谢谢