《携手开发者打造一体化数据库_杨传辉.pdf》由会员分享,可在线阅读,更多相关《携手开发者打造一体化数据库_杨传辉.pdf(47页珍藏版)》请在三个皮匠报告上搜索。
1、携手开发者打造一体化数据库杨传辉OceanBase CTO10 20152016 2021架构演进:从单机分布式一体化,到一体化数据库全分布式架构单机分布式一体化架构一体化数据库OceanBase 1.x 3.xOceanBase 4.04.2OceanBase 4.3OceanBase 0.1 0.5单写多读架构01回顾开源稳定性价比2021.6.1:为什么开源社区需要“另一个”原生分布式数据库?7824470728393671.08 万0250050007500023.062023.072023
2、.082023.092023.12023.112023.122024.012024.012024.032024.04今天:OceanBase 社区版集群数成功破万客户数突破 1000 家,OceanBase 正在受到越来越多的认可IDC显示OceanBase 位列“领导者”类别。作为一款原生分布式数据库,OceanBase 在产品能力上表现突出,处于领先地位。来源:GartnerMagic Quadrant for Cloud Database Management Systems,18 December 2023.。Gartner 是全球最具权威的IT研究与顾问咨询公司之一,其研究范围覆盖全
3、部 IT 产业,为客户提供客观、公正的论证报告及市场调研报告。2023 年,全球仅有 10 家厂商入选 Gartner 全球云数据库管理系统魔力象限“荣誉提及”,OceanBase 入选。来源:IDC MarketScape:中国分布式关系型数据库 2023 年厂商评估。IDC 成立于1964 年,是全球著名的信息技术、电信行业和消费科技咨询、顾问和活动服务专业提供商。Gartner显示墨天轮显示OceanBase 在“墨天轮中国数据库流行度排行”中连续 14 个月排名第一(截至 2024 年 1 月),并持续保持领先趋势。墨天轮中国数据库流行度排行来源:墨天轮国产数据库流行度排行。该排行自
4、2019 年 6 月推出,通过近 50 个维度的数据来考察近 300 个国产数据库的流行度,每月 1 日更新排行数据,用于体现国产数据库在互联网上的流行度。用户将 OceanBase 社区版应用在分布式 OLTP 场景通过 OceanBase:原生分布式替换分库分表,解决无缝扩展问题PROXYWRITEREADDB1DB1DB5Table A1Table A2Table AnTable AOceanBase集群微信推送实时数仓KafkaFlinkOMSDB1DB1S1 DB1S2DB2DB2S1 DB2S2DB3DB3S1 DB3S2DB4DB4S1 DB4S2DB5DB5S1 DB5S260
5、%按需扩容15TB 6TBRPO=0RTO MySQL通过 OceanBase:存储历史库海量数据,降低存储成本Job1Job2Job1Job2流控任务调度均衡灰度自愈历史数据归档库OceanBaseOceanBaseOceanBase智能管控运行监控配置中心MySQLMySQLMySQL+源数据库存储校验删除读取85%无需分库分表存储写入提升数倍执行节点 1执行节点 2用户也将 OceanBase 社区版应用在实时 AP、多模场景FlinkcanalHBaseCDC宽表topicDashboardstopic 2topic ntopic 1KafkaKafkaFlinkFlinkcanalD
6、ashboardstopic 2topic ntopic 1KafkaFlink通过 OceanBase:HTAP 弥补 TP 与 AP 之间的空白HBase+Kafka+StarRocksOceanBase时效50%50%成本Kafka实时 ETLOLAP 引擎API字典注册字典生成存储服务HBase-OceanBase字典服务FlinkKeyKey:Value通过 OceanBase:多模能力替换 HBase,提升性能并实现强一致不依赖 Hadoop 组件支持二级索引查询 25 倍写入 5 倍分布式LSM-Tree为什么开发者天然地把 OceanBase 当成一体化数据库?分布式架构与 L
7、SM-Tree 存储引擎适合海量数据场景开发者驱动 OceanBase 成为 All-in-one 一体化数据库All-in-one 降低 IT 成本分布式 TP分布式 AP多模一体化存储引擎一体化事务引擎一体化 SQL 引擎多模(KV&文档&AI 等)多架构基础设施一体化02一体化对开发者意味着什么单机分布式一体化:一套系统,从单机到分布式,对用户完全透明平滑伸缩单机主备小规格部署可大可小RTO 8s多模融合 增加一种查询接口,而不是增加一款数据库一个数据库一套引擎一份数据多种操作方式多种数据模型SQLKVHBase查询插入插入kvKvkvkvOceanBase 分布式数据库内核数据库运维复
8、杂度降低数据库成本降低易扩展数据操作更灵活HTAP=OLTP Plus交易型应用分析型应用一个系统,行存/列存混存主副本提供 HTAP 服务适合OLTP+轻量 OLAP数据无延迟保证一致性交易型应用分析型应用一个系统,行存+列存主副本 OLTP+备副本实时 OLAP适合OLTP+中等 OLAP 主备副本之间有毫秒级延迟通过 OceanBase:HTAP 实现一份数据两份收益,助力海底捞数据化转型挑战1.OLTP:日常并发流量高,节假日流量突增,高峰过后需及时缩容避免资源浪费;2.OLAP:实时分析每个人的口味和喜好进行智能推荐,要求高实时性、低时延;3.现有架构(PolarDB+Analyti
9、cDB)链路复杂且同步存在时延,两份数据带来额外的成本;收益1.HTAP 实现一份数据两份收益,简化架构,AP 性能提升 30%;2.基于 Paxos 提供 7*24 小时持续服务,原生分布式提供无限扩展能力;3.OceanBase 高压缩和动态伸缩特性避免资源浪费,TCO 下降 35%;Tenant 1Tenant 2Tenant 3Tenant 4Tenant 5可用区 1营销交易可用区 3社区POSTenant 1Tenant 2Tenant 3Tenant 4Tenant 5Tenant 6可用区 2Tenant 1Tenant 2Tenant 3Tenant 4Tenant 5Ten
10、ant 6排号DTS会员Tenant 6AnalyticDBPolarDB-X分库分表PolarDB单实例TP&AP 一体化的另一层含义:把分布式 TP 的核心能力融入到 AP分布式能力TP 能力融合实时写入TP 查询功能&兼容性可靠性扩展性容灾能力数据导入&数据加工AP 查询AP 生态&大数据生态AP 能力OceanBase 4.3 正式发布推出列式存储引擎,强化 TP&AP 一体化,打造近 PB 级实时分析数据库AP 分析能力物化视图、联邦查询、窗口函数、CTE、层次查询、计算下推支持 JSON、XML、GIS 和 LOB 数据类型列式存储,行式存储,行列混合等存储方式并支持格式互换支持行
11、存索引,列存索引旁路导入+外部表+DBLink快速集成外部数据兼容 Flink CDC、Flink 状态存储Flink 外表查询,Flink 流式分析数据集成高级存储功能AP 计算能力半结构化数据处理流式分析MPP 架构,向量化执行引擎Auto DOP 并行计算SPM 执行计划自动迭代分布式计算TP 能力持续打磨快速复制租户降低新业务试错运维成本相比 4.2.1,单行读写提升 70%批量读写提升 80%220%优化器增强,自适应代价模型降低日志传输带宽提升 PDML 并行执行扩展性SQL&事务&日志优化KV 性能优化租户快速克隆相比 4.2.1,TPC-H 1T 提升 25%TPC-DS 1T
12、 提升 111%AP 性能提升加载数据场景性能提升 6 倍支持 Oracle 数据仓库建模 PL/SQL兼容 MySQL 协议无缝接入 MySQL BI 生态软件AP 兼容性AP 性能优化旁路导入兼容 MySQL BI 生态兼容 Oracle PL 脚本白屏化、向导式选型 OLAP 内核参数模版基础用户免参数调优AP 易用性AP 参数模板提供场景化指导文档和 DemoAP 场景化文档OceanBase 4.3 正式发布强化 TP&AP 一体化,打造近 PB 级实时分析数据库这一次,我们一起现场见证 OceanBase 分析型负载跑分测试PK 业内一流的列式大宽表数据库 ClickHouse同等
13、硬件条件下,OceanBase 4.3 版本的大宽表查询性能达到 ClickHouse 同一水平互联网应用简单的 CRUD SQL大量点查,高并发传统行业应用,有复杂查询大量 PL 和批作业KV 表模型访问模式单分区访问,无 SQL 层TP 增强混合负载在线分析处理和数仓OceanBase All-in-one 一套系统支撑各种应用场景Express OLTPComplex OLTPOBKVHTAP实时 AP基于 OceanBase 构建轻量级实时分析数据库实时写入批量写入部分更新数仓&ServingOceanBase 4.3交互式查询联邦查询报表BI即席查询复杂查询多维查询ODS列存表DWD
14、物化视图DWS物化视图ADS行存表/列存表业务日志TP 数据库队列CDCOceanBase AP 致力于打造 PB 以下实时分析数据库的最强六边形战士AP 工具生态数据流入流出、数据开发、数据可视化AP 存储能力列式存储TP 能力行式存储、实时写入,主键索引点查AP 计算能力向量化执行、并行计算、分布式优化器兼容性MySQL 语法、Binlog 兼容分布式可扩展、高可用、强一致、异地容灾Whats NextQ1Q2Q4Q3列存表列存索引物化视图全新向量化引擎分区交换增量旁路导入物化视图(多表连接、自动改写)全文索引JSON 多值索引基于 S3 的存算分离性能优化增量旁路导入增强(索引表,LOB
15、 列)BitmapArrayParquet、ORC 作为外表Vector 向量数据库202405提升易用性一起看看来自用户的易用性故事入门用户高级用户用户体验文档/知识/内容OceanBase从入门到精通文档检索全面兼容快速部署监控告警参数模板图形化开发性能评估obmarkfreetrial易于学习易于评测易于操作OBD/OATODCOMAOCP易于观测异常诊断性能诊断执行计划全链路追踪等待事件耗时指标SQL 执行历史活跃会话采样Top 分析系统负载仓库堆栈分析执行日志内存分析一键收集规范视图驱动ObDiagOAS内核易学习:降低上手门槛1972 篇(2.x)2991 篇(3.x)3931 篇
16、(4.x)在线体验+知识库文档参数模版性能测评融合 OBD 与 OCP安装部署易诊断:提升诊断能力ASH:数据库性能 Perf OAS:根因分析alert.log:常见系统事件日志性能诊断Serverless 按需使用,1 个月免费 Free Trial扩容普通实例Serverless 实例Free Trial 1C4G1 个月免费Serverless 按需使用for 阿里云 now更开放的技术生态Binlog Service 平滑对接 20+下游生态CanalBinlogServiceFlinkDebeziumMaxwell阿里云DTS华为云DRS阿里云DataworksAWSDMS基于 B
17、inlog 的云服务MySQL 订阅工具开放底层能力接口 内核参数 监控接口 运维接口云计算基础设施操作系统CPU&硬件AlibabaCloud Linux数据集成大数据集成数据迁移与处理数据治理BI 及报表数据开发数据库运维与监控OceanBase Landscape:从基础生态适配,到开放技术生态超过 750 个主流产品加入,共同构建开放技术生态云原生测试系统中间件应用集成ORM 框架连接工具易使用、易参与基于开源持续降低开发者参与门槛开源社区:从及时响应到社区互动从产品到社区,全面提升开发者体验走进开发者,深度互动参与社区,实践分享贡献开源,社区共建 OUG 城市聚会在北京、上海、广州、
18、深圳、成都等城市,开展 CTO 聊天室、唠嗑了 O 技术交流 走进企业行知乎、58、vivo 等 线上技术社区月报、开发者周会 118 位开发者开通博客 20 篇开发者说和 DBA 大咖说,49 篇技术实践,97 篇企业案例 1000+篇技术文章 OceanBase 入门实践教程社区共建 6 个仓库深度共建 核心仓库 300+外部贡献者 共建代码量超 50000 行致敬开发者开源共建,更直接的帮助 OceanBase315位 contributors感谢感谢携手同行的 应用开发者生态共建,更便捷的用好 OceanBase社区共建,更快速的学好 OceanBase108位社区月度之星感谢来自开发
19、者的尝试:构建 OceanBase 向量引擎插件,实现 SQL+AI 一体化文档知识库文档切片OceanBase 向量检索使用.md创建向量索引的语法是 create index OceanBase 向量检索问题向量嵌入模型(Embedding Mode)大语言模型(LLM)OceanBase如何创建向量索引?问题+关联信息select.order by embedding?Limit 5 OceanBase 如何创建向量索引?创建向量索引的语法是 create index 用户答案OceanBase创建向量索引的语法是向量嵌入模型(Embedding Mode)例如:insert values(-3.1415926,2.7182818,);OceanBase 分布式内核存储引擎Lob分布式引擎SQL 引擎Table APIJsonGISHBase APIRedis API基础模型OMSODPOCP备份恢复历史库平台VectorOceanBase 向量检索管理员用有趣的尝试,连接你我!2024 年度发布会见!谢谢谢谢谢谢