《携手共建:中国联通的 OceanBase 分布式数据库探索之路_邱永刚.pdf》由会员分享,可在线阅读,更多相关《携手共建:中国联通的 OceanBase 分布式数据库探索之路_邱永刚.pdf(21页珍藏版)》请在三个皮匠报告上搜索。
1、携手共建中国联通的 OceanBase 分布式数据库探索之路邱永刚中国联通软件研究院 OceanBase 开发负责人Contents目录01 分布式 CUDB 演进历程介绍分布式 CUDB 建设背景、与 OceanBase 的相识、从初创到成熟阶段的发展历程02 分布式 CUDB 生态体系介绍介绍分布式 CUDB 产品体系、工具体系、AI 赋能等核心能力以及社区共建内容03 使用效果与未来展望介绍分布式 CUDB 在联通内部的使用效果与产品的未来展望01分布式 CUDB演进历程2022 年 9 月底国资委下发文件,全面指导并要求国央企落实信息化系统的自研技术改造,要求央企、国企、地方国企全面落
2、实自研技术,总体目标是在重点推进行业央、国企 2027 年底实现 100%自研升级。金融/电信/电力石油/交通/航空航天教育/医疗建筑/烟草/地产/汽车等党政外部:政策+市场驱动“打好关键核心技术攻坚战,加快攻克重要领域“卡脖子”技术“2+8+N”XC 产业将迎来全面爆发市场化驱动200002220232024202520262027政策驱动单点启动规模化启动政策驱动政策+市场双轮驱动市场驱动攻坚关基全栈 XC-攻关试点全栈 XC 数据库内部:需求导向服务器 飞腾 曙光 浪潮.操作系统 麒麟 统信.CPU 飞腾 鲲鹏 龙芯传统数
3、据库 mysql Oracle 达梦 申威 海光.海量.01020304建设背景2023202420212022技术选型基础架构搭建与功能实现产品化建设一键开通、弹性扩缩、高效迁移易用性提升,试点推广应用稳定性提升与生态完善对接监控运维体系大规模推广使用智能化运维开源共建,深入内核研究推广大型应用21 年底,从 XC 政策、替代高危 MySQL、降低商用依赖以及提升软研院软实力等几方面综合考虑,选定基于国内首家开源分布式 OceanBase 数据库产品打造自研产品分布式 CUDB,重点聚焦数据库产品生态工具方面的补齐和人员能力的提升,为替代 MySQL 和新上应用提供全栈 XC 的数据库资源及
4、服务能力。分布式 CUDB 演进历程 02分布式 CUDB生态体系介绍资源更省磁盘节省约 70%迁移更快10W/s 迁移速度可用性更高弹性扩缩等 16 个场景售前8 个场景解决方案售中8 大能力中心售后质量/效率/安全保障3 款国产芯片2 款国产操作系统3 款国产服务器功能特性数据库产品能力高效可靠服务生态体系全面好用全栈 XC 适配安全可靠计算(RUNC/KATA/KVM)存储(CEPH/LVM)网络(OVS/OVN/DPDK)+x86麒麟Open Power统信 UOS ARM(鲲鹏+飞腾)数据库管理数据库运营数据库运维数据库监控生态服务产品能力交付中心运维中心卸载中心操作中心恢复中心迁移
5、中心集群模式多副本容灾语法高兼容分布式引擎多租户隔离内存转储安全管控故障无感知切换.应用场景离线数据新上应用尽量采用 CUDB非核心业务系统MySQL 数据库全量替代外部应用感知中心决策中心数据库服务生态工具 CDAS分布式 CUDB 数据库产品分布式 CUDB 基于 OceanBase 社区版进行优化改进,将产品的开通、使用、监控、运维全面接入联通云,实现产品资源的一点开通、一点交付、一点监控、一点运维和一点操作,为联通云租户提供易用而专业的一站式服务。分布式 CUDB 产品体系大表迁移性能测试全库迁移性能测试对 645 张表进行迁移测试,总数据量 3 亿,其中超过 5000w 数据表 4
6、张。OMS 迁移时长 3787s,迁移速率 77189 条/s;MOT 迁移时长 909s,迁移速率325981 条/s,MOT 迁移速率为 OMS 的 4.2 倍。大表迁移效率 MOT 迁移速率为 OMS 的 3.5 倍,mysqldump 的 2.9 倍,datax 无法拆分主键并行迁移的 13 倍,与可拆分主键并发迁移最高性能相当。工具OMSMOTmysqldumpdataxdatax拆分性能(条/s)6200526793212369兼容性测试表总数 645 张,OMS 不兼容 95 张,MOT 不兼容 2 张,MOT 兼容性为 OMS 的近 50倍。MOT 相比
7、OMS,可兼容无主键表、外键依赖、倒序索引、Mysql 8.0 等情况的数据迁移。020406080100不兼容表数量OMSMOT00300000400000普通数据迁移性能OMSMOT0200000400000大表迁移性能OMSMOTmysqldumpdataxdatax拆分开源迁移工具对数据迁移到 OceanBase 支持度相对有限,且缺乏直观易用的界面化多租户服务。为解决应用数据迁移难题,自研 MySQL 到 OceanBase 的迁移工具 MOT(MySQL-OceanBase Transfer Tool),支持全库表结构+表数据迁移,迁移速率可达 10 万条/s
8、 以上。产品能力:高效数据库迁移产品能力:异地容灾高可用能力备集群 基于 nfs 数据备份搭建主备集群,实现数据同步 通过 nfs 的数据备份可实现应用数据恢复至备份周期内的任一时间点 通过 SLB 配置负载均衡,备集群负载权重配置为 0,流量转发至主节点 集群故障时,SLB 转发流量至备集群,应用无须任何修改主集群OBProxyOBProxyOBProxyOBServerOBServerOBServerOBServerOBServerOBServernfs应用SLB 负载均衡OBProxyOBProxyOBProxyOBServerOBServerOBServerOBServerOBServ
9、erOBServer为屏蔽底层数据库类型差异,提高运维效能,建设泛数据库自治服务 CDAS,提供数据库操作中心、运维中心等八大中心,覆盖全部入驻应用,让人人都是 DBA。工具能力:全面好用的泛数据库自治服务 CDAS数据库服务生态工具体系数据库集数据分析、机器学习、算法专家经验数据采集(日志、sql、参数、锁等)RDS商用 OceanBaseRDS商用 OceanBaseKVStore达梦分布式 CUDB.实例开通资源管控实例管理.交付中心恢复中心备份管理全库恢复精准恢复.卸载中心运维中心慢 sql 治理表空间治理会话管理.流转视图卸载监控卸载管理.操作中心迁移中心实时迁移按需迁移离线迁移.分
10、级赋权变更备份SQL 变更审批.感知中心决策中心异常检测AWR 报告趋势预警.自动扩缩诊断分析预案自动化.数据数据库智能运维建设质量场景能力支撑连接数趋势预测数据库容量趋势预测数据库磁盘故障自愈数据库主机负载故障自愈智能分析事件关联多维分析新奇日志链路诊断根因定位智能发现场景定义模型训练模型管理波形分类故障预测动态阈值智能处置预案自动化故障自愈成本应用资源优化趋势分析成本分析容量预测效率安全配置中心流程中心监控中心运维中心计算平台管控平台监控指标运行日志调用信息变更信息配置数据平台事件工具能力:智能预测、诊断与自愈行业领先的 AI 赋能数据库运维流程,基于异常检测、数据库监控指标、组件拓扑关系
11、,完成数据库的故障趋势预测能力建设,故障自愈率提升至 20%左右,故障数同比降低 70%,提高了数据库运维的智能性,荣获 XCOPS“2023 年度智能运维十大标杆案例”。智能计算引擎产品能力展示从深度使用,到社区共建:我们可以一起做些什么?DML 误操作无法闪回:如何构建更强大的数据库安全体系?ob admin 解析拉取源文件复杂:如何提升数据库管理工具的易用性?解析内容可读性差:如何优化数据库解析工具的信息展示?解析工作量巨大:如何自动化数据库解析工作?面临问题共建内容研发 LogMiner 解析事务日志,直接生成 SQL 与反 SQL 语句底层能力对接联通云体系,进行产品化改造实现用户
12、DML 误操作精准恢复增强 OceanBase 内核掌控能力内核代码已提交社区,将在 4.2.3版本正式发布建设效果社区共建-事务日志解析 LogMiner为进一步提升产品能力,支撑联通个性化业务需求,同时提升对 OceanBase 内核掌控能力,在数据库内核及外围工具层面展开社区共建,目前已在事务日志解析 LogMiner、OceanBase 敏捷诊断工具 obdiag 进行深入共建,实现多个核心功能研发,并修复多个数据库内核 bug。社区共建 OceanBase 敏捷诊断工具 obdiag用户Before专家反复沟通数据库节点请求专家排查问题从节点收集数据上传缺失数据下载和运行工具/脚本定
13、位和处理问题obdiagAfter专家疑难杂症请求专家服务数据库节点请求专家排查问题根据报告自主定位问题用户一键集群巡检一键根因分析一键诊断分析一键信息收集一键集群巡检:发现已存在或可能会导致集群出现异常问题的原因分析并提供运维建议一键信息收集:实现数据库相关的诊断信息收集一键诊断分析:通过运行日志等对集群进行一键诊断分析一键根因分析:对访问断连、卡合并、锁等待等影响集群使用的场景进行一键分析定位,协助快速解决场景完善:通过持续完善建设内容,覆盖更多场景,如访问异常缓慢、转储异常分析细化:比如针对访问断连,可能涉及多方面原因。实际场景不断锤炼,分析细化,全方面定位、解决实际问题建设内容建设思考
14、背景:应用或 OceanBase 集群出现问题,故障根因分析通常比较繁琐,可能涉及机器环境、配置参数、运行负载、不当使用等,需要应用与运维人员及相关专家反复沟通、描述问题、收集信息,费时费力,影响使用体验。03使用效果与未来展望协助应用迁移次数xx 次协助应用迁移量xxTB慢SQL数量下降43%数据库运维效能人均提升20%已推广应用xx 个已上线应用xx 个协助应用数据恢复20+次帮助应用问题快速处理10+次分布式 CUDB 在中国联通的应用情况分布式 CUDB(OceanBase)目前已在中国联通超过 xx 个项目中成功应用,其中,xx 系统已安全稳定运行超过 600 天。收敛数据库组件,未来将实施替代 600+套 MySQL 等高风险组件,实现新建系统“能用尽用”,核心系统稳中求进,逐步推广应用。统一技术栈,扩大应用规模基于大数据和 AI 能力,实现数据库的自感知、自修复、自优化、自运维、自安全。数据库运维智能化通过社区共建,进一步完善产品能力,提升运维人员内核掌控能力与运维水平,为数据库稳定运行保驾护航。社区共建,深入内核研究未来展望谢谢谢谢谢谢