《OceanBase数据传输服务 OMS_杨林.pdf》由会员分享,可在线阅读,更多相关《OceanBase数据传输服务 OMS_杨林.pdf(16页珍藏版)》请在三个皮匠报告上搜索。
1、杨林OceanBase 高级技术专家OceanBase OceanBase 数据传输服务数据传输服务 OMSOMSContents目 录01OMS 介绍02客户案例03UpcomingOMS 功能概览OMS(OceanBase Migration Service)是 OceanBase 提供的一站式数据传输服务on-premise&cloud异构数据库迁移上 OB数据库版本升级异地灾备实时计算传统关系型数据库MySQLOracleDB2OBschema 转换全量迁移增量迁移数据校验OMS数据迁移全量同步增量同步OMS 数据同步异构数据库OB消息队列datahubRocketMQKafkaOce
2、anBaseOMS 数据迁移3w+MySQL&Oracle databases migrated迁移中迁移后平滑迁移业务无感最小化切割时间窗口安全回滚应用反向回流切割切割OceanBase异构数据库应用正向同步OceanBase异构数据库迁移前应用异构数据库应用异构数据源OceanBaseOMS 数据迁移 流程对象全量增量校验割接反向预检查OceanBaseOceanBaseMySQLOracleOMS 数据同步全量初始化基于 CDC 持续增量同步数仓&数据分析,企业决策OceanBasekafkaflink聚合同步,AP分析OceanBaseMySQLMySQLMySQLMySQLMySQL
3、MySQL跨地域/异构容灾OceanBase北京OceanBase上海OceanBase深圳异地多活OMS 整体架构管控系统OMS传输系统集群管理高可用监控SOURCEMySQLOracleDB2OBOceanBase异构数据库OBKafkaDatahubRocketMQOMS管控系统MysQL pluginoracle pluginDb2 pluginOB plugin数据源插件统一记录模型int8.floatdoubledecimalbytesstringdatetimetimestamptimestamp_tzdurationyear数据切片全量迁移数据切片位点管理ETLwriter性能
4、稳定性数据质量增量日志解析增量日志解析事务日志解析schema管理事务管理回查管理数据存储增量同步并行回放冲突检测DDL同步事务拆分幂等控制ETL全量校验数据切片源端reader不一致记录目的端reader数据订正校验增量校验数据对齐源端日志不一致记录目的端日志数据订正校猃OMS 预检查将问题尽可能在链路创建前暴露出来 连通性检查 账号权限检查 事务日志格式检查 时钟同步检查 数据库版本、引擎检查 唯一键检查 字符集检查 外键依赖检查 列类型检查 大小写敏感检查OMS schema 转换ASTtableindexconstraintviewstore proceduretriggerseque
5、nce源端对象名称类型分区约束tableindexconstraintviewstore proceduretriggersequenceOceanBase 对象DDLOMS 全量迁移性能模型性能模型多表并行调度表内切片并行调度 基于 PK/UK 切片 基于数据存储组织方式切片,比如 Oracle写入防打爆保护源端DBT1T2T3T4OceanBaseT1T2T3T4SELECT*FROM T1 WHERE PK1000 AND PK=2000(1000,200012000,3000数据切片(1000,2000reader(1000,2000writer(1500,2000位点管理全量迁移断点
6、续传prepareloadcommit批量读流式串接批量写OMS 增量同步基于事务日志的增量数据解析串行事务依赖计算转并行,保证回放速度。全链路延迟秒级内高级特性高级特性DDL 同步大事务处理数据打标以及基于打标数据的过滤,构建双向复制链路或者多活同步链路SourceMySQLbinlogOracleredoDB2redoOBclogCDC Servicesouce plugins事务日志拉取记录组装&元信息浅解析&过滤事务管理数据解析&回查queueschema registryConnectorT4T5T6T7T8T9T0T1T2T3workerworkerworkerworkerLR o
7、f table_0LR of table_3LR of table_2.LR of table_NworkerworkerworkerTargetOBMQ黑/白名单初始化DDL演进DML解析基于事务基于表基于事务按表写入对应topicOMS 数据校验确保数据迁移质量确保数据迁移质量源端DBT1T2T3T4OceanBaseT1T2T3T4非同步写入非同步写入l l全量校验(1000,2000)(12000,3000)数据切片源端reader(1000,2000)目的端reader(1000,2000)数据校验匹配校验不一致复检一致不一致记录订正SQL位点管理增量日志解析增量同步preparel
8、oadcommitOB增量日志解析增量同步OB增量日志解析record cache增量拉取增量拉取增量拉取增量拉取校验校验不不 致回查复检致回查复检不一致记录不一致记录非同步写入识别非同步写入识别订正订正SQLSQL增量校验业务写入非同步写入OMS 一站式服务客户案例在线业务场景说明:用户需要将核心系统使用的数据库从 Oracle迁移到 OceanBase。在割接完成后需要订阅OceanBase 的增量数据做实时计算、数仓同步。解决方案:通过一站式数据迁移能力将业务库从 Oracle迁移到 OceanBase,OceanBase 数据实时同步到 Kafka 供订阅计算、数仓同步。实时计算数仓同步OceanBaseOracle迁移、割接实时同步消费在线服务UpcomingOceanBase binlog serviceMySQL 迁移到 OceanBase 后,canal/debezium/finkcdc/maxwell 如何无缝切到OceanBase多云&更多数据源 AWS Auroa 腾讯云 TDSQL SQL Server PostgreSQL开源将 OMS 传输组件的一些能力逐步开源到社区Thank you!GitHub:/oceanbase/服务号:OceanBase数据库星球论坛: