1、异异构构数数据据同同步步技技术术内内幕幕何何革革新新泽泽拓拓科科技技（深深圳圳）有有限限责责任任公公司司目录CONTENTS数据同步主要技术2常见数据同步方案3案例分析4常见数据同步场景1kunlun Server常见场景一-实时数据仓库oraclemysqlPostgreSQLMSSQLKunlunstorageKunlunstorageKunlunstorageKunlunstoragekunlun Servershard1shard2shard3shard4Kunlun DB 存储集群kunlun Serverkunlun ServerKunlunDB 计算层数数据据同同步步数数据据同同

2、步步META SERVERMETA SERVER订单系统物流系统CRM系统财务系统统计分析常见场景二-数据库备份容灾两两个个数数据据库库中中心心通通过过数数据据库库复复制制的的方方式式实实现现数数据据同同步步当当主主节节点点出出现现故故障障容容灾灾节节点点就就可可以以接接管管业业务务出出现现故故障障的的情情况况下下，要要求求RPO=0,RTO 30s常见场景三-数据共享&业务解耦通通过过数数据据同同步步解解决决信信息息孤孤岛岛问问题题，实实现现数数据据共共享享为为了了保保证证整整个个业业务务系系统统的的一一致致性性，要要求求数数据据同同步步在在实实时时性性和和准准确确性性上上面面有有保保障障订

3、单系统数据库数据同步结算系统物流系统查询系统CDC 工具常见场景四-读写分离读读写写分分离离可可以以用用来来解解决决数数据据库库的的读读性性能能瓶瓶颈颈，读读写写分分离离通通过过将将数数据据库库的的读读操操作作路路由由到到数数据据库库的的从从节节点点上上，从从而而降降低低数数据据库库主主节节点点的的负负载载，提提高高整整个个系系统统的的性性能能数数据据库库的的主主从从复复制制采采用用基基于于日日志志的的数数据据库库同同步步技技术术，可可以以实实时时的的将将数数据据同同步步到到从从节节点点数数据据库库主主从从复复制制可可以以采采用用同同步步模模式式或或异异步步模模式式数据迁移上云、下云数据库架构

4、迁移常见场景五-数据迁移跨跨平平台台迁迁移移跨跨数数据据库库迁迁移移表表结结构构迁迁移移变变更更目录CONTENTS数据同步主要技术2常见数据同步方案3案例分析4常见数据同步场景11，基于时间戳CDC(变更数据捕获)基基于于表表的的时时间间字字段段create_time和和modify_time识识别别变变更更数数据据缺缺点点：1.无无法法识识别别多多次次更更新新2.无无法法识识别别删删除除3.不不具具有有实实时时能能力力 2，基于快照CDC快快照照CDC就就是是一一次次性性抽抽取取源源系系统统中中的的全全部部数数据据，把把这这些些数数据据加加载载到到数数据据仓仓库库的的缓缓冲冲区区中中。下下

5、一一次次需需要要同同步步时时，再再从从源源系系统统中中抽抽取取全全部部数数据据，并并把把全全部部数数据据也也放放到到数数据据仓仓库库的的缓缓冲冲区区中中，作作为为数数据据的的第第二二个个版版本本，然然后后再再比比较较这这两两个个版版本本的的数数据据，找找到到变变化化。基基于于快快照照的的CDC可可以以检检测测到到插插入入、更更新新和和删删除除的的数数据据，这这是是相相对对于于基基于于时时间间戳戳的的CDC方方案案的的优优点点，但但它它的的缺缺点点是是要要大大量量的的存存储储空空间间来来保保存存这这些些快快照照。另另外外，在在表表比比较较大大时时，也也会会有有比比较较严严重重的的性性能能问问题题

6、。因因为为会会有有这这种种性性能能问问题题，所所以以也也可可以以使使用用SQL来来做做比比较较，数数据据库库引引擎擎的的性性能能往往往往比比ETL引引擎擎的的性性能能更更好好。支支持持异异构构同同步步3，基于触发器CDC在在源源数数据据库库创创建建触触发发器器，将将表表的的变变化化记记录录写写入入到到变变更更文文件件中中去去，实实现现变变更更数数据据的的捕捕获获4，基于交易日志CDC-PostgreSQL 逻辑复制逻逻辑辑复复制制同同步步数数据据的的原原理理是是，在在wal日日志志产产生生的的数数据据库库上上，由由逻逻辑辑解解析析模模块块对对wal日日志志进进行行初初步步的的解解析析,它它的的

7、解解析析结结果果为为ReorderBufferChange（可可以以简简单单理理解解为为HeapTupleData），再再由由pgoutput plugin对对中中间间结结果果进进行行过过滤滤和和消消息息化化拼拼接接后后，然然后后将将其其发发送送到到订订阅阅端端，订订阅阅端端根根据据接接收收到到的的HeapTupleData重重新新对对其其执执行行insert、delete、update的的操操作作4，基于交易日志CDC-MySQL binlog Master将将数数据据改改变变记记录录到到二二进进制制日日志志(binary log)中中，Slave通通过过I/O线线程程读读取取Master中

8、中的的binary log events并并写写入入到到它它的的中中继继日日志志(relay log)Slave重重做做中中继继日日志志中中的的事事件件，把把中中继继日日志志中中的的事事件件信信息息一一条条一一条条的的在在本本地地执执行行一一次次，完完成成数数据据在在本本地地的的存存储储，从从而而实实现现将将改改变变反反映映到到它它自自己己的的数数据据(数数据据重重放放)4，基于交易日志CDC-SQL Server1，源源表表在在插插入入、更更新新和和删删除除活活动动时时会会插插入入数数据据到到日日志志表表中中2,捕捕获获进进程程将将变变更更数数据据捕捕获获到到变变更更表表中中。3，复复制制进

9、进程程通通过过cdc提提供供的的查查询询函函数数，捕捕获获数数据据的的变变更更信信息息3，数数据据增增量量变变化化被被提提取取，转转换换，加加载载到到目目标标数数据据中中。5，基于数据库日志CDC-Oracle DataGuard同同步步原原理理：1,主主库库的的变变化化记记录录在在redo log 文文件件中中2，redo log 文文件件通通过过LNS服服务务传传送送到到目目标标数数据据库库（从从库库）2，从从库库通通过过直直接接应应用用Primary 数数据据库库传传送送过过来来的的REDO，基基于于block-for-block的的应应用用来来保保持持与与 Primary 数数据据库库

10、的的一一致致优优点点：没没有有数数据据类类型型的的限限制制，可可以以保保证证两两个个数数据据库库完完全全一一致致。效效率率高高，因因为为是是使使用用最最底底层层的的块块级级别别上上的的复复制制5，基于数据库日志CDC:PostgreSQL 流复制（物理复制）4，基于数据库日志CDC:PostgreSQL 流复制在在目目标标端端将将WAL日日志志的的walrecord直直接接拷拷贝贝到到数数据据页页对对比比项项基基于于查查询询CDC(Sqoop,kafka jdbc,kettle）基基于于日日志志CDC(Dataguard,ogg,canal,dbz)对比项基于时间戳基于快照基于触发器基于数据库

11、日志物理复制基于交易日志逻辑复制源表结构要求有有有无部分数据类型限制有有有无部分实时性差差差好好入侵性有有有无无跨平台支持支持支持不支持支持跨系统支持支持支持不支持支持数据同步技术总结目录CONTENTS数据同步主要技术2常见数据同步方案3案例分析4常见数据同步场景1数据仓库ETL 工具ETL是数据仓库中的非常重要的一环，是承前启后的必要的一步。ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。常见的ETL 工具有：Kettle,oracle ODI,Informatic,d

12、atastage 等ETL 工具的共有特性：支持各种数据源，跨平台，可编程工作原理：基于时间戳，快照，触发器，对源系统有入侵性Canal 数据同步方案canal是阿里巴巴旗下的一款开源项目。基于数据库增量日志解析，提供增量数据订阅&消费，目前主要支持了MySQL（也支持mariaDB,kunlundb)canal的工作原理就是把自己伪装成MySQL slave，模拟MySQL slave的交互协议向MySQL Master发送 dump请求，MySQL master收到canal发送过来的dump请求，开始推送binary log给canal，然后canal解析binary log，再发送到存

13、储目的地，比如MySQL，Kafka，Elastic Search等等基基于于交交易易日日志志支支持持异异构构跨跨平平台台适适合合：数数据据仓仓库库ETL，数数据据共共享享，读读写写分分离离，备备份份容容灾灾Debezium 数据同步方案Debezium是捕获数据实时动态变化的开源的分布式同步平台。能实时捕获到数据源（Mysql、Mongo、PostgreSql等各种数据源）的：新增（inserts）、更新(updates)、删除(deletes)操作，实时同步到Kafka。特点：1）简单。无需修改应用程序。可对外提供服务。2）稳定。持续跟踪每一行的每一处变动。3）快速。，Debezium+k

14、afka+Flink 数据同步方案Oracle Goldengate基基于于交交易易日日志志支支持持异异构构跨跨平平台台适适合合：数数据据仓仓库库ETL,数数据据共共享享 读读写写分分离离 备备份份容容灾灾Oracle 数据库同步到 KunlunDBOraclekunlunDB同步方案技术比较 对对比比项项CANAL DebeziumOGGETL 工工具具MYSQL支支持持支支持持支支持持支支持持SQL SERVER不不支支持持支支持持支支持持支支持持ORACLE不不支支持持支支持持支支持持支支持持POSTGRESQL不不支支持持支支持持支支持持支支持持license免免费费开开源源免免费费开

15、开源源收收费费技技术术栈栈基基于于交交易易日日志志基基于于交交易易日日志志基基于于交交易易日日志志基基于于时时间间戳戳/快快照照对对业业务务有有影影响响目录CONTENTS数据同步主要技术2常见数据同步方案3案例分析4常见数据同步场景1场景-方案 选型 场场景景、方方案案基基于于交交易易日日志志逻逻辑辑复复制制基基于于数数据据库库日日志志物物理理复复制制ETL 工工具具逻逻辑辑导导入入导导出出实实时时数数据据仓仓库库OK OK 备备份份容容灾灾OKOKOK业业务务解解耦耦OKOK读读写写分分离离OKOK数数据据迁迁移移OKOKOKkunlun Server某电商客户的数据同步方案oraclem

16、ysqlPostgreSQLMSSQL需需求求：异异构构跨跨平平台台实实时时性性方方案案选选择择：基基于于交交易易日日志志KunlunstorageKunlunstorageKunlunstorageKunlunstoragekunlun Servershard1shard2shard3shard4Kunlun DB 存储集群kunlun Serverkunlun ServerKunlunDB 计算层数数据据同同步步数数据据同同步步META SERVERMETA SERVER同步方案技术比较 对对比比项项CANAL DebeziumOGGETL 工工具具MYSQL支支持持支支持持支支持持支支持

17、持SQL SERVER不不支支持持支支持持支支持持支支持持ORACLE不不支支持持支支持持支支持持支支持持POSTGRESQL不不支支持持支支持持支支持持支支持持license免免费费开开源源免免费费开开源源收收费费技技术术栈栈基基于于交交易易日日志志基基于于交交易易日日志志基基于于交交易易日日志志基基于于时时间间戳戳/快快照照对对业业务务有有影影响响，性性能能相相对对差差数据同步方案 KunlunSERVER KunlunSTORAGEKunlunSTORAGEKunlunSTORAGESD1SD2SD3sql file-inputbinlog逻辑导出canal,DebeziumOGG,DebeziumMETA SERVERMETA SERVERMETA SERVER变量日志捕获传输应用加载兼容Mysql 协议的分布式数据库