1、Oracle迁移PG的挑战与突破刘志俊华为云计算技术有限公司背景介绍为什么要去O？去O的原则是什么？有哪些去O工具或平台？用什么数据库替换O？成本高 国产化信创要求，避免被卡脖子（政策）应用框架更换（架构）弹性伸缩，拥抱云（战略）迁移前业务改造成本低 迁移中对业务影响小 迁移后业务正确性、稳定性和效率不受影响 各云厂商迁移平台（DRS、DMS、DTS）独立迁移工具（OGG、DSG、英方等）兼容度高 生态强大 稳定性好、性能高 开源/国产企业去O遇到的诸多挑战难决策异构数据库在语法、功能、机制上存在差异，去O需要业务改造老业务代码复杂，SQL庞大，改造成本和风险高业务对自身没有整体上清晰的认识，

2、不清楚需要做哪些改造，不知道会存在哪些风险，心里没底不敢去O难落地迁移工具功能和质量参差不齐，不知如何选择去O迁移是个复杂的过程，周期很长，没有足够的人力支撑去O过程中对生产业务正常运行的影响难以评估和解决业务割接窗口时间短，如何做到快速迁移，业务中断控制在分钟级去O往往结合着业务的优化和调整，如何实施不放心如何保证迁移前后数据0丢失迁移过程中怎么避免数据泄露等安全风险切换新数据库后没有足够的知识和人才储备，担心有问题搞不定优秀的去O解决方案应该是什么样的源数据库目标数据库增量数据同步迁移评估数据校验选型推荐SQL转换前置对象迁移全量数据迁移后置对象迁移仿真验证流量切换智能运维业务改造迁移后目

3、标库性能、稳定性、易用性不降低，运维方便，监控齐全，问题少，出问题能快速解决。迁移前省心：迁移时放心：迁移后安心：有数据库和应用迁移评估能力，帮助业务梳理数据库对象、SQL，识别改造点，提醒风险，让业务心中有数；有异构SQL自动转换能力，降低业务改造成本。一站式全自动迁移，客户介入少、人工操作少，支持库表等常用对象迁移、全量数据快速迁移、增量数据实时迁移，迁移过程对业务影响小，支持数据一致性校验、业务仿真验证，业务切换0停机。OraclePostgreSQLMySQL华为数据库产品矩阵华为云数据库：多云协同，打造数据上云一站式解决方案数据集成数据处理与汇聚数据计算与分析云上管理关系型数据库非关

4、系型数据库数据库和应用迁移UGO数据复制服务DRSGaussDB(for openGauss)GaussDB(for MySQL)RDS for PostgreSQLRDS for MySQL+DDMRDS for MySQLGaussDB(for Influx)GaussDB(for Cassandra)GaussDB(for Mongo)GaussDB(for Redis)DDS(Mongo)数据库运维服务数据仓库GaussDB(DWS)数据库开发服务华为云统一API统一体验统一生态华为云的探索和突破-数据库迁移整体解决方案云上3RD自研内核云上RDS迁移评估(UGO)评估并转换异构数据库

5、语法数据迁移(DRS-数据同步)基于日志的实时变化数据捕捉数据校验(DRS-数据校验)基于日志的增量数据实时校验初始化时执行一次持续采集应用SQL持续运行，实时同步数据并比对数据准确性迁移评估DDL迁移DML迁移PLSQL迁移流量捕获实时转换流量仿真性能分析在线迁移数据同步多活灾备数据订阅行级比对列级比对内容比对组合校验仿真验证(DRS-流量回放)通过业务仿真提前感知业务稳定性和性能PostgreSQLMySQLDDSGaussDB商业数据库华为云数据库线下华为云的探索和突破-数据库和应用迁移UGO数据库和应用迁移 UGO（Database and Application Migration

6、UGO，简称为UGO），是专注于异构数据库对象迁移和应用迁移的专业化工具。通过预迁移评估、结构迁移二大核心功能，实现主流商用数据库到华为云数据库的自动化搬迁，助力用户轻松实现一键上云、一键切换数据库的目的数据库源库画像目标库选型与规格推荐目标库兼容性分析迁移工作量评估数据库结构迁移应用SQL迁移核心能力华为云的探索和突破-迁移评估、结构迁移（UGO）C#/C+应用Java应用Python应用数据库配置数据库对象SQL流量容量信息性能信息对象复杂度目标选型/规格对象兼容性语法改造建议工作量评估迁移风险识别DRS对象验证结构对比性能测试SQL优化对象过滤数据规范语法转换语法校正数据同步自动上线性能

7、瓶颈GaussDB(for openGauss)在线迁移/持续优化测试验证语法改造外部集成数据库/应用预迁移评估数据库/应用画像华为云的探索和突破-全量同步（DRS）高效的Bulk Copy协议(解析消耗)友好的写入方式(磁盘IO)合理的并发控制(资源均衡)丰富的数据加工方式(架构优化)智能的分片算法(数据均匀)安全的数据传输(加密&压缩)无缝的断点续传(网络异常)灵活的限速设置(业务高峰)Meta目标ReaderReaderReaderTable SchedulerSplit SchedulerSplitterWriterWriterWriterCheckpoint源华为云的探索和突破-全量

8、同步核心技术（DRS）多种表类型不同分片策略：堆表、集群表、IOT表、分区表、无主键表，灵活配置 支持多种数据类型：数字、字符串、时间 分片均匀：每个分片数据量大致均匀，充分发挥并发优势。行过滤，支持指定sql条件，适用水平拆分场景。列过滤，自由指定列名，适用垂直拆分场景。加列，支持固定值、插入时间、更新时间、表达式等，适用多合一场景。分片粒度的断点续传，分片大小可调。多合一的无主键表续传也能保证数据一致性。精确到字节数的速度控制，同步过程中可修改。灵活指定限速时间窗口，支持多窗口限速。速度平滑变更，避免陡增陡降。智能分片数据加工灵活限速断点续传华为云的探索和突破-增量同步（DRS）Oracl

9、eLogFetcherExtractorAssemblerStorageParserApplierApplier冲突矩阵并行分析CrawlerFilterConverterLogFile稳定高效的日志解析能力两种日志解析方式日志下载、解析、回放分离日志压缩存储智能清理多级断点续传事务级别并行回放热点更新合并异构DDL实时同步目标库MetaCheckpoint华为云的探索和突破-增量同步核心技术（DRS）日志解析并行回放DDL同步断点续传 已支持：LogMiner、Xstream 开发中：BinaryReader 极致性能：并发解析，超3T/天 高效的并行分析引擎，事务级并行回放 可配置事务拆分

10、和合并 热点更新合并 独特的断点设计，精准去重 多级断点续传，抓取、解析、回放 多级缓存，超大事务也能秒级续传 集成UGO解析和转换DDL，异构常见DDL实时同步 支持高危DDL过滤，如drop、truncate华为云的探索和突破-数据校验（DRS）对象检查用户检查数据详细对比行数对比内容对比全量迁移结束，通过对象级对比结果，校验数据对象是否缺失。通过创建用户对比，对源库和目标库中的账号名称、权限进行对比和检查。使用数据级对比功能，对源库和目标库数据的行数或内容进行对比。静态对比：对于无数据变化的非业务时间，可通过静态对比对源库和目标库进行一次全量内容对比。动态对比：先对源库和目标库进行一次全

11、量内容对比，完成后进入增量对比阶段，实时比对源库和目标库的增量数据。源库日志日志DRS数据同步获取源端数据获取目标端数据数据存储目的库Repository默克尔树维护执行校验Verify ServerRow HashRow HashRow HashRow HashRow HashRow HashRow HashRow HashRow HashRow HashRow HashRow HashHash 0Hash 1Hash 0-0Hash 0-1Hash 1-0Hash 1-1Hash 0-0-0Hash 0-0-1Hash 0-1-0Hash 0-1-1Hash 1-0-0Hash 1-0-1

12、Hash 1-1-0Hash 1-1-1XOR RowHash R1XOR RowHash R2XOR RowHash R(n-1)XOR RowHash R(n)H=1H=2H=15Hash Treehash分桶，每桶中包含若干行，该桶的hash值为各行hash做异或。Hash 0.0Hash()Hash 0.1Hash()Hash 0-1Hash()Hash 0-0Hash()Hash 1-0Hash()Hash 1-1Hash()Hash 0Hash()Hash 0Hash()Hash 1.0Hash()Hash 1.1Hash()Top HashHash()为了提高全量对比速度，采用每

13、张表单独建立一棵默克尔树、大表建多棵默克尔树的方式。基于内存消耗和执行效率综合考虑，采用固定高度建立默克尔树。华为云的探索和突破-流量仿真回放（DRS）RDS(for PostgreSQL)应用交换机AgentDML、DDL流量镜像SQL解析语法转换流量仿真速度控制异常记录结果分析流量抓取协议解析压缩存储过滤筛选分析报告服务器资源占用对比SQL执行效率对比SQL执行结果对比TOP10慢SQL对比数据一致性对比0业务改造0业务影响100%真实生产业务流量模拟切换，实现上云切换0风险。Oracle流量镜像服务器流量回放服务器优秀实践-某大型车企Oracle迁移PostgreSQLUGO整体平均转换

14、率超过95%，迁移周期大幅缩短应用系统schema个数对象个数对象转换成功率PACKAGE个数PACKAGE代码量（单位：万行）PACKAGE转换成功率应用127约300090%约50080+98%对象类型数量FUNCTION37INDEX643PACKAGE142PACKAGE_BODY142PROCEDURE66SEQUENCE379SYNONYM3TABLE1237TRIGGER123TYPE33VIEW221迁移评估、结构、应用等迁移全量数据迁移增量数据同步应用UGODRS：全量+增量智能数据库运维管理RDS for PostgreSQL增量数据捕获与解析业务停服、数据同步追平、数据一致性比对ORACLE未来规划精度：转化率和准确率持续提升宽度：从常用对象类型扩展到小众对象类型广度：Oracle系统视图纳入评估Oracle日志解析三种方式全支持一致性校验提供修复建议流量回放支持多种源和目标库数据库和应用迁移UGO 数据复制DRS