《4-王云龙-腾讯云TDSQL平滑去O的机遇和挑战.pdf》由会员分享，可在线阅读，更多相关《4-王云龙-腾讯云TDSQL平滑去O的机遇和挑战.pdf（24页珍藏版）》请在三个皮匠报告上搜索。

1、腾讯云TDSQL平滑去O的机遇和挑战王云龙腾讯云数据库产品总监1.新机遇，从国产数据库替换谈起2.新挑战，分布式和集中式的碰撞与火花3.新生态，合作共建国内数据库开源生态CONTENT1.新机遇，从国产数据库替换谈起新机遇：从国产数据库谈起1.自研战略2.开源互备3.国产适配打造数据库的中国芯腾讯云TDSQL面对的行业形势政策：国家层面推动行业XC逐年增高，暴露大量数据库市场机会客户：行业客户自身面临行业XC带来的紧迫感，尤其是数据库替换保险行业核心去O项目复杂商业银行核心去O趋势明显保险行业要求在2025年前完成核心系统全面去O，核心系统95%以上使用Oracle构建，代码行数多、要求兼容度

2、高，因此保险核心系统去O进程较慢核心去O案例少，没有历史经验借鉴近两年商行建设的核心系统面临着全面去O需求Oracle系统平移替换占整个PPL的66%客户在去O项目留给ISV的预算有限行业：从传统数据库厂商到互联网数据库行业百家争鸣核心系统替换数据库的主要路径Oracle开源MySQL腾讯云TDSQL业务系统不变数据库替换Oracle借助于业务系统重构完成数据库替换数据迁移数据迁移*旧应用系统新应用系统旧应用系统兼容适配腾讯云TDSQL系统重构系统平迁 适用轻度数据库耦合 彻底解决数据库耦合 充分发挥新架构优势 使用MySQL完成重构 适用重度数据库耦合 最小化业务修改 最小化应用修改 使用P

3、G引擎完成替换*新契约*立保通*互联网核心方案优势案例参考方案优势案例参考*核心*数据分析*核心*系统路径1路径2核心数据库平滑替换的主要挑战1.Oracle语法和功能需要做到全兼容语法众多且复杂多变2.Oracle承载大量核心业务逻辑PLSQL开发时间久远PLSQL涉及业务逻辑复杂3.迁移和适配代码量巨大核心系统代码量从几十万行-几百万行不等4.业务适配和测试需要细致且全面业务代码语法和语义适配业务执行性能和Oracle相当123内核兼容：内核和驱动层面做到Oracle语法兼容，做到应用层面不改代码性能兼容：复杂SQL和核心业务逻辑执行性能对齐Oracle习惯兼容：应用开发习惯和周边工具做到

4、兼容适配核心能力双方配合果敢决策共同面对核心系统替换的挑战三个层面做到全面兼容某保险共同攻坚核心系统深度去O兼容性测试通过：60%内核兼容和优化解决40%JDBC驱动兼容解决1%0%应代码修改这是一套将近15年前的核心系统，并且一直在持续迭代但去O攻坚还没有结束核心系统平滑去O是一个完整的系统工程1数据库迁移项目计划表2开发环境部署记录3测试数据库迁移、改造记录4应用适配计划及结果5原系统信息收集记录6生产部署规划及架构7生产环境部署记录及压测报告1系统投产方案及计划2数据库增量同步方案及记录3系统正式割接及上线报告4项目总结1测试数据库迁移方案2数据库迁移评估报告3业务系统部署规划及记录4系

5、统测试报告5系统试运行方案及计划1生产数据库迁移方案及记录2业务系统部署规划及记录3系统双轨运行方案及记录4系统投产方案及计划TDSQL就是面向完整去O和兼容O的数据库内核以内核兼容为基础，打造从驱动、工具、内核三个层面的Oracle兼容能力驱动：JDBC、ODBC、OCI、Pro*C内核：Oracle语法兼容、Oracle功能兼容资源：底层硬件和操作系统适配工具：DBbridge/TDSQL Migration Toolkits（评估、迁移、验证）驱动层面兼容 JDBC配合内核能力做用法兼容 OCI对oracle接口用法做应用层兼容 Pro*C在嵌入式SQL做代码层兼容内核层面兼容 对内置数

6、据类型、内置系统函数、PLSQL等语法层面兼容 对分区表、递归查询、DBlink、伪列等功能层面兼容工具层面兼容 异构数据库静态对象、应用SQL差异性评估 异构迁移自动改造 Oracle数据迁移和数据同步商业版：TDSQL PG开源版：OpenTenBase(24年全新对外开源)2.新挑战，分布式和集中式的碰撞与火花新挑战：分布式和集中式的碰撞与火花Oracle核心应用系统核心应用系统数据库替换数据库系统的变化：1.从集中式到分布式：经历的模块变多，单条SQL响应时间会拉长2.从事务到分布式事务引入全局事务管理器，事务复杂度增加3.从单节点到多节点节点之间的网络交互成为瓶颈数据join的内存操

7、作变成网络IO4.从oracle小型机到x86服务器单台服务器存储容量和处理能力下降5.从相对熟悉到相对陌生数据库运维管理规范的改变开发理念的转变，从1条SQL写到底到不是所有的事情都交给数据库如何善待分布式实现数据库技术的换道超车新挑战：Oracle替换进入深水区，对产品更高要求TDSQL重磅发布融合版，打造极致HTAP国产精品更快新架构性能提升 OLTP部分场景提升25倍，TPCC性能提升50%全并行架构，通用计算性能提升5倍 TPC-H：提升10倍 TPC-DS性能：突破，领先更全面行列混合存储同一引擎行列混存Oracle/PG双模式Oracle兼容性再度提升，全量70%-85%;PL/

8、SQL高达90%；金融行业兼容度平均达98%更弹性新增双单模式 新增单机模式，单台可部署 单机/集中式/分布式共管控 新增单表模式，减少时延 新增自适应高压缩存储更隔离HTAP业务隔离 同引擎自适应TP/AP分流 资源隔离：支持逻辑多租户，根据CPU/内存/并发度隔离业务 资源熔断：CPU/内存/耗时/倾斜等超过阈值主动停止查询TDSQL 融合版TDSQL PG单一引擎支持Oracle/PG模式0500300350400450Data TypesControl StatementsCollections and RecordsStatic SQLDynamic SQLSu

9、bprogramsPackagesError HandlingLanguage ElementsSQL Statements for Stored PL/SQL UnitsTDSQL PL/SQL 兼容性TDSQL PL/SQL兼容点Oracle 全量PL/SQL兼容点1.语法差异隔离:Oracle兼容语法与PG语法有大量差异，包括空值规则、大小写规则、SQL语法、PL/SQL能力、系统视图、高级包等。TDSQL通过语法层/元数据层/视图层隔离减少系统复杂度。2.一套引擎底层：在事务、行列存储、MPP框架、计算引擎、优化器等底层框架层面，则基本完整复用，通用的对PG/Oracle不同语法方言进

10、行支持。3.用户灵活配置:用户可以在同一套集群里创建不同PG/Oracle database，底层通过PG/Oracle模式各自的模版库进行创建。不仅是Oracle语法的简单兼容，还有性能的全面追平甚至超越通过核心框架和计算架构的升级重构，并对性能实现细节打磨，综合性能已提升2倍以上经过多年攻坚，TDSQL融合版综合性已提升2倍以上核心框架升级MPP框架底层重构领先友商+50%自研列存设计领先友商+20%MPP数据转发层：相比友商进一步优化高并发场景链接过多、流量控制等问题，通用性能提升50%，并发能力最高提升20倍。列存重构：列存储数据格式排列、计算下推、自动空间回收等设计领先友商，压缩比领

11、先20%，列存扫描性能提升20%。计算架构重构并行计算框架领先友商+100%向量化执行框架对齐友商+30%并行框架升级：采用业界最新pipeline并行设计重构，并行调度设计领先友商，通用分析性能提升100%。向量化框架：结合PG社区最新运行时编译技术，在向量化框架设计上领先竞品，通用性能提升30%以上。性能工程细节打磨CPU指令级优化+10%并行执行调度优化+10%CPU并行指令：全流程优化CPU并行指令细节，在表达式计算等方面并行指令使用率领先，通用性能提升10%。执行调度优化：深入优化多计算分片查询的执行调度策略，通用性能提升10%。55200600复杂查询处理基准

12、测试 1TB（单位：秒，值越低性能越好）TDSQL（2022）TDSQL（2023Q2）GuassDB42636000300040005000600070003表关联5表关联业务场景测试（值越大，性能越好）TDSQL（2022）TDSQL（2023Q2）GuassDB友商产品友商产品TDSQL PG核心场景OLTP性能优化3.新生态，合作共建国内数据库开源生态新生态：数据库替换不是一家所急，而是需要共同努力技术突破产品能力服务支持应用适配运维体系生态合作伙伴基础应用开发数据库能力繁荣OpenTenBase生态，实现国产数据库对传统商业数据库兼容，繁荣

13、国产数据库事业开源分布式数据库技术，增强OpenTenBase的技术影响力，让更多的企业和个人能了解并共建分布式数据库技术高校科研单位软件开发商数据库服务商企业单位个人开发者人才培养TDSQL PG开源社区版OpenTenBase商业生态演进上游开源社区下游衍生发行版为帮助企业数字化转型，加强国内数据库技术的自主演进，与国内众多厂商联合，共建OpenTenBase开源社区发行版的下游生态。源于PostgreSQL迭代研发：和主版本完整分叉并且独立演进，形成自有生态的社区发行版。社区发行版与企业发行版区别：社区发行版：用户优先原则，根据用户的需求和贡献迭代研发特性直接合并更新并且发布版本。企业发

14、行版：客户优先原则，根据客户的需求迭代研发特性优先提供客户后再往上游合并入社区发行版。社区发行版提供了社区服务：提供交互沟通平台，维护者和开发者共同响应回答用户提出的问题。企业发行版提供了企业服务：提供专业技术服务，技术咨询、版本更新、安全漏洞响应及更新。上游社区发行版下游企业发行版从集中式架构演进分布式架构影响力建设参与数据库及相关行业峰会，如：DTCC、DTC、NDBC、PG生态大会、开放原子开源峰会、GOPS、KubeCon等相关行业国内国际峰会人才培养与高校开展数据库x暑假课程x训练营、联合开放原子开源基金会、中国计算机学会等开展100+校园行，联合教育部协同育人项目与电子科技大学、中

15、国人民大学、深圳大学、哈尔滨工业大学、黑龙江科技大学等高校建立人才培养合作机制社区技术会议定期开展社区例会；联合数据库上下游开源项目举办OpenTenBase中国行Meetup，覆盖绝大多数中国一线城市；定期举办OpenTenBase线上技术直播通过影响力建设+人才培养+社区技术会议等多种方式，覆盖不同人群，提升社区影响力。10+行业峰会100+高校人才/开发者/大赛30+活动共建最具活力和影响力的开源数据库社区OpenTenBase即将全新对外开源，与上下游生态合力共创腾讯游戏腾讯财付通微信支付腾讯大数据腾讯视频腾讯云Tbase正式开源代码开放并发布2.0版本20082019发布2.1版本联

16、合PG分会共同进行人才培养成立腾讯-人大联合实验室发布2.2版本欧航局Gaia Mission卫星正式应用举办TDSQl生态思想会校园行走进深大、成都电子科大微信支付应用获最佳开源实践案例发布2.3/2.4版本获数据库最佳应用奖获得IT技术影响力之星项目入选“科创中国”开源创新榜单发布数据库学习指南202020212022now发布2.5版本捐赠给开放原子开源基金会，目前已通过开放原子开源基金会TOC评审更名为OpenTenBase完善社区治理，启动理事会/TOC建设获OSCAR开源尖峰项目启动全国校园行人才培养活动参与业界相关行业会议开源“五周年”覆盖业界上万+开发者生态OpenTenBase填补基于Postgres的开源分布式HTAP系统的空白从到拥抱开源，邀您共建OpenTenBase数据库开源生态与数据库开源生态圈共同成长获得OpenTenBase社区理事、技术委员会等席位提升企业及个人技术影响力，共享社区媒体及人脉资源获得开源社区贡献荣誉、社区伙伴授牌等荣誉一起共建数据库开源社区，您将收获成为社区特邀讲师，参与开源技术峰会、校园行等活动获取全球数据库开源最新动态、技术趋势、安全漏洞等资讯从参与者到贡献者，获得开源社区贡献激励、社区精美周边纪念品欢迎扫码加入欢迎扫码加入微信微信群群交流交流THANK YOU