1、TDSQL PostgreSQL版企业级分布式数据库技术创新实践腾讯云高级工程师 谢灿扬TDSQL-PG 简介整体介绍TDSQL-PG的由来与架构TDSQL-PG 重点能力介绍TDSQL-PG的重点能力TDSQL-PG经典用户案例微信支付，第七次人口普查等CONTENTTDSQL-PG 简介TDSQL-PG(原TBase)简史TDSQL-PG是基于PostgreSQL研发的分布式数据库：V1：具备完整的分布式事务处理能力，具有良好SQL兼容性及在线扩展能力V2：数据更安全，具备三权分立安全体系，内核独有支持透明数据脱敏V3：支持OLAP在线分析业务处理，更完备的并行处理能力，提供一站式整体解决

2、方案V5：支持Oracle语法兼容，读写分离功能引 入 PostgreSQL作为TDW的补充，弥补TDW小数据分析性能低的不足TDSQL-PG V1发布数平内部开始使用TDSQL-PG 微 信 支付商户集群上线，目前每天超过5亿笔交易TDSQL-PG V2发布同年5月份在数字广东及云南公安上线TDSQL-PG V3发布PICC集团业务上线TDSQL-PG V5发布兼容Oracle的运营商业务上线TDSQL-PG的定位TDSQL-PG 是腾讯自主研发的新一代分布式国产数据库，其具备业界领先的HTAP能力，在提供大型数据仓库处理能力的同时还能完整支持事务。无共享MPP兼容SQL2003完整分布式事

3、务强悍数据分析能力TDSQL-PG整体能力三权分立能力强制安全规则数据审计能力数据透明脱敏数据透明加密MLS安全保护能力高效弹性在线扩容长尾数据冷热分离成本解决方案用户无感知的数据倾斜解决方案两地三中心容灾能力强大数据治理能力SQL语法兼容SQL2003标准窗口分析函数Oracle常用函数支持Oracle常用语法支持数据库特性丰富千万级TPS事务处理能力全局sequence支持支持全并行分布式计算架构，高效完成OLAP计算高效HTAP能力UDF/UDAF/UDWF存储过程，自定义操作符自定义FDW(访问外部数据源)扩展性良好Libpq(C/C+)Jdbc/odbcEcpg/python 访问接

4、口丰富TDSQL-PGTDSQL-PG适用场景业务场景HTAP业务地理信息系统实时高并发系统数据库国产化数据量交易数据量大于1T以上，或分析数据量大于5T以上并发能力并发连接数量达到2000以上，业务要求每秒峰值100万笔业务交易在线水平扩展替代业务原有需要分库分表的场景HTAP能力具备高并发的OLTP处理能力的同时，兼顾相当量级的OLAP分析能力，支持一站式解决业务对数据库的诉求分布式事务将事务机制融入到数据库内，解决分库分表模式的痛点TDSQL-PG总体架构|8Local DataLocal catalogDatanode1Global catalogCoordinatorTransact

5、ion InfoGlobal objectGTM-MTransaction InfoGlobal objectGTM-SGlobal catalogCoordinatorGlobal catalogCoordinatorLocal DataLocal catalogDatanode2Local DataLocal catalogDatanode3Datanode4Data Forward Bus集群数据交互总线Coordinator(协调节点CN)业务访问入口，每个节点对等，对外提供一致视图Datanode(数据节点DN)业务数据存储节点GTM(事务管理器)全局事务管理器，协调集群集群事务，并

6、管理全局对象指标监控运维管理实时告警安全审计数据治理统一资源管理平台TDSQL-PG 能力介绍多引擎：集中式分布式一体化(HTAP)集中式无缝扩展成分布式高度兼容ORACLE语法无分布式开销分布式高度完整兼容ORACLE语法全局一致核心能力内容分布式事务能力分布式事务ACID能力，支持分布式一致性读（RR，RC两个隔离级别)分布式核心能力分布键更新，全局索引能力，高性能OLAP能力ORACLE兼容能力（金融/运营商场景98%兼容性）数据库对象支持，数据类型支持，特有语法支持，PL/SQL支持，系统函数支持，高级包支持，Package，自治事务，查询计划绑定，GBK，GB18030，UTF8SQ

7、L引擎行表透明压缩存储引擎分布式元数据SQL引擎存储引擎分布式元数据CN1SQL引擎存储引擎分布式元数据CN2DN1行表透明压缩存储引擎分布式元数据DN2GTM行表透明压缩存储引擎分布式元数据全局时间戳服务基于GTS的MVCC并发控制逻辑时钟从零开始内部单向递增且唯一，由GTM维护，定时和服务器硬件计数器对齐；硬件保证时钟源稳定度多个GTM节点构成集群，主节点对外提供服务；主备之间通过日志同步时间戳状态，保证GTS核心服务可靠性段页式存储的MVCC是整个并发控制的基础；同时约定：事务的gts_start gts_min并且gts_max没有提交或者gts_start gts_max才能看到对应

8、的事务根据测试推算，TS85服务器每秒能够处理1200万QPS，几乎能满足所有场景需要GTM单点瓶颈问题GTS从哪里来MVCC能力01020304GTS核心要点GTM单点可靠性问题GTM集群CNDNDNCNgts_mingts_maxbalance1-110MVCC原理记录结构数据库节点Select balance;gts(6)Select balance;gts(8)7-15Update balance-=5;gts(7)1710全并行计算能力TBL_A(f1-分布列,f2)TBL_B(f1-分布列,f2)select*from tbl_a,tbl_bwhere tbl_a.f1=tbl_b

9、.f2;TBL_A.f1=TBL_B.f2CNTBL_A.f1=TBL_B.f2X4X3X2X1Y4Y3Y2Y1SSE 2/3 OPTBL_A.f1=TBL_B.f2X4X3X2X1Y4Y3Y2Y1SSE 2/3 OPTBL_A.f1=TBL_B.f2X4X3X2X1Y4Y3Y2Y1SSE 2/3 OPDN1DN2DN3Data Forward Bus集群数据交互总线节点级并行进程级并行SIMD指令级并行节点级并行节点内进程级并行SIMD指令级并行全局索引支持SELECT WHERE NAME=Mike;DN1DN2DN3CN非分布键查询SELECT WHERE NAME=Mike;12DN1

10、DN2DN3CN非分布键查询(全局索引）在非分布键查询的场景下性能大幅度提高，是原有的4倍，接近分布键查询性能。唯一索引，外键等约束之前都是需要在包含分布键，局限性比较大，全局索引可以在保证性能的同时放开约束，更贴近集中式系统。提升非分布键查询性能支持非分布键约束0102特性支持QPSINSERT 单条 INSERT 5条UPDATEDELETESELECT非分布键索引分布键索引全局索引透明压缩数据库内核文件系统-压缩的数据共享内存-解压后的数据origin pagecopressedpageHole落盘压缩读出解压计算引擎存储引擎origin pageorigin pagecopressed

11、page050000000非压缩压缩磁盘占用对比图020000400006000080000非压缩压缩tpmc对比图0%20%40%60%80%非压缩压缩cpu使用对比图压缩结果-时间换空间：1、数据文件磁盘占用率下降70%，压缩率达到30%2、cpu使用率增加20%，tpcc性能下降28%支持CRC循环校验，避免不可预知的数据损坏backendwal日志ShareBuffDiskCRCCRCCRCCRCDisk业务UPDATECRCBlockCRCBlockXlogRecordMaster replicaSlave replicaReadWriteAsync ReadA

12、sync WriteCRC日志同步CRC全面检测机制全路径保护第一时间恢复业务块级别增量修复实时故障探测；定期全量检测；定期采样检测。从数据写入缓存、写入WAL日志、数据刷盘、数据同步，再到数据读取，每个可能扩散环节都有阻断措施，避免故障扩散。检测到故障后，自动主备切换，保证数据正确的情况第一时间恢复业务，在启动异步修复任务；支持从副本或者冷备中恢复。当数据错误/故障被发现后，系统自动发起以块为单位的增量修复，防止副本级修复带来的高时延和高资源消耗。Direct IO服务器dn001磁盘内存dn002cn001Page BufferPage BufferPage Buffer文件系统缓存IOI

13、O服务器dn001磁盘内存dn002cn001Page BufferPage BufferPage BufferDIOIOIOIOIODIODIO1）默认IO会使用文件系统缓存，因为DN/CN本身已经有数据页缓存（Page Buffer），所以两个缓存中可能有大量重复数据2）虽然文件系统缓存占用的内存可以被应用抢占，但回收时可能需要刷脏页等，引起性能波动3）支持Direct IO，可以满足部分时延敏感的长稳测试要求易用性提升内存占用至关重要，用函数返回当前节点的内存总览以及各类内存的使用情况。由CN发出的事务在多个DN下存在多个进程，同一个事务用独有的ID表示，用一个视图展示所有CN、DN上的

14、进程状态。方便管理。提供给前端一个杀死一个会话下所有进程的接口。内存占用视图全局事务视图0102特性支持汇报DN1DN2DN3CN2DN1DN2DN3CN1planplanplan查询查询查询汇报会话ID节点名进程ID状态运行时间会话1CN001100active138会话1DN001100active138会话1DN002100active138会话1DN001101active138会话1DN002101idle-会话2CN002100active55会话2DN001102active55会话3CN001101idle-TDSQL-PG经典用户案例微信支付商户系统案例CNCNCNCNCLB

15、DN1DN2DN3DN4小商户热GROUPDN4DN5DN6DN7DN8DN9大商户热GROUPDN10DN11DN12DN13DN14DN15小商户冷GROUPDN16DN17DN18DN19DN20DN21大商户冷GROUPDN22DN23CN近四个月数据使用高速设备保证性能四个月以前数据使用普通设备降低成本外部某保险案例DN SetCN SetCN（主）CN（备）DN（主）DN（备）只读平面读写平面VIPVIPVPCTDSQL-PG业务读写只读CN（备）DN（备）只读平面CN（备）DN（备）只读平面业务物理格式不一致kafka“no”:“int”,123“name”:“string”:”tony”“job”:“string”:”hairdresser”Logical_toolK2X第七次全国人口普查系统案例互联网用户：面向全国，1亿+用户，通过微信小程序自主填报；高并发：700万+的普查员上班时间同时工作，通过企微小程序进行数据采集；海量数据：15天内完成全国短表数据采集，数据库单表记录20亿+；实时同步：异构库海量数据同步延迟达到分钟级离线模式：在弱网的楼道或无网的山区等地都要能正常使用；业务复杂：每天平台端的统计汇总任务十分繁重且多，一刻不能延缓普查员行为分析人员分布分析其他分析业务简单查询，30W QPS多表join，2W QPS百列宽表，复杂子查询TDSQL-PG