1、阿里云RDS PostgreSQL内核技术分享阿里云智能数据库高级技术专家 王欢阿里云蝉联Gartner全球数据库领导者象限总总纲纲介绍RDS PostgreSQL 解决用户痛点问题的方案思考和技术细节1.Logical Replication Slot Failover2.高并发场景审计日志（log_statement=all）优化3.智能索引推荐4.一键大版本升级5.SGX全加密数据库L Lo og gi ic ca al l R Re ep pl li ic ca at ti io on n S Sl lo ot t F Fa ai il lo ov ve er r 问问题题背背景景 R

2、eplication Slot 不会被复制到备库 HA后，Slot丢失，逻辑订阅中断 重新创建Logical Slot 导致部分增量丢失 Create Logical Slot 无法指定lsn主库备库slotslot is not synced解解决决方方案案slot create/drop/update 通过复制协议同步到备库难点 兼容性：WAL日志类型选用RM_XLOG_ID，新增1种 XLOG infoRM_XLOG_ID xlog_redo()对新增info处理保守 不认识的info，直接丢弃，不会FATAL。对用户自建replica、wal生态工具全兼容改改进进效效果果 s sl l

3、o ot t信信息息从从主主库库实实时时同同步步到到备备库库主库备库总总纲纲介绍RDS PostgreSQL 解决用户痛点问题的方案思考和技术细节1.Logical Replication Slot Failover2.高并发场景审计日志（log_statement=all）优化3.智能索引推荐4.一键大版本升级5.SGX全加密数据库高高并并发发场场景景审审计计日日志志（l lo og g_ _s st ta at te em me en nt t=a al ll l）优优化化背景：log_statement=all 所有执行过的SQL写入日志高安全要求业务：对所有SQL进行安全审计是强需求

4、问问题题1 1 高高并并发发时时性性能能下下降降16C64GB实例TPC-B只读 scale=100审计日志开启，在高并发时性能严重下降050000020000025000011664128高并发时性能下降审计日志关闭(log_statement=none)审计日志开启(log_statement=all)QPSactive conn问问题题2 2 高高并并发发时时S Sy ys sC Cp pu u高高 SysCpu高：高并发时，SysCpu 飙升到实例Cpu阈值的80+%。实例雪崩风险。问问题题原原因因分分析析 PG日志模型：backend进程向同一个pipe管道写入

5、日志SysCpu高：高并发pipe_write()带来的严重锁争抢backendbackendbackendbackendpipe管道syslogger优优化化 -高高并并发发p pi ip pe e_ _w wr ri it te e()带带来来的的严严重重锁锁争争抢抢方案：auditlog 从pipe管道旁路出去拆分单个日志文件到2个日志文件：syslog、auditlog；原有通过pipe传输syslog保持不变，新增通过 socketpair 来传输 auditlog；单个syslogger进程改为多个syslogger进程；加大缓冲区，采用全缓冲+定时的方式进行日志下刷，减少磁盘IO

6、次数；backendbackendbackendbackendpipe管道sysloggersyslogaudit logunix socket 1audit logunix socket 2syslogger1audit logsyslogger2优优化化效效果果050000020000025000011664128高并发时性能下降审计日志关闭(log_statement=none)审计日志开启(log_statement=all)-优化前审计日志开启(log_statement=all)-优化后审审计计日日志志优优化化后，性能与审计日志关闭时性能持平同时消除了SysC

7、pu高问题QPSactive conn总总纲纲介绍RDS PostgreSQL 解决用户痛点问题的方案思考和技术细节1.Logical Replication Slot Failover2.高并发场景审计日志（log_statement=all）优化3.智能索引推荐4.一键大版本升级5.SGX全加密数据库P Po os st tg gr re eS SQ QL L 索索引引推推荐荐现现状状社区 PostgreSQL 没有集成索引推荐能力开源插件：索引推荐 pg_idx_advisor，作者cohenjo，2014年废弃开源插件：索引推荐 pg_adviser，作者gurjeet，2010年废弃

8、开源插件：虚拟索引 hypopg 如火如荼，与索引推荐还有距离EDB Postgres Advanced Server：Index Advisor，比较成熟，闭源R RD DS S P Po os st tg gr re eS SQ QL L 智智能能索索引引推推荐荐 方方案案PostgreSQL 提供的基础设施 基于代价的优化器 What-If能力，优化器具有假设某些索引存在，并估算出SQL执行代价的能力。扩展能力：planner_hook方案：通过分析SQL，枚举可能的索引组合，并通过优化器What-If的能力，选出其中收益最高的索引组合推荐给用户R RD DS S P Po os st

9、tg gr re eS SQ QL L智智能能索索引引推推荐荐 步步骤骤分分解解分析 Indexable Column 分析出SQL中哪些列可以利用索引，例如:Where条件中的=,between,in等列 Order By的排序列 Group By的聚合列，MIN，MAX函数列 Join的Condition等值条件列构建 Candidate Index 从Indexable Column中构建出所有可能的Candidate Index Candidate Index包含组合索引，会根据一些规则裁剪掉部分组合索引选选择择最最优优，优优化化器器What-If能能力力 优化器通过What-If能力

10、将index_adviser中枚举到的Candidate Index逐一评估并获取SQL的执行代价。最终选择出使得SQL执行代价最低的Candidate IndexR RD DS S P Po os st tg gr re eS SQ QL L智智能能索索引引推推荐荐 具具体体实实现现插件化planner_hookplanner_hookR RD DS S P Po os st tg gr re eS SQ QL L智智能能索索引引推推荐荐 w wo or rk kl lo oa ad d负负载载SQL1权重1SQL1索引推荐结果SQL2权重2SQL2索引推荐结果SQL3权重3SQL3索引推荐

11、结果针对负载SQL集合，推荐全局级别的最佳索引集合workload级别最佳索引集合：索引1索引2索引Nworkload级别组合分析，选择workload级别最小cost索引集合 R RD DS S P Po os st tg gr re eS SQ QL L智智能能索索引引推推荐荐 业业界界领领先先索引推荐能力where条件/joingroup by/order by组合索引join组合索引子查询组合索引阿里云RDS PostgreSQL表达式组合索引EDB Postgres Advanced Server国内/国际友商PostgreSQL最左匹配R RD DS S P Po os st tg

12、 gr re eS SQ QL L智智能能索索引引推推荐荐 产产品品化化 2022年1月中旬，发布上线。当前只支持btree索引，hash、brin、gin、gist等索引还在研发中。总总纲纲介绍RDS PostgreSQL 解决用户痛点问题的方案思考和技术细节1.Logical Replication Slot Failover2.高并发场景审计日志（log_statement=all）优化3.智能索引推荐4.一键大版本升级5.SGX全加密数据库大版本升级-设计原则1234验证回滚限制要少一键升级平滑割接拒绝升级手册一键升级：一键产品化能力插件兼容性适配可验证、可回滚版本回滚：大版本回滚DN

13、S地址：连接串回滚可验证:高版本可验证能力场景全覆盖应用不停服零宕机DDL限制表结构限制数据类型限制版本全系覆盖一键升级产品化升级过程应用不停服升级过程速度快连接地址平滑割接PG9.4 PG14，每个大版本都提升巨大。大版本升级-方案选择123方案与选择2.pg_upgrade 优点:不拷贝数据,仅元数据升级效率高,2TB数据,升级、=、=、=、=、=、=、=、=、=、=、=、=、=、!=q 数据不可见（安全性高）客户端加密数据，全程处理密文q 数据可处理（功能全）密文上支持数据库原生SQL能力 索引、范围查询与原生一致q支持单列加密R RD DS S P Po os st tg gr re eS SQ QL L 其其他他特特性性介介绍绍功能增强 PG14 全网发布 Ganos时空数据引擎插件 PASE插件，支持512维的高维向量搜索安全加固 基于Intel SGX的加密数据库 SSL链路加密 AD域控、LADP访问控制易用性 基于物理复制的一键上云 秒级全量备份 一键告警模板设置 实例监控新增80个秒级指标THANKS谢谢观看