1、数数据据与与大大象象共共舞舞PostgreSQL在在专专网网领领域域的的过过去去、现现在在和和将将来来嘉嘉宾宾:崔崔鹏鹏公公司司:海能达(深圳)通信股份有限公司邮邮箱箱:个个人人简简介介海能达PostgreSQL高级DBA 2020年度开源数据库最佳翻译奖2021年度中国PostgreSQL最具价值专家MVP2021年度开源数据库杰出贡献奖主要负责海能达数据库中间件开发、数据库运维自动化平台开发、生产数据库运维工作、数据库迁移等工作。长期带领海能达DBA团队参与PG中文社区外文翻译工作。目目录录/CONTENTS过过去去-专专网网与与大大象象结结缘缘之之始始1现现在在-专专网网之之大大象象时时

2、序序、高高可可用用、分分布布式式2将将来来-基基于于大大象象的的融融合合数数据据库库架架构构3缘缘始始于于去去O、M-O、M时时代代的的痛痛点点01040203成本高昂开源协议风险运维成本较高使用欠缺灵活度缘缘始始于于去去O、M-业业务务诉诉求求序序号号需需求求1数据库稳定性2数据安全性加密3数据库高可用性4数据库软件成本5丰富的功能扩展性缘缘始始于于去去O、M-过过去去到到现现在在缘缘深深于于PG之之强强-Why choose PostgreSQL？序序号号功功能能1多副本同步复制.2丰富的安全控制机制.3丰富的外部扩展支持.4完善的SQL标准支持.5FDW外部表支持.6维护和使用成本低.7

3、全文检索.8空间数据库.9活跃的社区支持.缘缘深深于于PG之之强强-P、V、OPostgreSQL产产品品特特性性1 标准通用：实用、高效的通用数据库管理系统。2 简便易用：图形化交互式管理工具。3 海量存储：强大的大规模数据存储与管理能力。4 数据安全：较高的安全性。5 跨越平台：平台无关性，适用于不同操作系统。6 标准接口：标准化应用接口。7 支持数据库核心功能,完全支持ACID四大特性。8 使用、维护成本较低,协议自由度高。缘缘深深于于PG之之强强-P、V、O跨跨平平台台能能力力MySQL、PostgreSQL、Oracle都支持多种平台,这是一种软件的兼容能力，主要包括2个方面，一是向

4、上兼容(软件的支持)，二是向下兼容(软件的依赖)。编编程程语语言言支持编程语言访问数据库，如支持Java使用JDBC访问数据库，支持C/C+使用ODBC访问数据库.MySQL、PostgreSQL、Oracle都支持多种数据库驱动程序来访问数据库。中中间间件件 典型如Tomcat、Weblogic等中间件，通常需要和数据库密切配合，实现一些特定的高效的功能。硬硬件件平平台台支持各种架构的CPU。操操作作系系统统平平台台缘缘深深于于PG之之强强-P、V、O开源协议对比 PostgreSQL VS MySQLPostgreSQL许可是一种自由的开源许可，与BSD或MIT许可证类似。MySQL被Or

5、acle所控制，MySQL同时使用了GPL和一种商业许可（称为双重许可）。同为开源软件，PostgreSQL源码使用自由友好、商业应用不受任何公司实体所控制，而MySQL则在一定程度上有所限制。缘缘长长久久于于PG之之发发展展-V10新新特特性性1.原生分区（内置分区）：PostgreSQL 10 中将内置分区表功能，依旧使用了继承的特性，但不需要手工写规则了，全部由系统处理。2.并行增强：包括并行合并连接、并行索引扫描、并行位图扫描、收集合并等等。3.连接和聚合下推：在外部表上做 aggregates 操作时，10 版本之前的处理过程是先将远程库的数据全部取到本地库，之后在本地库上 aggr

6、egates 操作，10 版本后部分 aggregates 操作可下推到远程库，这大幅减少了远程库传到本地库的数据量，并让聚合计算从请求服务器抽离。4.更快的分析查询。5.复制相关逻辑复制：可复制指定的表，或是进行复制方式的升级同步复制的优选提交：确保多节点时数据的可靠性和性能临时 replication slots：在会话结束时自动删除故障切换：自动连接到列表中第一个可用的主机可追踪提交物理复制：改进两阶段提交的 replay 性能6.管理对 pg_receivewal 的压缩支持。pg_stat_activity 后台进程显示：包括辅助进程、工作进程、WAL 发件人等。缘缘长长久久于于PG

7、之之发发展展-V12新新特特性性12 版本的典型新特性如下:支持 SQL/JSON path支持 Generated ColumnsCTE 支持 Inlined With Queries新增 Pluggable Table Storage Interface分区表性能大辐提升在线重建索引(Reindex Concurrently)12 版本新功能主要包括 JSON path queries、Generated Columns、Pluggable Table Storage Interface，如下:PostgreSQL 12:支持 SQL/JSON path 特性PostgreSQL 12:支

8、持 Generated Columns 特性PostgreSQL 12:新增 Pluggable Table Storage Interface备份复制相关备份、复制相关变化较大，包括配置文件的变化、新增流复制备库激活方式、max_wal_senders连接数变化等，如下:PostgreSQL 12:Recovery.conf 文件参数合并到 postgresql.confPostgreSQL 12:新增 pg_promote()函数用于激活备库(流复制主备切换)PostgreSQL 12:COPY FROM 命令支持 WHERE 过滤条件PostgreSQL 12:max_wal_sende

9、rs 连接数从 max_connections 剥离监控相关监控方面主要体现在支持在线重建索引、新增 pg_stat_progress_create_index 视图监控索引创建进度、新增 log_statement_sample_rate 参数控制数据库日志中慢SQL百分比等，如下:PostgreSQL 12:支持在线重建索引(Reindex Concurrently)缘缘长长久久于于PG之之发发展展-V14新新特特性性PostgreSQL 14这个版本对大量的数据库链接时的事务吞吐量有了很大的改进，不光是事务在活动状态，在空闲状态也包括在内。PostgreSQL 14减少了B-树索引的资源

10、消耗，包括频繁更新索引导致的表膨胀。Gist索引可以在构建过程中预先排序数据，可以更快的创建而且减少索引打小。SP-GIST支持覆盖索引，可以使用INCLUDE子句索引增加不可搜索的额外字段。PostgreSQL 14增加了许多并行查询功能，出了对并行熟悉顺序扫码的整体性能提升之外，PL/pgSQL 中的 RETURN QUERY 指定现在可以并行执行，REFRESH MATERIALIZED VIEW 命令也可以使用并行查询。PostgreSQL 14 还增加了使用 FDW 查询远程数据库时的并行执行功能。对于 PostgreSQL 外部数据封装器 postgres_fdw，当设置了 asy

11、nc_capable 标识时可以使用并行查询。postgres_fdw 还支持批量插入，使用 IMPORT FOREIGN SCHEMA 命令导入表分区，以及外部表上的 TRUNCATE 命令。该版本还改进了分区系统，包括更新或删除数据行影响很少分区时的性能提升。PostgreSQL 14 可以使用 ALTER TABLE DETACH PARTITION CONCURRENTLY 命令以非阻塞的方式卸载分区。上个版本引入的增量排序功能在 PostgreSQL 14 中可以用于窗口函数。该版本增强了扩展统计的范围，可以支持表达式的扩展统计。几十年来，PostgreSQL 一直支持“超大字段”的

12、压缩存储（TOAST 技术），新版本增加了使用 LZ4 算法压缩字段的功能。目目录录/CONTENTS过过去去-专专网网与与大大象象结结缘缘之之始始1现现在在-专专网网之之大大象象时时序序、高高可可用用、分分布布式式2将将来来-基基于于大大象象的的融融合合数数据据库库架架构构3基基础础平平台台整整合合、对对数数据据存存储储的的需需求求OLTP&高高可可用用&同同步步复复制制 需需求求P-PoC 3000/HyTalk运运营营PoCPoC 6000/HyTalk Pro宽宽窄窄融融合合市市场场PoC 9000/HyTalk MCMVNO/LTE专专网网市市场场基基础础平平台台整整合合、对对数数据

13、据存存储储的的需需求求HTAP&灵灵活活扩扩展展需需求求基基础础平平台台整整合合、对对数数据据存存储储的的需需求求高高可可用用性性需需求求业业务务需需求求需需求求转转化化PGHA of 专专网网专专网网通通信信业业务务PostgreSQL高高可可用用需需求求背背景景PGHA of 专专网网主主流流开开源源PostgreSQL高高可可用用方方案案PGHA of 专专网网专专网网通通信信业业务务PostgreSQL高高可可用用选选型型-PatroniPGHA of 专专网网专专网网通通信信业业务务PostgreSQL高高可可用用选选型型-DCS三三种种DCS软软件件各各有有优优缺缺点点,由由于于整

14、整体体业业务务基基础础架架构构使使用用K8S+etcd做做微微服服务务容容器器管管理理,故故选选择择etcd。PGHA of 专专网网应应用用如如何何连连接接数数据据库库集集群群？Pgbouncer/Pgpool/Haproxy/VIP/DNS/JDBC或其它语言支持连接层配置多IP地址。jdbc:postgresql:/node1,node2,node3/accounting?targetServerType=masterJDBC 配配置置多多IP地地址址 Leader Key变变化化订订阅阅etcd中中的的Leader Key变变化化 同中心提供虚拟机访问方式,patroni的callba

15、ck脚本VIPPGHA of 专专网网1.主从切换,升级场景,升级备库后,将未升级主库降级成备库后升级。2.新增从节点,提高读吞吐量。3.硬件维护升级场景,从急群中移出Patroni管理的从节点。4.数据库计划内停机维护,patroni整体拉维护。Pause/resume计计划划内内停停机机PGHA of 专专网网计计划划外外-故故障障切切换换1.主库实例Crash2.主从复制网络问3.从库实例Crash4.DCS软件(etcd)异TimescaleDB of 专专网网专网对时序型数据库的需求1.关系型数据模型2.SQL查询语言3.企业级可用性4.完善的社区支持5.协议商用无法律风险6.GIS

16、空间数据支持。TimescaleDB of 专专网网TimescaleDB of 专专网网TimescaleDB与其它时序数据库对比分析TimescaleDB 具有以下特点1.基于时序优化2.自动分片（自动按时间、空间分片(chunk)）3.全 SQL 接口4.支持垂直于横向扩展5.支持 时间维度6.支持多个 SERVER，多个 CHUNK 的并行查询。分区在 TimescaleDB 中被称为 chunk。7.自动调整 CHUNK 的大小8.内部写优化（批量提交、内存索引、事务支持、数据倒灌）。内存索引，因为 比较适中，所以索引基本上都不会被交换出去，写性能比较好。数据倒灌，因为有些传感器的数

17、据可能写入延迟，导致需要写以前的 chunk，timescaleDB 允许这样的事情发生(可配置)。9.复杂查询优化（根据查询条件自动选择 chunk，最近值获取优化(最小化的扫描,类似递归收敛)，limit 子句 pushdown 到不同的 server,chunks，并行的聚合操作）10.利用已有的 PostgreSQL 特性（支持 GIS，JOIN 等），方便的管理（流复制、PITR）11.支持自动的按时间保留策略（自动删除过旧数据）基基于于FDW的的异异构构数数据据源源打打通通跨跨地地域域,数数据据对对接接1.部部2.省省3.市市4.区区、县县基基于于FDW的的异异构构数数据据源源打打

18、通通跨跨数数据据源源,数数据据对对接接1.Oracle2.MySQL3.PostgreSQL4.其其它它基基于于FDW的的异异构构数数据据源源打打通通数数据据对对接接方方式式演演进进数据孤岛服务对接FDW目目录录/CONTENTS过过去去-专专网网与与大大象象结结缘缘之之始始1现现在在-专专网网之之大大象象时时序序、高高可可用用、分分布布式式2将将来来-基基于于大大象象的的融融合合数数据据库库架架构构3多多元元融融合合数数据据存存储储层层需需求求1.PostgreSQL2.国产信创DB3.时序型数据库(免费与商用并存)4.大数据离线分析平平台台融融合合、业业务务架架构构融融合合、数数据据存存储储融融合合 多多元元融融合合架架构构