1、深入了解 PostgreSQL 基于 AWS 云端的最佳实践蒋 华AWS 资深合作伙伴解决方案架构师M:|E:议 程 原生 PostgreSQL on AWS 最佳实践 Amazon RDS for PostgreSQL 服务概述及更新介绍 Amazon Aurora PostgreSQL 兼容版架构及核心功能概览 Amazon Redshift（兼容 PostgreSQL 语法）云数据仓库架构概览 数据库迁移及参考资源基于 AWS 云端部署 PostgreSQL 的不同方式借助 AWS 基础架构在 Amazon EC2 上自建 PostgreSQL使用 AWS 的托管服

2、务Amazon RDS for PostgreSQLAmazon Aurora PostgreSQL 兼容版本Amazon Redshift(兼容 PostgreSQL 语法)电力、制冷、网络机架服务器服务操作系统补丁数据库软件补丁数据库备份扩展高可用数据库软件安装操作系统安装应用程序优化本地数据中心云端自建数据库AWS 数据库服务由客户管理由AWS管理电力、制冷、网络机架服务器服务操作系统补丁数据库软件补丁数据库备份扩展高可用数据库软件安装操作系统安装应用程序优化电力、制冷、网络机架服务器服务操作系统补丁数据库软件补丁数据库备份扩展高可用数据库软件安装操作系统安装应用程序优化如何选择部署方式

3、？AWS 数据库（SQL/NoSQL）服务概览关系型键值文档缓存图数据库分类账Amazon NeptuneAmazon RDSAmazonAurora商业开源Amazon ElastiCacheAmazon DynamoDBAmazon DocumentDBAmazon QLDB数据仓库Amazon Redshift支持的主流版本 11.1-11.4 10.1-10.9 9.6.1-9.6.14 9.5.2-9.5.18 9.4.7-9.4.23 9.3.12-9.3.25支持的预览版本 PostgreSQL 12 测试版 1 PostgreSQL 12 测试版 2Amazon RDS for

4、 PostgreSQLhttps:/ RDS 支持的 PostgreSQL 数据库版本Amazon RDS 支持的 PostgreSQL 扩展和模块PostgreSQL 支持很多 PostgreSQL 扩展和模块。扩展和模块针对 PostgreSQL 引擎提供的功能进行了扩展。以下部分说明了 Amazon RDS 针对主要 PostgreSQL 版本支持的扩展和模块。数据库预览环境中 Amazon RDS 上支持的 PostgreSQL 版本 12.x 扩展和模块Amazon RDS 上支持的 PostgreSQL 版本 11.x 扩展和模块Amazon RDS 上支持的 PostgreSQL

5、 版本 10.x 扩展和模块Amazon RDS 上支持的 PostgreSQL 版本 9.6.x 扩展和模块Amazon RDS 上支持的 PostgreSQL 版本 9.5.x 扩展Amazon RDS 上支持的 PostgreSQL 版本 9.4.x 扩展和模块Amazon RDS 上支持的 PostgreSQL 版本 9.3.x 扩展对 Amazon RDS 上 PostGIS 的 PostgreSQL 扩展支持使用 log_fdw 扩展SHOW rds.extensions;rds-postgres-extensions-PrimarySecondaryAmazon RDS 如何确保

6、高可用性（HA）？多可用区配置为生产数据库提供企业级容错解决方案每个数据库主机都使用数据的完整副本来管理一组 Amazon EBS 卷实例由外部监控，以保持对仲裁的共识通过自动化或通过 Amazon RDS API 发起的故障转移通过 DNS 重定向到新的主实例检测基础架构，而不是数据库引擎问题StandbyPrimaryAvailability Zone 1Availability Zone 2AWS RegionApplicationsSynchronous replicationAmazon Route 53Amazon RDS 如何获得读取可伸缩性？使用 Amazon RDS 只读副本

7、增加读取容量缓解源数据库的压力 每个源数据库最多创建 5 个副本 可在 Amazon CloudWatch 或 Amazon RDS 控制台中监控复制滞后时间 支持单区域或跨区域只读副本 无法创建级联只读副本RegionAsynchronous replicationAmazon RDS 如何规划灾难恢复（DR）？Region 1Availability Zone 2Synchronous replicationSynchronous replicationAvailability Zone 3Availability Zone 1Availability Zone 4Region 2Asyn

8、chronous replication 使用跨区域只读副本作为备用数据库，以在发生灾难时进行恢复 可以为只读副本配置多可用区部署，以减少恢复时间Amazon RDS 如何管理备份恢复？TransactionLogsRDSHostAmazon S3ApplicationAmazon EBS VolumeStandbyInstanceAmazon S3Region 1Region 2Availability Zone 1Availability Zone 2Primary instanceAmazon EBS Volume两种选择-自动备份和手动快照Amazon RDS 利用存储在 Amazon

9、 S3 中的 Amazon EBS 快照对于自动备份，事务日志每 5 分钟存储在 Amazon S3 中以支持时间点恢复备份无性能损失，单可用区会暂挂IO快照可以跨区域复制或与其他帐户共享存储应用程序应用程序应用程序SQL事务缓存日志记录SQL事务缓存日志记录SQL事务缓存日志记录SQL事务缓存日志记录SQL事务缓存日志记录SQL事务缓存日志记录存储存储存储存储每种架构都受整体思维方式的限制传统分布式数据库堆栈Amazon Aurora 云原生数据库的核心价值高性能和高可扩展性高可用性和高耐用性高度安全完全托管5 倍于标准 MySQL 的吞吐量3 倍于 PostgreSQL 的吞吐量性能相当而

10、成本仅为商用数据库的1/10可以跨 3 个 AZ,最多 15 个可读副本存储 自增长，单实例可达 64TB可用性高于 99.99%具有容错及自我修复能力跨 3 个AZ 复制 6 个数据副本数据持续备份到 S3实例故障转移 小于30 秒通过 VPC 进行网络级隔离，支持静态存储及传输时加密，集群中的备份、快照和副本自动加密无需担心硬件、软件补丁、设置、配置或备份等数据库管理任务。会自动持续监控并将其备份到 S3，可以实现精细的 时间点恢复兼容 MySQL 和 PostgreSQL 的关系数据库，为云打造。性能和可用性与商用数据库相当，成本只有 1/10。Amazon Aurora 横向扩展、分布

11、式架构MasterReplica读/写共享存储卷只读只读SQL事务缓存SQL事务缓存SQL事务缓存AZ1AZ2AZ3 将 Log 机制推送至存储层 4/6 写入仲裁与本地跟踪 写入性能 读取横向扩展 可用区+1容错机制 即时数据库重做恢复不再需要在性能、可用性与持久性之间做出妥协！AuroraRWPeer Storage NodesCoalesceAmazon Aurora 存储层工作原理Amazon Aurora 更少的写操作Amazon Auroraupdate t set y=6;Block in Memoryt-v1t-v2t-v3AuroraStoraget-v1t-v2t-v3no

12、 checkpoint=no FPWBlock in MemoryPostgreSQLt-v1t-v2t-v3checkpointdatafilet-v1t-v2Full Blockt-v3WALarchive4K4K8Kupdate t set y=6;Amazon RDS for PostgreSQL 只读副本工作原理PostgreSQLRWEBSSnapshot PostgreSQLROEBSupdateAmazon Aurora 只读副本工作原理AuroraRW AuroraROupdateAurora Storageupdate in memoryAmazon Aurora 全局数据

13、库Aurora StorageROApplicationRWApplicationROApplicationAvailability zone 1Availability zone 3Availability zone 2Region ARegion BAurora StorageROApplicationApplicationROApplicationAvailability zone 1Availability zone 3Availability zone 2RORWROApplicationRWApplicationRWReportingApplicationWrite log rec

14、ordsRead blocksAvailability Zone 1Availability Zone 3Availability Zone 2Aurora storagePrimary storageClone storageCloneROApplicationAmazon Aurora PostgreSQL 集群缓存管理RWApplicationROApplicationAsyncInvalidation&UpdateAvailability Zone 1Availability Zone 3Availability Zone 2Aurora storageROROROROapg_ccm_

15、enabled=on050,000100,000150,000200,000250,000300,000350,000400,000060036042048054060066072078084090096001200Transactions per Second(TPS)SecondsPGBench 20X RO/1X RW 160GB Cached-Failover at 600 SecondsBaselineCCM Enabled32 seconds340 secondsAurora Serverless 工作原理WARM POOL OF INS

16、TANCESAPPLICATIONAURORA STORAGEAURORAREQUEST ROUTERDATABASE END-POINTAURORA STORAGE 按需启动，不使用时关闭 自动放大/缩小 扩展时对应用程序没有影响 每秒支付，最少 1 分钟 不常用的应用程序 新应用程序 可变工作负载 不可预测的工作负载 开发和测试数据库 多租户应用程序Aurora Serverless 使用场景Aurora Serverless 伴随工作负载按需动态扩展28050002500300097117719320

17、9225240532854065484556256405721TPSACU高性能易操作和兼容高可用性安全设计吞吐量是PostgreSQL的 2 到 3 倍每个实例高达64 TB的存储减少写抖动准同步副本自定义只读终端节点增强的操作系统监控性能洞察自动扩展存储连续备份和时间点恢复轻松配置/补丁PostgreSQL 的所有功能所有 RDS for PostgreSQL 扩展AWS DMS 支持的入站在不到30秒的时间内进行故障转移客户指定的故障转移顺序多达15个可读的

18、故障转移目标即时崩溃恢复可生存缓冲区缓存跨区域快照副本静态加密（AWS KMS）传输加密（SSL）默认情况下，Amazon VPC行级安全CategoryAmazon RDS PostgreSQLAmazon Aurora PostgreSQLPerformanceGood performance3x or better performanceScalabilityUp to 5 read replicas.Lag in seconds.Up to 15 read replicas.Lag in millisecondsFailoverAround 60 secondsLess than 30

19、 secondsStorageScales up to 64 TB&up to 80k PIOPSPre-provisionScales up to 64 TB&no IOPS limitAuto-scales in 10 GB incrementsHigh AvailabilityMulti-AZ is available，Pay for 2 DB instances&2 copies of storage with MAZWrites 6 copies to 3 AZsPay for DB instances and only 1 copy of storageBackupTakes da

20、ily snapshot during backup window&captures transaction logsContinuous,asynchronous backup to S3(no backup windows)Instance TypesT2,T3,M3,M4,M5,R3,R4,R5T3,R4,R5PricingPay for database instances&storagePay for database instances,IO&storageDatabase Versions 9.3,9.4,9.5,9.6,10,11,12(preview)9.6,10Innova

21、tions with AuroraFast Database CloningAuto-scaling Read ReplicasQuery Plan Management、Parallel Query Serverless Global DatabasePostgreSQLColumnarMPPOLAPAmazon RedshiftLoadUnloadBackupRestore大规模并行、非共享、列存储架构领导节点SQL 终端节点元数据存储协调并行 SQL 处理 计算节点本地、列存储并行执行查询数据加载/卸载、备份/恢复 Spectrum 节点直接针对 S3 执行查询SQL clients/B

22、I tools128GB RAM16TB disk16 coresJDBC/ODBC128gb ram16TB disk16 cores计算节点1128gb ram16TB disk16 cores计算节点2128gb ram16TB disk16 cores计算节点N领导节点Amazon S3.1234NAmazonRedshiftSpectrumLoadQueryAWS Database Migration Service 数据库迁移服务简单易用最少停机时间持续数据复制多数据源支持运行可靠2.关系型数据库1.非关系型数据库3.其他数据源 在停机时间尽可能短的状态下将您的数据库迁移至 AWS

23、 已有超过 180000 个数据库使用 AWS DMS 完成迁移https:/ AuroraAmazon DynamoDBAmazon RedshiftAmazon DocumentDBAmazon RDSAWS Database Migration ServiceAmazon S3何时使用 AWS DMS 数据库迁移服务?迁移迁移关键业务系统从 Classic 网络迁移到 Amazon VPC迁移数据仓库到 Amazon Redshift归档旧数据升级小版本合并多个数据分片到 Amazon Aurora复制数据从而在云端分析数据从 NoSQL 迁移到SQL，或者从 SQL迁移到 NoSQL，

24、或者从 NoSQL 迁移到 NoSQLAmazon S3 Amazon DynamoDBAmazon RedshiftAmazon S3 Amazon Aurora源端目标端Amazon DocumentDBAmazon AuroraAmazon RDSAmazon RDSAmazon Elasticsearch ServiceAmazon KinesisData StreamsAWS DMS 数据库迁移各阶段工作量评估阶段工作描述自动化工具工作量(%)1评估AWS SCT22数据模式转型AWS SCT&AWS DMS143应用程序转换修复AWS SCT254脚本转换AWS SCT75与第三方

25、应用程序集成36数据迁移AWS SCT&AWS DMS47全系统的功能测试298性能调整AWS SCT29集成和部署710培训、知识211文档和版本控制212后期生产支持3步骤 1:转换或复制数据模式源端本地数据中心，Amazon EC2或Amazon RDSAWS SCT原生工具云端数据库或数据仓库步骤 2:迁移数据AWS SCTAWS DMS复制和转换复制数据库数据仓库源端本地数据中心，Amazon EC2或Amazon RDS云端数据库或数据仓库AWS DMS 数据库迁移过程AWS 参考资源AWS 数据库https:/ RDS 用户指南https:/ Aurora 用户指南https:/ Redshift 文档https:/ Database Migration Service 文档https:/