《Fujitsu Enterprise Postgres面向日本市场的一些实践-企业应用专场(19页).pdf》由会员分享,可在线阅读,更多相关《Fujitsu Enterprise Postgres面向日本市场的一些实践-企业应用专场(19页).pdf(19页珍藏版)》请在三个皮匠报告上搜索。
1、Fujitsu Enterprise Postgres 面向日本市场的一些实践关于富士通日本第一的IT服务供应商超级计算机PRIMEHPC FX10PRIMERGYTX120ETERNUSDX8000高端多核处理器SPARC64 VII+FM3 系列(32-bit RISC MCU)FRAM(铁电随机存取记忆体)遍布全球的100+的数据中心智能手机LIFEBOOK平板电脑技术解决方案(Technology Solutions)泛在产品解决方案(Ubiquitous Product Solutions)电子元器件解决方案(Device Solutions)云计算服务系统平台南京大学 富士通=富士
2、通南大创立1999年股份富士通:79%南大:21%员工约1,100 名地点总公司:江苏南京分支机构日本横滨江苏江阴江苏徐州南京富士通南大软件技术有限公司PostgreSQL在日本日本市场的加拉帕戈斯化日本IT市场的历史原因日本PostgreSQL用户会的巨大贡献日本市场:PostgreSQL MySQL代表人物与代表产品富士通与PostgreSQL1994年Postgres95发布1995年SymfoWARE发布1996年PostgreSQL诞生1999年日本PostgreSQL用户会创立FEP发布2016年協賛会協賛会員名員名口数口数SRA OSS,Inc.日本支社様5NEC株式会社様5日本
3、電信電話株式会社様5富士通株式会社様富士通株式会社様5NTT株式会社様3株式会社様2株式会社様1一般社団法人1DB株式会社様1合同会社様1日本株式会社様1PostgreSQL 様1Fujitsu Enterprise PostgresEnterprise Postgres与Oracle的协同/兼容性PostgreSQL 11Application InterfaceECOBPG:PostgreSQL周边工具(OSS)JDBC DriverpsqlODBCNpgsql:Enterprise Postgres强化机能安全性能分区强化并行检索強化SCRAM认证安全既存系统兼容性NCHAR其他DB文法
4、兼容运用管理WebAdmin高可用DB二重化Oracle兼容性性能In-memory全文检索pg_bigmJIT CompileSQL stored procedure灾害对策Audit LogorafcepgAdminoracle_fdwpg_statsinfopg_rman高速Backup高速LoaderReplication强化外部数据协同postgres_fdw、file_fdw协同性高可用安全增强:审计日志UserEnterprise PostgresAudit LogServer LogPostgreSQLDatabaseUserDatabase异步写入Server LogSQL/
5、Command执行审计日志可用于抵御安全威胁,例如欺骗,未经授权访问数据库,应用程序操作以及滥用权限Enterprise PostgresCommunity版本 以Server Log代替审计日志 无法设置适合于审计日志的访问权限 Object名、Schema名等审计分析所需的情报未能输出 审计日志单独输出 可以灵活设定审计日志的访问权限和生命周期 可以输出Connection、SQL文执行结果等审计分析所需情报没有审计日志的功能,查找分析困难搭载了利于进行审计分析的审计日志SQL/Command 执行安全增强:审计日志AUDIT:SESSION,READ,2018-11-28 10:48:1
6、9 JST,192.0.2.0,34916,psql,fepuser,postgres,3/7,5,1,SELECT,TABLE,public.account,SELECT*FROM account WHERE age=40;,例1审计对象象FEP输出情出情报什么时候SQL文执行时间2018-11-28 10:48:19 JST谁连接user名fepuser从什么地方Application名psqlProcess ID34916Host名或者IP地址192.0.2.0审计对象象FEP输出情出情报针对什么Database名postgresObject种类TABLEObject名public.ac
7、count做了什么SQL种类SELECTSQLSELECT*FROM account WHERE age=40执行结果SQLSTATE无Error Message无例2可疑的访问时间可疑的访问地址SQLSTATE 00000 连接成功性能增强1:In-Memory功能同时支持行式数据和列式数据,支持OLAP业务的实时快速处理以及情报的实时活用 利用VCI专用的共享内存进行大规模数据的聚合处理,以避免对既存OLTP业务的影响 将列式数据同步至磁盘,即使数据库业务重启,仍然能够保持稳定的处理性能 访问行式数据还是列式数据由DB自动判断,作为应用端无需意识两者的差异性能增强1:In-Memory功能
8、WOS与ROS的分离WOS与ROS数据的组合性能增强2:并行检索在PostgreSQL的并行检索的基础上,可以自动选择最合适的并行数。通过防止资源冲突以提供稳定的性能,更有效率地执行定期的集约处理和批处理任务等Enterprise PostgresCommunity版本 对于顺序扫描、结合、统计处理可以使用多个CPU核心进行并行处理 根据表容量和处理成本等因素决定并行数 在并行检索的基础上,根据系统全体的CPU核心使用状况,决定合适的并行数 减少因过度的并行检索导致的性能低下占有CPU核心后续的处理阻塞Transaction1的处理时间虽然变长了但是全体处理的时间进行了优化、缩短时间时间CPU
9、核心有空闲,并行地开始Transaction2的执行高可用增强1:WAL二重化PostgreSQL预写日志WAL无多副本,当磁盘发生故障时,数据就会丢失。FEP通过复制WAL,避免了这一情况。Enterprise PostgresCommunity版本 在某些场景下,已经Commit的Transaction无法恢复 可以恢复至最新的Commit完了的TransactionDatabaseBackup定期备份DataRecoveryData更新更新日志Disk损坏Disk1Disk2Archive LogDatabaseBackup定期备份最新DataArchive Log更新日志Recover
10、yData更新同步写入更新日志Disk损坏Disk2Disk1高可用增强2:DB二重化通过数据库的复制,在数据库系统发生异常时自动切换以维持业务的继续运行Primary Server的数据同步复制到Standby ServerPrimary Server和Standby Server相互监视运行和磁盘的状况在网络出现故障无法相互监视时,由仲裁服务器确认状态,实现自动切换Recovery时无需暂停业务Primary Server同步反应Standby ServerPrimary Server发生异常时自动切换以维持业务继续运行DataData仲裁服务器相互监视监视监视高可用增强3:灾害对策强化遭
11、遇大范围灾害时的业务可持续性。通过确保Log的同步顺序保证Replication的继续,以及业务的稳定持续。通过保证运用Centre的Standby Server和灾备Centre的Primary候补Server间的Log同步顺序,防止出现灾害时,灾备Centre的Log被先行同步Fail-over发生以后,可以继续和灾备Centre保持复制,确保业务的持续Enterprise PostgresCommunity版本运用CentreStandby ServerDatabase复制灾备CentrePrimary候补Server更新业务异步Fail-over同步Primary Server切换运用
12、中止相比Standby ServerLog已经先行同步需要回滚Data更新AAZZaazz使用Logaa使用Logzz运用CentreStandby ServerDatabase复制灾备CenterPrimary候补Server更新业务异步Fail-over同步Replication继续切换运用继续不会比Standby Server先行同步LogData更新AAZZ使用Logaa使用LogaaPrimary Serveraazz运用管理增强1:WebAdmin提供WebAdmin GUI管理工具,提高从数据库的导入到运用管理的全阶段的作业效率WebAdmin:Streaming Replica
13、tion运用监视WebAdmin Setup Streaming Replication Cluster的作成和监视 Database Backup/Recovery运用管理增强2:高速Loader根据内核数量和CPU的使用状况,使用尽可能多的并行进程加载大量数据该实用程序将数据从输入文件发送到多个并行工作程序,每个工作程序将同时执行数据转换,表创建和索引创建运用管理增强3:高速Backup通过备份文件的分散存储和存储设备的差分复制功能,对TB以上级别文件进行快速备份Database的更新量只占到全体的10%时,Backup速度达到10倍(实际测试结果)Enterprise PostgresCommunity版本Table SpaceBackup每次都针对全数据进行复制备份到一个文件DB ClusterDB ClusterTable Space存储产品的差分复制功能只对差分部分进行高速复制备份到多块磁盘Backup运用案例