1、Postgres基于持久内存的优化探索中兴通讯中心研究院 陈小强PM介绍01目录Contents适配方案和测试结果02进一步探索和挑战03不同不同NVM存储器件和存储器件和DRAM关键性能关键性能对比对比非易失性存储PM的出现必将改变现有存储结构，优化数据访问关键路径。PM不同不同NVM存储器件和存储器件和DRAM关键性能关键性能对比对比NVM是一种快速、可字节寻址、持久、大容量、读写不对称、寿命有限的新型存储硬件lMemory Mode：在：在Bios里设置，即可将里设置，即可将PM作作 为大容量易失性内存使用，无缝地为传统应用为大容量易失性内存使用，无缝地为传统应用 程序提供了实惠的大容量

2、内存程序提供了实惠的大容量内存存储网络工业协会存储网络工业协会(SNIA)发布的编程模型发布的编程模型read/writeread/writememory-mapped filememory-mapped filePMDK(libpmem)PMDK(libpmem)OpenOpenfd=open(path,flags,mode);fd=open(path,flags,mode);paddr=pmem_map_file(path,size,flag,mode,&mapped_len,NULL);AllocateAllocate -ret=posix_fallocate(fd,offset,len

3、);MapMap -paddr=mmap(NULL,len,prot,flags,fd,-1);WriteWriteret=write(fd,buff,count);memcpy(paddr,buff,count);pmem_memcpy_nodrain(paddr,buff,count);FlushFlush -for(i=0;iPmemFileOpen-PmemFileOpenPerm-pmem_map_file2、写WAL Log：PmemFileWrite-pmem_memcpy_nodrain3、刷新WAL log：PmemFileSync-pmem_drain4、读WAL log：

4、PmemFileRead-memcpy5、关闭WAL文件：PmemFileClose-pmem_unmap6、文件描述符结构中增加与PM相关的长度和map地址两个属性7、新增加配置项的处理：增加PM路径配置项、wal_sync_method增加pmem_drain方法1、源文件修改:xlog.c、fd.c、timeline.c、guc.c等C文件及对应.h文件。涉及文件生成、初始化、读写以及读配置文件中新增内容2、autotools工具链相关：configure.in、pg_config.h.in、postgresql.conf.sample2、Makefile等文件。涉及增加libpem库的

5、链接、新增配置项处理、增加是否使用PM的宏定义修改内容修改内容涉及文件涉及文件测试组网和场景测试组网和场景测试组网测试组网数据库服务器网络客户端wal_sync_methodfdatasyncpmem_drainPG 10.6原生基于pmdk挂载方式Ext4Ext4(DAX enabled)PGDATASSD挂载到AEPCPUIntel(R)Xeon(R)Gold 6240L CPU 2.60GHz 2MEMORY16GB 266612AEPINTEL OPTANE DC 512 GB PERSISTENT MEMORY MODULE 512G 12ATA HARD DRIVE512GB SS

6、D M.2 SATA 3.0 6Gb/s Intel Liberty Harbor SSDSCKKI512G801 DC S31101测试场景测试场景测试设备测试设备SELECT场景下采用PM对性能提升不明显。原因在于基于pmdk的修改只针对WAL日志的读写，而SELECT不产生WAL日志随机单条INSERT相对SSD提升5倍左右随机等值UPDATE，相对SSD提升4-5倍随机单条等值DELETE相对于SSD性能提升6-8倍PM介绍01目录Contents适配方案和测试结果02进一步探索和挑战03memorydata/index/WAL bufferTrascation ProcessingB

7、gWriterCheckPointWalWriterxlog recordtable index table index memory map filePMDKStorage(PM)data/index fileWAL file进一步探索方案,其特点：1、数据、索引、CLog、WAL buffer 直接放在PM中，绕过共享内存2、数据、索引、CLog、WAL buffer按字节寻址PM,没有磁盘或SSD的I/O3、性能进一步提升：不再写共享内存，直接写PM，PM写性能比内存略低，并且是持久化的，因此性能几乎和异步提交性能相同，同时一致性保障和同步提交类似 4、减少写放大，WAL Log块刷新时尾部块在提交时只写一次热点数据缓存共享内存(锁等)现有方案的局限：1、仅WAL buffer适配PM，数据、索引、CLOG、临时文件等未适配PM2、WAL buffer按页读写PM，没有利用PM按字节寻址新特性，导致WAL log 块每次提交时都要写