1、PolarDB存储原理与实践阿里云数据库产品事业部-PolarDB基础设施朱元(圆珠)PolarDB存储原理简介 P Po ol la ar rD DB B存存储储的的基基本本工工作作原原理理 PolarDB存储实践 PolarFS的部署 基于SAN存储的部署 基于NBD存储的部署 基于阿里云共享存储的部署分享内容基于共享存储的PolarDB共享存储架构下的计算层修改:缓存同步PolarFS:PolarDB的文件系统PolarFS的元数据结构PolarFS的元数据分布式同步PolarDB和PolarFS的缓存同步分工 PolarDB存储原理简介 PolarDB存储的基本工作原理 PolarDB
2、存储实践 P Po ol la ar rF FS S的的部部署署 SAN存储的部署 NBD存储的部署 基基于于阿阿里里云云共共享享存存储储的的部部署署存储实践PolarFS的编译和安装1.编译 https:/ 下载源码 准备需要的第三方库(libaio,libzlog)./autobuild.sh2.安装 sudo./install.sh 会生成二进制工具p pf fs s(支持以类似busy-box的形态执行gnu-util的部分文件系统命令)和文件系统服务p pf fs s_ _d da ae emmo on n sudo pfs mkfs 进行磁盘格式化 格式化后可以使用ls,mkdir
3、等命令进行操作(不支持相对路径)PolarFS bash工具使用示例PolarDB postgresql 实际文件示例14PolarFS bash工具命令支持一览PolarFS 部署形态l https:/ 开源项目地址l https:/ 开源项目预编译rpm包l https:/ 安装部署中文文档期待您的参与和建议 PolarDB存储原理简介 PolarDB存储的基本工作原理 PolarDB存储实践 PolarFS的部署 S SA AN N存存储储的的部部署署 NBD存储的部署 基基于于阿阿里里云云共共享享存存储储的的部部署署存储实践(二)基于光纤或以太交换网络的SAN1.SAN网络初始化 fc
4、 san由hba卡自动完成 ip san需要手工建立网络连接iscsiadm-m discovery-p$target_ip-t stiscsiadm-m node-l-p$target_ip2.在计算主机上扫描linux块设备echo-/sys/class/fc_host/$host/scanSAN on linux 部署块设备注册与发现完成1.安装yum y install device-mapper device-mapper-multipath2.可以通过dmsetup 把多块san物理盘合并成一个linux逻辑块设备来使用。Polarfs支持以10GB为单位(chunk)管理设备,不
5、能被10GB整除的剩余空间部分无法使用。3.可以在/etc/multipath.conf中配置通过存储网络访问磁盘的路径负载均衡。管理存储访问存储示例1.磁盘合并2.访问磁盘路径负载均衡1.在SAN存储上利用厂商软件扩容,或者把新增的盘合并到旧盘2.每台主机上的块设备上感知扩容结果echo 1 /sys/block/sdx/device/rescan3.文件系统格式化扩容区域pfs-C disk growfs-o 1-n 3 sdx 在RW主机上执行4.用户态文件系统感知扩容区域在每一个数据库中调用 pfsd_growfs(“sdx”),先RO最后RW。扩容流程已有部分用户案例 中国人寿保险公
6、司 深圳边检 PolarDB存储原理简介 PolarDB存储的基本工作原理 PolarDB存储实践 PolarFS的部署 SAN存储的部署 N NB BD D存存储储的的部部署署 基基于于阿阿里里云云共共享享存存储储的的部部署署存储实践(三)计算节点之间通过tcp/ip网络共享块设备NBD的概念NBD的服务端部署NBD的客户端部署(一)NBD的客户端部署(二)PolarDB存储原理简介 PolarDB存储的基本工作原理 PolarDB存储实践 PolarFS的部署 SAN存储的部署 N NB BD D存存储储的的部部署署 基基于于阿阿里里云云共共享享存存储储的的部部署署存储实践(三)云上共享存储:Polarstore阿里云控制台直接购买PolarDB:PolarDB-M(5.6/5.7/8.0)PolarDB-PG(11)PolarDB-Oracle兼容THANKS谢谢观看