《专场10.4-云原生数据库 PieCloudDB eMPP架构设计与实现-郭罡(脱敏版).pdf》由会员分享,可在线阅读,更多相关《专场10.4-云原生数据库 PieCloudDB eMPP架构设计与实现-郭罡(脱敏版).pdf(31页珍藏版)》请在三个皮匠报告上搜索。
1、云原数据库 PieCloudDB eMPP架构设计与实现郭罡 拓数派CTO关于拓数派(OpenPie)成于2021年,以“Data Computing for New Discoveries”数据计算,只为新发现为使命。现Pre-A轮融资,已完成数亿元融资。核团队来于各名校,有丰富的数据库(Greenplum,DB2,ClickHouse等)研发和商务经验。核产品 PieCloudDB 1.0版本已于 2022.10.24 发布。产品已经在些融、医疗等业开始使。关于我 毕业于中国科技学,AI相关专业 毕业 1 年后到现在直从事底层基础软件开发,10多年开发经验 领域涉及到:代码级/算法级/系统
2、级性能优化 Linux/Unix内核和系统开发、虚拟化(芯KVM持实现)和云计算架构、速络开发(内核和应层如DPDK)分布式系统(SQL/NoSQL/存储)最近 7+年直从事开源分布式数据库开发一个eMPP 云原生分布式SQL数据库一个云原生实时大数据平台基座愿景:安全可靠 使用简单 功能齐全 性能极致传统分布式MPPMPP架构痛点缺乏弹性业务使用不灵活成本高昂集群固定,资源利用率低木桶效应扩缩容难数据孤岛元数据和用户数据跨集群访问困难运维成本运维和DBA我们需要一个云原生数据库云解决了什么?借助于云上分布式存储,解耦存储借助于虚拟化技术和之上的IaaS,解耦计算池化资源,按需使用基础软件尤其
3、是数据库软件上云已是大势所趋用户专注于使用,其他事情交给IaaS/SaaS厂商上云 云原生计算&存储弹性智能化云原生平台多租户隔离存储资源和计算资源:分离和隔离资源伸缩快速简单计算、存储:按需付费智能管理,复杂交给*aaS厂商PieCloudDBPieCloudDB重要特点eMPPACID;完备的事务支持(隔离级别:RR,RC)完善的SQL标准支持安全可靠友好的用户接口(websql,ODBC/JDBC driver等).云原生 云中立弹性计算资源(横向纵向)、极速调整多集群是另外一个弹性的维度共享用户数据(如按需付费的对象存储)共享元数据MPP架构:分布式,海量数据并行处理e代表弹性(ela
4、stic)完善的Postgres生态为什么选择Postgres?关于Postgres 公司中,开源协议友好,国际流程准的先进开源数据库 Postgres对存储扩展,插件扩展持友好 天然带定的多模持(原或者插件)采度和流度持续上升 优秀的态 我们的选择 很多功能不也没必要重新造轮 和流的产品和才起成 团队深度理解Postgres内核代码,在社区参与诸多贡献PieCloudDB 架构元数据管理基于 MVCC 的事务隔离级别使用 FoundationDB Key 的自然排序实现索引将元组以 key-value 的形式存储到 FoundationDB元数据管理 临时状态存储(如lock等)也放在Fou
5、ndationDB 依赖于FoundationDB的KV特性、可串化事务、watcher机制 多个集群(虚拟数仓)可以共享份元数据 FoundationDB可设计、备份恢复保证元数据的可靠性和可性元数据管理缓存 的:减轻FoundationDB集群负担 加速查询优化(络延迟远于内存延迟)以Postgres原的元数据缓存概念为基础,优化重构实现适于多集群架构户数据存储引擎 PAX(列混存)配以效压缩 Block件为个存储(MVCC)单位 辅助信息存储于计算优化 设计考虑:效和精准的统计信息收集 存储和计算成本 各种计算优化 SIMD,Cache Line Data Skipping(本地查询和远
6、程读取)预聚集.存储中存储中 公有云,私有云,混合云 对象存储(数据共享,存算分离)按需付费 也持HDFS,NAS户数据可靠安全 户数据可靠实时加解密(TDE)分布式对象存储多副本多可区保证数据安全:“份”数据,避免数据不致 将来Time Travel查询“回收站”数据户数据查询效率优化 远程访问数据要考虑的点:性能和成本 如何解决?数据和/或辅助信息缓存,同时致性Hash减少数据移动 读取优化(如异步并等)计算优化(各种功能特性持续优化中)很多复杂OLAP查询如果不是IO瓶颈,不会受制于它.计算引擎之优化器PieCloudDB Optimizer 是个基于eMPP架构的云原分布式优化器,它可
7、以为海量数据集上的复杂OLAP查询提供最优的查询计划。分布式优化器处理复杂OLAP查询云原生优化器处理复杂OLAPOLAP查询多表连接的最优顺序搜索多阶段聚集分区表的静态和动态裁剪相关子查询的提升转换CTE和递归CTE的优化等等更多阶计算功能 聚集下推:1.0已经持,在些情况下可以倍百倍更多倍提升SELECT a.i,SUM(a.j)FROM agg_pushdown_t a,agg_pushdown_t b WHERE a.i=b.i GROUP BY 1;QUERY PLAN-Gather Motion 3:1(slice1;segments:3)-Finalize HashAggrega
8、teGroup Key:a.i-Redistribute Motion 3:3(slice2;segments:3)Hash Key:a.i-Hash JoinHash Cond:(b.i=a.i)-Seq Scan on agg_pushdown_t b-Hash-Broadcast Motion 3:3(slice3;segments:3)-Partial HashAggregateGroup Key:a.i-Seq Scan on agg_pushdown_t a更多阶计算功能(cont.)预计算:很快世 Data skipping:件裁剪持很快世 更多计算引擎作在路上:SIMD,run
9、time filter,late materization,.分布式计算引擎 MPP弹性计算引擎:按需付费 租户隔离(彼此不影响)可(动处理各种错误)并发PieCloudDB态 各种外表数据源联邦查询组件天然持(或者需少量修改)各种Postgres/Greenplum组件或者功能天然持,如In-database AI组件Madlib,json,text等 实时ETL/ELT性能对PieCloudDB 1.0有巨提升 流处理:原持kafka数据导和查询,在PieCloudDB侧导实现exactly once语义智能化云原平台智能化云原平台(数据服务平台)(数据服务平台)面向用户,做到开箱即用:离
10、数据分析更近,离繁琐操作更远;面向运维,降低部署门槛:在不同的基础设施都能发挥实力;面向管理,让管理更轻松:让数据分析运行更透明;设计目的智能化云原平台:向户、开箱即智能化云原平台:向户、开箱即降低上难度 让户享受数据分析的乐趣使槛低了 扩平台受众让更多户离数据更近 离繁琐操作更远PieCloudDB 是这么来帮助我们的户的向运维向运维 部署运维难度部署运维难度全拥抱容器化技术,可以适配多种环境已持私有信创环境和多云环境既实现私有环境离线部署,也可充分利公有云技术设施数据库维护平台托管向管理向管理 多个维度轻松管控多个维度轻松管控PieCloudDB持个数仓多个计算集群同时运针对不同户业务负载或者不同场景,可以选择不同集群进数据计算云原平台持快速启动集群,随时可以关停,随时可以回收结合集群操作记录,户可以最低的成本完成数据分析云原平台同时提供根据访问模型设计的权限系统,所即可管论是平台功能还是数据库权限都可以在平台操作PieCloudDB 的将来 理想的PieCloudDB:可靠、效、简单、完备的SQL数据平台,让户能专注于应 不论存储、计算、态还是智能平台都还有不少有挑战性的事情 我们需要优秀才的加(学习动能、创新能、驱、团队精神)