上海品茶

您的当前位置:上海品茶 > 报告分类 > PDF报告下载

墨天轮:2022年9月中国数据库行业分析报告(49页).pdf

编号:101418 PDF 49页 6.92MB 下载积分:VIP专享
下载报告请您先登录!

墨天轮:2022年9月中国数据库行业分析报告(49页).pdf

1、modb.promodb.pro软硬兼施,创新软硬兼施,创新融合融合20222022年年9 9月月中国中国数据库行业分析报告数据库行业分析报告墨天轮行业分析研究中心墨天轮行业分析研究中心2022-09-152022-09-15乐/知/乐/享 同/心/共/济摘要摘要www.modb.pro2022年9月的墨天轮中国数据库流行度排行榜火热出炉,相比上月新增两个数据库,本月榜单前十名出现了显著的变化,OceanBase强势反超openGauss、达梦,排名跃升两位夺榜眼。榜单前十中,相继有两位在上月发布产品新版本,拥有了先声夺人的优势。另外在功能上新增筛选栏,将数据库按照模型划分为关系型、键值、列簇

2、、图、空间、向量、时序以及搜索等八类,进行筛选展示。“报告统计”一栏,将各模型总数、得分趋势进行统计。“分类统计”中主要是针对现有数据库的属性进行数量统计。此页面的改进是为了方便大家可以从不同的维度了解各个数据库的流行度趋势。近两年多个数据库研究报告显示,随着新型硬件成本逐渐降低,充分利新兴硬件资源提升数据库性能是未来数据库发展的重要向之,SIGMOD、VLDB、CICE数据库顶会上出现越来越多新兴硬件的论文和专题。在需求侧,随着数据量暴增和实时性的要求越来越高,数据库围绕处理器、内存、存储和网络四个硬件架构方向不断突破和创新,如多核中央处理器、异构处理器GPU/TPU/DPU、可编程专业处理

3、器FPGA、CXL+DDR5、持久内存PMem、存储级内存技术SCM、NVMe+SSD+NVMe-oF、RDMA+软件定义存储等,用于同时满足海量数据存储和高并发实时计算的场景。基于各种新兴硬件的不断兴起,各大数据库厂商或者第三方服务公司都在推出一体机解决方案,集成了数据库软件和硬件的一体化系统,默认出厂最佳实践软硬配置减少适配工作,简化了管理和维护,将硬件性能发挥到极致,根据特定硬件推出定制化功能,如Oracle Exadata、PBData、zData、QData等。未来,传统数据库一体机等难以全面满足用户需求,基于超融合的数据库云化基础设施应运而生。数据库将深度结合云原生与分布式特点,帮

4、助用户实现最大限度资源池化、弹性变配、超高并发等能力。乐/知/乐/享 同/心/共/济目录目录 contentcontent一、数据库排行榜及前沿动态一、数据库排行榜及前沿动态二、数据库二、数据库相关新兴硬件相关新兴硬件盘点盘点三、软硬结合的三、软硬结合的学术探索实践学术探索实践四、四、软硬融合一体化产品软硬融合一体化产品实现实现乐/知/乐/享 同/心/共/济四大天王四大天王-TiDB OB openGauss -TiDB OB openGauss 达梦格局达梦格局渐成渐成来源:墨天轮 www.modb.pro/dbRank在2022年9月排行榜上,前五名出现了显著的变化,OceanBase 超

5、越 openGauss、达梦,排名跃升两位夺榜眼。排行榜的前十名分别是 TiDB、OceanBase、openGauss、达梦,这四个明星产品的积分接近,尤其是后三者积分差距仅为一分。但是四大天王和第五名间距增大,优势明显。TiDBTiDB 其本月得分580.95分,较上月虽下降16.79分,但本月依旧保持榜首的优势。PingCAP作为业内具有活力的公司,广受认可。8月12日,PingCAP 入选福布斯中国“2022 中国创新力企业5 0 强”。8 月 2 3 日,PingCAP 发布 TiDB v6.2 版本,也吸引了一波关注度。其本月得分536.72分,较上月大幅上扬10%,这也是时隔一年

6、OceanBase重回第二名宝座的高光时刻。8月10日,OceanBase 4.0重磅发布,这是业内首个单机分布式一体化数据库,RTO 从30秒迈入8秒,进入真正的秒级容灾时代,这款产品能紧跟市场趋势,迅速抢占市场。OceanBaseOceanBaseTiDBTiDBopenGaussopenGauss 其以1.02分的微弱劣势被反超。近期,观测云、图尔兹、易宝等一批新的伙伴公司纷纷入驻openGauss社区。借着开源东风,openGauss企业级开源数据库一举摘得中国电子信息博览会最高奖项金奖(CITE 2022“金奖”)。openGauss将会有更好的发展。达达 梦梦GaussDBGaus

7、sDB 其本月得分535.22分,顺次下降至榜单第四。自达梦7月申请科创板上市以来,可谓是步履稳健。近日,有消息放出,达梦上市审核程序恢复,或于9月正式登录科创板。赣州市某单位单一来源采购达梦数据库V7.0,市场范围进一步扩大,距离成功上市也是越来越近。其本月得分上涨27.55,但是排名却没有变化,仍旧稳居第五。这表明榜单前三这一梯度竞争激烈,需要深厚的积累才可“攻略”。近日,华为云与中国信通院云计算与大数据研究所共同发布了业界首个云原生数据库白皮书,这是业内权威机构对GaussDB的赞赏和认可。乐/知/乐/享 同/心/共/济波澜不惊波澜不惊-PolarDB -PolarDB ADBADB 人

8、大金仓人大金仓安稳如山安稳如山06060707080809091010PolarDBPolarDB本月以441.38分稳居榜单第六,较上月分数上涨5.3%。其作为云原生数据库,借助阿里云深厚的技术底蕴,广泛的市场,凭借优秀的产品力,一路过关斩将,为公司作出了杰出贡献。日前,市场研究机构IDC发布2021年下半年中国关系型数据库软件市场跟踪报告,阿里云市场份额(传统部署+公有云模式)位居第一。人大金仓人大金仓作为传统数据库的“四朵金花”之一,继续高歌猛进。本月得分较上月上涨23.27分,排名依旧居第七。近日,人大金仓基于KingbaseES数据库高可用解决方案荣获2020-2021年度长三角智慧

9、城市建设“突出贡献奖”、人大金仓 Kingbase获得CITE 2022“创新奖”,两项殊荣,实力可嘉。创立于2004年的GBaseGBase,同样也是国产数据库的先行者。其本月得分下降21.47分,仍居第八。南大通用专注数据库研发,是国内产品线较全的国产数据库厂商,包括分析型数据库GBase 8a、交易型数据库GBase 8s等。近日,GBASE南大通用作为首批入选的国家级专精特新企业成功通过复核。TDSQLTDSQL相较于榜单前十中的其他数据库,实际上是新兴力量,但是实力却不容小觑。其本月得分较上月上涨26.31分至277.26分,排名第九。8月8日,国际权威行业研究与咨询机构Forres

10、ter发布全球Translytical数据平台厂商选型报告,腾讯云数据库成功入选。这表明国产数据库在国际上的影响力进一步提高。AnalyticDB本月得分较上月微增4.83分,连续一年蝉 联 墨 天 轮 排 行 榜 第 十名。其是阿里云自主研发的一款实时分析数据库,可以毫秒级针对千亿级数据进行即时的多维分析透视。TDSQLTDSQLAnalyticDBAnalyticDB来源:墨天轮 www.modb.pro/dbRank乐/知/乐/享 同/心/共/济细分赛道细分赛道-新秀产品新秀产品此起彼伏此起彼伏呈现异彩呈现异彩本月排行榜中继续涌现了一批黑马,他们在8月表现活跃,在不同细分赛道各领风采。接

11、下来将具体分析他们的亮眼表现。SequoiaDBSequoiaDB是巨杉数据库旗下的一款金融级分布式关系型数据库,此次排名是其时隔7个月后重归第11名。近日,巨杉数据库荣获“2021年广州独 角 兽 创 新 企 业”奖。TDengineTDengine是涛思数据推出的一款开源的专为物联网、车联网、工业互联网、IT运维等设计和优化的大数据平台。8月,涛思数 据 重 磅 发 布 了 TDengine 3.0,为热度进一步加持。GaussDB(DWS)GaussDB(DWS)是华为云推出的一种在线数据处理数据库,今年 6 月 开 始 参 与 排名。从第233名一路跃升至第15名。近日,招商银行正式完

12、成向GaussDB(DWS)的全部迁移。始于2008年的AntDBAntDB是亚信科技旗下通用型 企 业 级 数 据 库 产品。其现排名第16。近日,AntDB数据库配备了AMD采用最新架构的第三代EPYC(霄龙)处理器。OushuDBOushuDB是一款高性能云原生数据库,本月排名上升两位。8月的最后一天,偶数科技发布 OushuDB 5.0。OushuDB 5.0通 过 多 种 创 新 的 技术,可以支持超高并发和超大规模集群。深圳计算科学研究院从理论到系统全自研的分析型数据库系统YashanDBYashanDB,本月排名上升了33个位次。在今年7月,其通过了信通院“可信数据库”集中式事务

13、型测评。来源:墨天轮 www.modb.pro/dbRankGaussDB(DWSGaussDB(DWS)乐/知/乐/享 同/心/共/济来源:墨天轮分门别类分门别类-数据库数据库分类排行榜分类排行榜正式推出正式推出在线业务在线业务0304墨天轮中国数据库流行度排行榜本月在页面上新增筛选栏,将数据库按照模型划分为关系型、键值、列簇、图、空间、向量、时序以及搜索等八类,进行筛选展示。“报告统计”一栏,将各模型总数、得分趋势进行统计。“分类统计”中主要是针对现有数据库的属性进行数量统计。此页面的改进是为了方便大家可以从不同的维度了解各个数据库的流行度趋势。中 国 数 据 库 各 模 型 数中 国 数

14、 据 库 各 模 型 数本月排行榜共有238个数据库参与排名,相比上月新增两个。参与排名的数据库中,关系型数据库共有152个,占比63.8%,其次则是时序数据库占比13.4%。中 国 数 据 库中 国 数 据 库 O L T P/O L A P/H T A P 数 量数 量在152个关系型数据库中,OLTP数据库108个,占比71%。HTAP和OLAP分别有25和23个,当前业内仍然以在线事务处理OLTP关 系 型 数 据 库 为 主,未 来 混 合 负 载 数 据 库HTAP会成为复杂应用的首选,能够同时支持在线事务处理和复杂数据分析。乐/知/乐/享 同/心/共/济分门别类分门别类-墨天轮数

15、据库分类统计墨天轮数据库分类统计来源:墨天轮 中国数据库集中式中国数据库集中式/分布式数量汇总分布式数量汇总目前分布式和集中式数据库数量相当,分布式数据库仅比集中式数据库多出1个。分布式架构一般采用横向扩展的方式,即通过增加服务器的数量来提升系统的处理能力,每个节点都是一个可独立运行的单元,失效时也不会影响应用整体的可用性,更能满足当今时代和用户的需求。中国数据库本地部署中国数据库本地部署/云原生数量汇总云原生数量汇总墨天轮排行榜上的数据库以本地部署的数据库居多,有199个。近年来,随着云原生成为数据库发展的主流技术趋势,用户可以在云上搭建自己的数据库,云原生数据库也不断涌现。中国数据库开源中

16、国数据库开源/商业数量商业数量排行榜上商业数据库的数量是开源数据库的五倍左右,商业数据库占比81.9%。在排行榜前十中,开源与商业各占一半,这说明开源为数据库能带来极大的热度,相信未来也会有更多开源的中国数据库出现。乐/知/乐/享 同/心/共/济行业行业动态动态 -第第3939届届CCFCCF中国数据库学术会议中国数据库学术会议举办举办来源:墨天轮、大会官网20222022年年8 8月月1919日日-21-21日,由日,由CCFCCF主办,主办,CCFCCF数据库专业委员会、哈尔滨工业大学(威海)承办,烟台大学协办的第数据库专业委员会、哈尔滨工业大学(威海)承办,烟台大学协办的第3939届届C

17、CFCCF中国数据库学术会议中国数据库学术会议(NDBC 2022NDBC 2022)在威海成功举行)在威海成功举行。本届大会关注数据库领域所面临的新挑战,新问题和新方向,着力反映我国数据库技术研究的最新进展,为科研院所、科技企业的数据库研究、开发和应用相关人员搭建交流平台。CCF中国数据库学术会议始于1977年,是我国数据库领域的最高学术会议,也是国内数据库领域的传统盛会,会议每年举办一次。会议举行了大数据智能治理与分析新技术论坛、数据库产业论坛、CCF-华为胡杨林基金-数据库专项论坛、国际化论坛、数据库系统人才培养论坛、软件学报专刊论坛等6个分论坛,研究生学术辅导班,系统演示专场以及4个大

18、会论文分组报告。在数据库专委会全体会议上,选举产生了38位新执行委员,经过全体执行委员投票确定新疆大学为NDBC 2024会议承办单位。在企业之夜活动中,华为、中新赛克、南大通用、阿里巴巴、OceanBase、腾讯、人大金仓等赞助单位展示公司文化和招聘需求,与会者进行了充分交流。会议期间召开了本年度第三次主任会议,对办会情况进行了交流,也对专委各项活动规章制度做了进一步讨论。大会颁发了DSE期刊杰出贡献奖、CCF-华为胡杨林基金2020年度优秀项目完成人、萨师煊优秀学生论文、大会最佳论文、数据库专委2021年度优秀委员等奖项。主题报告主题报告密歇根大学H.V.Jagadish教授:Data E

19、quity:A Core Requirement for Responsible Analytical Processing of Big Data佐治亚理工学院Ling Liu教授:Ensemble Learning Methods for Dirty Data南加利福尼亚大学Cyrus Shahabi教授:Location&Privacy:Past,Present and Future-A Spatial Data Perspective加州大学圣巴巴拉分校Divyakant Agrawal教授:Blockchain Interoperability:Current Solutions a

20、nd Future TrendsOceanBase创始人兼首席科学家阳振坤博士:OceanBase:一个7.07亿tpmC的分布式关系数据库系统 *演讲内容介绍参考会议官网 https:/乐/知/乐/享 同/心/共/济技术动态技术动态-Oracle 21cOracle 21c 引入引入基于基于PDBPDB的的ADGADG2022年7月,Oracle在21.7版本引入了PDB层的Data Guard可用性特性(简称:DGPDB),这个多租户新的Data Guard特性将用来替代传统的CDB架构层的Data Guard。它允许客户实施高效的CDB 层的Data Guard,或者更灵活的PDB层Da

21、ta Guard(在每个PDB上配置、维护和独立的Switchover、Failover操作)。PDBPDB层层Data GuardData Guard架构架构DGPDB利用传统Data Guard相同的Redo传输服务架构。在主数据库实例,利用日志写进程(LGWR)将整个CDB的Redo信息写到在线Redo日志(ORLs),ASYNC传输进程(TTnn)异步发送相同的信息到远程CDB的目标端存放。接收进程(RFS)将从主库接收的Redo写到备库的Redo日志(SRLs),到目前为止,和传统的Data Guard相比传输机制没有任何改变,同时提供精确的缺失Redo重传解决机制。每个PDB有一个

22、”应用”进程(TTnn)用于过滤和应用和目标PDB相关的数据。这个恢复能够在PDB层面启动和停止。DGPDB配置由两个主数据库组成。因此,Redo传输服务进程是对称的,如右图所示,该架构会将完整的Redo流传输到远程的CDB:如果CDB中只有部分PDB受到保护,这可能会有较大的开销。因此,任何存在大量写的PDB,如果不要求受到保护,那么应该将它放到单独的CDB中,以防止多余的Redo传输。来源:https:/www.modb.pro/db/475491传统的传统的CDBCDB架构层面的架构层面的Data GuardData Guard环境环境新的新的PDBPDB层面的层面的Data Guard

23、Data Guard环境环境什么是PDB层的Data Guard?PDB层的Data Guard保护的是单个PDB,而不是整个CDB。它的含义是一个DGPDB配置将有两个主CDB替代一个主CDB和一个备用CDB。每个CDB都将包含以读写模式打开的PDB和在远程CDB中的目标PDB。在PDB层的Data Guard保护允许用户独立的Switchover或者Failover一个PDB到远程站点。在这种架构下包含两个重大的进步:客户能够在两个不同的站点之间平衡业务负载,同时维持多租户的整合优势。针对单一PDB的角色转换比在相同的CDB层转换更快。PDBPDB层层Data GuardData Guar

24、d架构架构跨跨CDBCDB的的PDBPDB之间传输和应用对称架构之间传输和应用对称架构乐/知/乐/享 同/心/共/济融资动态融资动态-YaoBaseYaoBase完成千万元种子轮融资完成千万元种子轮融资来源:墨天轮YaoBaseYaoBase(尧)(尧)分布式数据库是一款自研原生NewSQL分布式数据库软件,在普通硬件上实现金融级高可用和强一致性,兼容 Oracle/DB2/MySQL 等特性,具备卓越的水平扩展能力,满足海量、高并发、复杂业务场景。YaoBase百分百国产化百分百国产化,拥有独立知识产权和多项发明专利,从产品及企业背景方面都完全符合信创自主可控要求。创始人:李战怀创始人:李战

25、怀,西北工业大学教授、博士生导师,现任中国计算机学会数据库专委会主任委员、全国信标委大数据标准工作组数据库专题组联合组长、大数据存储与管理工业和信息化部重点实验室主任,是中国数据库领域著名专家学者。李战怀教授长期从事数据库理论研究和科研实践,著有专著数据库系统原理、对象-关系数据库管理系统原理与实现,1988年曾研发我国第一款国产工程数据库系统,所主导研发的系列国产数据库产品在军工领域有广泛应用。YaoBaseYaoBase (尧尧)依托大数据存储与管理工信部重点实验室大数据存储与管理工信部重点实验室组建了强大的产学研技术团队,核心技术团队从80年代初期就开始从事数据存储与管理领域的科研工作,

26、是国内最早开展数据库技术研究的团队之一,研制了国内第一个工程数据库管理系统、具有自主知识产权的大型对象关系数据库管理系统、基于网状数据模型的多用户工程数据库管理系统、以及多用户关系数据库管理系统,系列数据库产品在有关国防研究所均得到了应用。已先后承担包含多个自然基金重点项目、国家重点研发等重要项目在内的近200项课题,仅在数据库领域就先后获教育部科技进步一等奖2项、航空工业总公司科技进步二等奖1项、陕西省科技进步一等奖等省部级科技进步奖10余项。YaoBaseYaoBase 数据数据仓库架构仓库架构YaoBaseYaoBase 数据库的特点数据库的特点云云原生原生数据库:数据库:采用NewSQ

27、L分布式数据管理架构,具有PB级海量数据存储能力,提供根据业务需求自动伸缩的机制,可满足不停机升级的关键核心业务需求。金融级强金融级强一致性:一致性:面向金融、电信等关键核心业务领域的数据管理需求,通过数据强一致性保障,满足核心业务的事务ACID要求,提供高可靠、高可用的数据管理服务。现象级交易现象级交易业务业务:针对诸如双十一、秒杀等现象级应用场景对并发性、吞吐率的需求,提供高并发、高吞吐的事务处理能力,同时支持复杂业务的OLTP。关系型关系型数据库数据库:兼容SQL92标准基础上,支持主流关系型商用数据库特有数据操作接口,实现既有应用的无缝迁移,通过易用的数据迁移工具支持数据库的平滑替换。

28、提供一定的准实时高性能OLAP处理能力。增量聚集系统架构实现高并发事务处理的同时,兼顾复杂事务处理能力的可扩展性,弥补了现有NewSQL类系统处理复杂事务的短板。乐/知/乐/享 同/心/共/济融资动态融资动态-Zilliz Zilliz 完成完成 6000 6000 万美元融资万美元融资来源:Zilliz 官网、墨天轮Zilliz Zilliz 是是向量数据库技术的开创者向量数据库技术的开创者,成立于2017年,团队成员100+,目前已累计完成 1.13 亿美元的融资。该笔融资将用于进一步完善研发团队和市场团队建设,加速全托管云服务产品 Zilliz Cloud 的研发及商业化,以及持续推进全

29、球市场的布局。Zilliz 的技术和产品在全球范围内被超过 1000 家企业所采用。2020Milvus创立并开源加入 Linux 基金会旗下 LF AI&Data 基金会孵化毕业成为顶级项目20192021Milvus Milvus 适用于存储、索引和管理由深度神经网络和其他机器学习(ML)模型生成的海量嵌入向量。作为云原生的矢量数据库,Milvus 在设计上实现了存储和计算的分离。并且为了增强弹性和灵活性,Milvus 中的所有组件都是无状态的。Milvus 工作流程Milvus 架构图乐/知/乐/享 同/心/共/济目录目录 contentcontent一、数据库排行榜及前沿动态一、数据库

30、排行榜及前沿动态二、数据库二、数据库相关新兴硬件相关新兴硬件盘点盘点三、软硬结合的三、软硬结合的学术探索实践学术探索实践四、四、软硬融合一体化产品软硬融合一体化产品实现实现乐/知/乐/享 同/心/共/济传统架构传统架构-数据库数据库的硬件架构的硬件架构在计算机出现之后,通过操作系统将CPU、内存、存储、网络等硬件资源进行了统一管理、调度和控制。早期,数据与程序一样,以简单的文件作为主要存储形式。以这种方式组织的数据在逻辑上更简单,但可扩展性差,访问这种数据的程序需要了解数据的具体组织格式。当系统数据量大或者用户访问量大时,应用程序还需要解决数据的完整性、一致性以及安全性等一系列的问题。因此,必

31、须开发出一种系统软件,它应该能够像操作系统屏蔽了硬件访问复杂性那样,屏蔽数据访问的复杂性。由此产生了数据管理系统,即数据库。CPUCPU 中央处理单元是执行包含计算机程序的指令的电子电路。CPU 执行程序中的指令指定的基本算术、逻辑、控制和输入/输出(I/O)操作StorageStorage存储是通过计算技术将数字数据保存在数据存储设备中的过程。存储是一种使计算机能够临时或永久保留数据的机制。MemoryMemory是与CPU直接交换记忆的记忆体使数据易于访问,以便可以快速检索,通常作为作业系统或其他正在执行中的程式的临时资料储存媒介。NetworkNetwork是容许节点分享资源的数字电信网

32、络,用户设备之间的连接和数据交换。来源:维基百科 传统数据库硬件架构乐/知/乐/享 同/心/共/济软硬兼施软硬兼施-未来数据库发展的未来数据库发展的重要趋势重要趋势研究显示,随着硬件技术的不断进步、新型硬件成本逐渐降低,充分利新兴硬件资源提升数据库性能是未来数据库发展的重要向之。软件技术和硬件技术相结合,有望为数据库不断带来突破性进展。CPUCPU、内存、存储、网络技术等,都在展现出巨大的创新发展优势、内存、存储、网络技术等,都在展现出巨大的创新发展优势。趋势四:充分利用新兴硬件趋势四:充分利用新兴硬件最近十几年,最主要的硬件技术进步是多处理器、多核、大内存和固态硬盘。随着新型硬件成本逐渐降低

33、,充分利新兴硬件资源提升数据库性能、降低成本,亦是未来数据库发展的重要向之。“十四五十四五”数据库发展趋势与挑战数据库发展趋势与挑战-CCF-CCF数据库专委会报告数据库专委会报告新硬件驱动的数据管理发展趋势新硬件驱动的数据管理发展趋势以高性能处理器和硬件加速器、NVM、RDMA 高性能网络为代表的新硬件技术,将改变传统的数据管理系统的底层载体支撑,数据管理系统将向异构计算架构、混合存储环境和高性能互联网络逐步演进。2022数据库系列报告开篇:技术路径复盘及展望-中金20222022数据库系列报告开篇:数据库系列报告开篇:技术路径复盘及展望技术路径复盘及展望-中金演进方向六:利演进方向六:利用

34、新兴硬件用新兴硬件新兴硬件的发展从存储、计算多进步提升数据库性能。我们认为,随着新型硬件成本逐渐降低,充分利新兴硬件资源提升数据库性能、降低成本,亦是未来数据库发展的重要向之。数据库发展研究报告数据库发展研究报告(2021(2021年)年)-中国信息通信院中国信息通信院 多处理器和多核为并行处理提供可能,SSD 大幅提升了数据库系统的 IOPS 和降低延迟。大内存促进了内存数据库引擎的发展。非易失性内存(NVM)具有容量大、低延迟、字节寻址、持久化等特性,能够应用于传统数据库存储引擎各个部分,如索引、事务并发控制、日志、垃圾回收等方面。GPU 适用于特定数据库操作加速,如扫描、谓词过滤、大量数

35、据的排序、大表关联、聚集等操作。FPGA可实现加速处理,互联网公司在 FPGA 加速进行了很多探索,例如微软利用 FPGA 加速网卡处理,百度用 FPGA 加速查询处理等。新兴硬件技术对数据库的影响:新兴硬件技术对数据库的影响:来源:三个相关报告乐/知/乐/享 同/心/共/济处理器技术处理器技术-多核成为中央处理器的重要多核成为中央处理器的重要方向方向多核(多核(MulticoreMulticore)CPU 称为处理器是计算的大脑,CPU 的执行单元称之为核(core),它负责指令的读取和执行。这些指令可能是计算、输出传输、分支指令等。具有一个核的处理器称之为单核处理器,相应的具有多核的处理器

36、称之为多核处理器。高性能的计算机,可能会有六核或者八核处理器。优势:多核心处理器具有高主频、设计和验证周期短、控制逻辑简单、扩展性好、易于实现、功耗低和通信延迟低等优点。对称多处理(对称多处理(symmetricmultiprocessingsymmetricmultiprocessing)是一种计算机体系结构,其中两个或多个中央处理单元(CPU)共享到同一内存的公共链接。SMP 系统中的任何处理器都可以从共享内存的任何部分访问和运行软件。优势吞吐量高:由于与非对称不同,任务可以由所有处理器运行,因此提高了吞吐量(在单位时间内执行的进程)。高可靠性:一个处理器出现故障并不会导致整个系统出现故障

37、,因为所有处理器都具有同等能力,尽管吞吐量确实会出现一些故障。对比维度对比维度多核(多核(MulticoreMulticore)对称多处理(对称多处理(SMPSMP)执行速度更快执行单个程序更快执行多个程序可靠性低于多处理更加可靠,容错性更高。通信量通信量少,内核都是集成在单个芯片中通信量较多对称多处理架构多核架构来源:墨天轮、维基百科乐/知/乐/享 同/心/共/济处理器技术处理器技术-GPU&TPU GPU&TPU 异构处理器加速异构处理器加速创新创新图形处理单图形处理单元元GPUGPU(Graphic Processing Unit)是一种专用处理器,处于显卡最核心的位置。使用 CPU 做

38、图形计算速度较慢,于是就设计了专门的图形加速卡用以帮助处理图形计算。其可作为 CPU 的性能加速器,凭借在单次运算中加速大型矩阵运算和执行混合精度矩阵计算的能力,GPU 可以高速加速深度学习。这种并行计算技术使 GPU 成为现代超级计算的重要组成部分,引发了全球人工智能热潮。工作原理:GPU 并行计算使 GPU 能够将复杂的问题分解成数千或数百万个单独的任务,并一次完成所有任务,而不是像 CPU 那样一个接一个地完成。TPUTPU(张量处理单元)张量处理单元)是专用集成电路(ASIC)。CPU能够非常高效地处理各种计算任务,但是一次只能处理相对来说很少量的任务。另一方面,图像处理单元(GPU)

39、在执行单个任务时效率较低,而且所能处理的任务范围更小。TPU由 Google 从头开始设计的,可作为云或更小的芯片版本提供,相比前两者在深度学习上具有更高的性能。工作原理:TPU 将内存中的参数加载到乘法器和加法器矩阵中;TPU 从内存中加载数据;随着乘法的执行,它们的结果被传递到下一个乘法器,同时进行求和。GPUGPUTPUTPU图形处理单元。增强计算机的图形性能。张量处理单元。定制构建 ASIC 以加速 TensorFlow 项目。数以千计的核心基于矩阵的工作负载高数据吞吐量高延迟海量并行计算高数据吞吐量有限的多任务处理适用于大批量处理低内存复杂神经网络模型GPU&TPUGPU&TPUGP

40、U在计算机中的位置TPU架构来源:墨天轮、维基百科乐/知/乐/享 同/心/共/济处理器技术处理器技术-DPU DPU 已成为未来计算的重要已成为未来计算的重要支柱支柱业务数据和网络带宽不断增长,CPU算力增长遭遇瓶颈,DPU(Data-Processing Unit)作为一种新型可处理器,比标准比标准 CPU CPU 更快、更高效、更更快、更高效、更低的成本处理所有这些虚拟化的功能低的成本处理所有这些虚拟化的功能(SR-IOV、RDMA、覆盖网络流量封装、OVS 卸载)。DPU已经成为了以数据为中心的加速计算模型的第三个计算单元,DPU与CPU、GPU组成未来计算的三大支柱。DPUDPU的作用

41、的作用作为CPU的卸载引擎:接管网络虚拟化、硬件资源池化等基础设施层服务,释放CPU的算力到上层应用;新的数据网关:将安全隐私提升到一个新的高度。存储的入口:将分布式的存储和远程访问本地化。算法加速的沙盒:成为最灵活的加速器载体。代表产品:代表产品:NVIDIANVIDIA BlueField-3BlueField-3BlueField-3 是支持软件定义和硬件加速的空前强大的片上数据中心基础设施方案。它是首款达400Gb/s为AI和加速计算而设计的DPU,助力各企业在任何规模的应用上都能实现业内领先的性能和数据中心的安全性。DPU是面向基础设施层的数据处理单元NVIDIANVIDIA对对DP

42、UDPU进行了主流的定义进行了主流的定义 行业标准的、高性能及软件可编程的多核CPU,通常基于已应用广泛的ARM架构,与其它的SoC组件密切配合。高性能网络接口,能以线速或网络中的可用速度解析、处理数据,并高效地将数据传输到GPU和CPU。各种灵活和可编程的加速引擎,可以卸载AI、机器学习、安全、电信和存储等应用,并提升性能。具备开放性集成功能,未来支持更多功能集成。例如NVIDIA计划未来在Bluefield-4产品中,将GPU集成至DPU中以完成数据中心的架构的终极整合。NVIDIA DPU的软件开发包DOCA,提供了统一的面向各种应用的编程接口,让用户可以不用关注DPU的底层硬件接口而直

43、接对硬件进行编程。来源:维基百科,NVIDIA官网乐/知/乐/享 同/心/共/济FPGA FPGA 的基本结构的基本结构FPGA(Field-Programmable-GateArray),即现场可编程门阵列,它是在PAL、GAL、CPLD等可编程器件的基础上进一步发展的产物。它是作为专用集成电路(ASIC)领域中的一种半定制电路而出现的,既解决了定制电路的不足,又克服了原有可编程器件门电路数有限的缺点。FPGA芯片是小批量系统提高系统集成度、可靠性的最佳选择之一,其应用领域包括航空航天/国防、消费电子、工业、电子通讯等。Block RAM、DSP Slice、PCI Express兼容性和可

44、编程结构都是 FPGA 异构计算平台的一部分。因为所有这些计算资源都可以同时访问,它们支持整个平台的应用程序的并行性和流水线化。FPGA 的基本结构由逻辑单元、可编程互连和存储器组成。逻辑块(Logic Blocks)FPGA的逻辑块可以设计为提供像晶体管一样简单或像微处理器一样复杂的功能。它可用于实现各种顺序和组合逻辑功能。路由(Programmable Interconnect)在 FPGA 中,布线由可变长度的线段组成,这些线段由电气可编程开关连接。用于布线的线段的长度和数量决定了 FPGA 中使用的逻辑块的密度。I/O 块(Input/Output Blocks)输入/输出(I/O)块

45、是一种可用于输入和输出的输入/输出设备。边沿触发的 D 触发器用于输入和输出通道。I/O 模块的目标是为 FPGA 的内部架构提供一个外部世界的用户界面。FPGA FPGA 性能优势性能优势 架构方面:FPGA拥有大量的可编程逻辑单元,可以根据客户定制来做针对性的算法设计。处理海量数据:FPGA是硬件底层架构,相比CPU/GPU,FPGA更接近IO。FPGA FPGA 分类分类根据其内部块排列可分为三类:对称阵列:逻辑元素(称为 CLB)被放置在矩阵的行和列中,它们之间建立了连接。基于行的架构:交替的逻辑模块行和可定制的连接轨道构成了基于行的设计。分层PLD:这种架构是分层组织的,顶层只有逻辑

46、块和互连。处理器技术处理器技术-FPGA FPGA 可编程专可编程专用处理器用处理器 来源:墨天轮、维基百科乐/知/乐/享 同/心/共/济双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM)简称DDR SDRAM或DDR RAM,是一种速度非常快的计算机存储器。DDR是 1998 年开发的一种 SDRAM,和SDRAM有着相同的架构。SDRAM 和 DDR 的区别在于每个周期传输多少次数据每个周期传输多少次数据。SDRAM 每个时钟周期发送一次信号,而DDR DDR 每每个时钟周期传输的数据是个时钟周期传输的数据是SDRMSDRM的两倍的两倍。传输数据:DDR S

47、DRAM vs 常规SDRAM 数据传输速率提升至数据传输速率提升至6.4 Gb/s6.4 Gb/s:DDR5内存的速率最终将比DDR4内存高出一倍,达到6.4 Gbps。在新增判决反馈均衡器(DFE)等新功能后,DDR5可实现更高的I/O速度。更低的电压带来更低的功耗更低的电压带来更低的功耗:采用DDR5之后,DRAM、缓冲芯片寄存时钟驱动器(RCD)和数据缓冲器(DB)的供电电压从1.2V下降到1.1V。全新的供电架构全新的供电架构:DDR5 DIMM将电源管理从主板转移到了内存模块本身,通过板载一个12V电源管理集成电路(PMIC)确保更加精细的系统电源负载。该电路会输出1.1V的工作电

48、压(VDD)通道架构更新通道架构更新:采用DDR5后,每个DIMM模块都有两个通道。每个通道均为40位宽:包括32个数据位,8个纠错码位。更高容量更高容量:DDR5 DIMM在单裸片封装下的容量则高达256 GB,是DDR4的四倍。DDR5 是 DDR 内存的第五代也是最新版本,是在 2017 年由行业标准机构 JEDEC(联合电子器件工程委员会)开始推动的,并采纳了来自金士顿等全球领先内存半导体和芯片组架构供应商的意见,设计了一些全新特性。可以提高性能、降低功耗并增强数据完整性,为未来十年的计算提供支持。DDR5 问世于 2021 年。DDR 4 vs DDR 5DDR5DDR5,为未来十年

49、计算提供支持,为未来十年计算提供支持DDR5技术DDR5优势内存技术内存技术-双倍数据速率双倍数据速率 D DDRDR 来源:墨天轮、金士顿官网乐/知/乐/享 同/心/共/济CXL全称为Compute Express Link,是由英特尔于2019年3月推出的一种开放性互联协议。CXL是行业支持的处理器、内存扩展和加速器的Cache-Coherent互连,该技术保持CPU内存空间和附加设备上内存的一致性,允许资源共享,从而获得更高的性能,降低软件栈的复杂性,降低整体系统成本,用户也借此摆脱加速器中的冗余内存管理硬件带来的困扰,将更多精力转向目标工作负载。2021 年 5 月 三星发布首款三星发

50、布首款CXLCXL内存模块内存模块DDR5 DRAMDDR5 DRAM,可扩展到TB级别。2022 年 8 月24日CXLCXL与与DDRDDR联盟达成合作联盟达成合作,联合工作组将会从外形尺寸、组织管理、安全性以及DRAM和其他内存技术的有用解决方案等方面展开合作。2021 年 8 月 2日SKSK海力士最近宣布成功开发出海力士最近宣布成功开发出DDR5DDR5级别的级别的CXLCXL内内存存,支持PCIe 5.0 x8通道,在CXL内存的支持下,服务器的内存容量可以轻松从768GB提升到1.15TB。CXL不依赖于DDR总线或添加更多 DIMM,从而能够得出真正的异构内存连接解决方案。未来

51、的存储器装置可以使用 CXL 连接到片上系统(SoC),CXL 创建了标准且独立于介质的连接,几乎能够连接任何内存类型(包括DDR、LPDDR、持久内存等)。由于现有常规 DRAM 设计的局限,使存储器容量的扩展难以突破既定量级,因此需要全新的存储器接口技术,CXL的一个重要优势是将内存带宽和/或容量扩展到主机处理器的原生 DDR 内存通道允许的范围之外。02CXL+DDR501CXL的新内存应用内存技术内存技术-CXLCXL和和DDRDDR联合开启内存新世代联合开启内存新世代 来源:墨天轮乐/知/乐/享 同/心/共/济通过数据持久性提升性能通过数据持久性提升性能:与 DRAM 不同,在断电时

52、,数据也能够保留在持久内存中更大的内存容量更大的内存容量:从更大的数据集中提取价值,并提高每台服务器的利用通过两种模式灵活配置通过两种模式灵活配置:两种模式分别为内存模式和 App Direct 模式硬件加密硬件加密:借助 AES 256 位加密保护非活跃数据免遭网络攻击,降低对性能的影响减少内存和存储基础设施成本减少内存和存储基础设施成本:提高基础设施灵活性,整合服务器、应用程序和用户快速获取成果与洞察快速获取成果与洞察:快速访问运行高要求工作负载所需的大型复杂数据集,更快获得可行洞察用内存和存储推动数字化转型用内存和存储推动数字化转型:部署需高性能处理大型数据集的创新工作负载和服务持久内存

53、的技术特性内存技术内存技术-持久持久化内存化内存PMPMemem大内存的源头就是持久内存(PMem),通过持久内存制造的硬件能够很好地融合内存及闪存的优点,低延迟快速存取、断电不易失很好地融合内存及闪存的优点,低延迟快速存取、断电不易失,且相较于内存而言储存同样大小的数据价格更低数据价格更低,Intel 傲腾数据中心持久内存是代表性产品。内存和存储产品一直受到密度、性能和成本的限制。持久内存弥补了层级结构中的空白内存模式可在不更改应用的情况下提供大容量内存,且性能可接近 DRAM(具体取决于工作负载)。与 DRAM 相比,内存模式下的英特尔 傲腾 持久内存还能以更低成本提供更大容量。App D

54、irect 模式英特尔 傲腾 技术可将数据移到更接近 CPU 或工作负载的位置,从而支持需要更频繁被访问的数据和工作负载。持久内存的运行模式来源:墨天轮、Intel 官网乐/知/乐/享 同/心/共/济内存技术内存技术-存储级内存技术存储级内存技术 SCM SCM当传统的存储系统失效时,要么依靠现有的存储技术构建新的存储系统,要么先发展新的内存介质再建存储系统,按照后一种逻辑,存储级内存技术(SCM)应运而生。SCM 是DRAM 与SSD 的中介,作为一种高速读写的非挥发性记忆体技术,用来改善系统整体I/O 效能。在理想中,它是一种速度能与速度能与DRAM DRAM 媲美媲美,但成本逼近传统硬盘

55、成本逼近传统硬盘的新型储存技术。四类在研的四类在研的SCMSCM主流介质主流介质 相变存储器相变存储器(Phase-change memory)(Phase-change memory):利用特殊合金材料在晶态和非晶态下的导电性差异来表示0或者1的状态 阻抗随机存储器阻抗随机存储器(Resistive random-access memory,ReRAM)(Resistive random-access memory,ReRAM):通过在上下电极间施加不同的电压控制Cell(存储单元)内部导电丝的形成和熔断对外呈现不同的阻抗值 磁性随机存储器磁性随机存储器(Magnetic Random Ac

56、cess Memory,MRAM)(Magnetic Random Access Memory,MRAM):通过电流磁场改变电子自旋方向来表示不同状态 碳纳米管随机存储器碳纳米管随机存储器(Nantero(Nanteros CNT Random Access Memory,NRAM)s CNT Random Access Memory,NRAM):采用碳纳米管作为开关,理论制程可以达到5nm以下全球厂商在全球厂商在SCMSCM领域的探索领域的探索OptaneOptane(傲腾)系列(傲腾)系列:2015 年 合作发布 3DXPoint存储介质,2017年该技术被正式用于Intel的Optane

57、(傲腾)系列产品中。XL-FlashXL-Flash存储介质存储介质:2018年全球第二大NAND内存厂商发布新一代XL-Flash存储介质Z-NANZ-NAND D:2016年三星发布新的存储介质 Z-NAND 来源:墨天轮、公开资料乐/知/乐/享 同/心/共/济内存技术内存技术-MemVergMemVerge e 打开大内存时代打开大内存时代之门之门MemVerge 正在为多云世界开创大内存计算。当今的云基础架构对于数据密集型高性能应用程序存在重大差距。作为 CXL 生态系统中的软件领导者,MemVerge 可组合内存技术提供、分层、分解和池化异构内存以扩展内存容量并降低内存成本。大内存计

58、算技术缩短了获得结果的时间,并为领先企业提供了前所未有的内存应用程序可用性和移动性。企业大内存软件:Memory Machine低延时内存远程复制采用ZeroIO 内存快照技术,实现百GB级数据的秒级恢复 秒级数据库克隆 用虚拟化技术构建企业级数据服务的平台 兼容现有的应用程序 对PMem和DRAM 进行数据分层,以实现最佳性能MemVerge于2021年研发了大内存云计算技术,该技术将该技术将大内存计算引入到了多云环境中。Memory Machine Memory Machine 云版云版由MemVerge云技术提供支持。MemoryViewerMemoryViewer适用场景适用场景持久化

59、内存决策洞察系统资源分配障碍透视进程性能瓶颈基于Linux的款具,其直观的图形界能让您可视化地监管服务器上所有内存(DRAM 和 PMem)的实时表现。系统拓扑帮助获取内存为的总体视图,进程监控器可来监控各个进程的内存使情况,辨别性能瓶颈。Memory MachineMemory Machine 云版云版优势优势具有针对云容错和移动性的突破性服务。容错服务允许有状态、非容错、长时间运行的应用程序使用低成本的 Spot 实例。Memory MachineMemory Machine关键功能及价值关键功能及价值于2020年发布,将英特尔 Optane 持久内存与内存虚拟化软件结合,利用 DRAM

60、和持久内存的最佳功能,创建一个新的软件定义的大内存层,该层同时具有低成本、高性能和高可用性的优点。来源:墨天轮、MemVerge 官网乐/知/乐/享 同/心/共/济SATA 固态硬盘采用SATA接口设计,数据传输速率最大 6Gbps6Gbps,接口与机械硬盘相同,但是带宽是旋转式机械硬盘的三到四倍。新式主板采用最大吞吐率为 600MB/秒的 SATA III。代表产品代表产品:三星 870 EVO 2.5英寸固态硬盘,2021年新品,读取与写入速度分别高达 560MB/s 和 530MB/s。规格有500G/1T/2T/4T。NVMe 固态硬盘是采用PCIE接口的高速固态硬盘,通过利用 PCI

61、e 总线,拥有高达 20Gbps20Gbps 的理论传输速度。NVMe 固态硬盘利用 PCIe 插槽直接与系统 CPU 进行通信,省去内存调用硬盘的过程,性能远超 SATA 固态硬盘。代表产品代表产品:英特尔傲腾固态硬盘 P5800X 系列,纳米级随机读取低延迟,平均读取响应时间维持在 6 微秒以下,同时保持大于 8 GB/秒的 70/30 混合读/写带宽。规格有400/800/1600GB。存储技术存储技术-固态硬盘固态硬盘(SSDSSD)SATA SATA 固态硬盘固态硬盘NVMeNVMe 固态硬盘固态硬盘传统机械硬盘的速度约为120MB/S120MB/S,多数 SATA SSD 的速度为

62、500MB/500MB/S S左右,而高端 NVMe SSD 则能达到7,000MB/7,000MB/S S左右。NVMe SSD 性能远超SATA SSD 且尺寸更小。目前推荐使用的目前推荐使用的 NVMeNVMe SSDSSD 为为 PCIe PCIe 4.0 4.0 SSDSSD,PCIe 5.0 SSD 尚未普及。TrendForce集邦咨询数据显示,2022年第一季度全球前五大企业级SSD品牌厂商分别是:三星电子、SK海力士(含Solidigm)、美光科技、铠侠与西部数据。五大企业级五大企业级SSDSSD品牌品牌来源:维基百科、三星官网乐/知/乐/享 同/心/共/济软件定义存储即软件

63、定义存储即SDSSDS(Software Defined Storage),就是将存储硬件和软件进行分离,采用标准化硬件作为载体(如X86架构),基于软件实现企业级存储功能和服务。相对于传统存储硬件盒子,SDS中存储软件成为了核心。SDS SDS 技术流派技术流派国内国内 SDSSDS 产品代表产品代表 华为:FusionStorage(参考Ceph,块存储)、OecanStor 9000(参考Ceph,文件存储)浪潮:AS13000(开源Ceph,文件存储)新华三:OneStor(开源Ceph,块和对象存储)曙光:Parastor(自研,文件系统,HPC场景)深信服:EDS(开源Gluste

64、rCeph,块存储、文件和对象存储)SDSDS S分布式存储的形式分布式存储的形式文件存储(POSIX/NFS/CIFS)对象存储(S3)块存储(iSCSI/iSER/NVMeoF)SDSSDS产品模式产品模式独立存储HCI 超融合国内SDS产品基于开源路线为主,Ceph占绝对多数,其他有Gluster和BeeGFS。Lustre、Gluster、SheepdogCeph、BeeGFS、Minio优势优势:不同于传统的网络附加存储(NAS)或存储区域网络(SAN)系统,SDS 一般都在行业标准系统或 x86 系统上执行,让工作负载与存储之间进行更加智能的交互,实现了敏捷的存储管理和实时的容量扩

65、展。SDS在高性能、高扩展性、高可管理性高性能、高扩展性、高可管理性等方面相比传统存储具有明显优势。SDSSDS 特性特性 自动化:管理简化,成本也随之下降。标准接口:用于管理和维护存储设备和服务的应用编程接口(API)。虚拟化数据路径:可通过应用写入数据的块、文件和对象接口。可扩展性:能在不影响性能的情况下横向扩展存储基础架构。透明:能够监控并管理存储空间的使用情况。存储技术存储技术-软件定义存储软件定义存储(SDSSDS)乐/知/乐/享 同/心/共/济 RDMARDMA网络网络 InfinibandInfiniband(IBIB):常用于DPC场景中的存储前端网络。Infiniband 设

66、计之初就考虑了 RDMA,从硬件级别保证可靠传输,提供更高的带宽和更低的时延。但是成本高,需要支持IB网卡和交换机。InfiniBand系列产品主要包括网卡、DPU、交换机以及LinkX线缆和光模块,速率从100Gb/s 到200Gb/s 再到最新的400Gb/s。RoCERoCE:常用于存储后端网络。基于 Ethernet 做 RDMA,消耗的资源比 iWARP 少,支持的特性比 iWARP 多。可使用普通的以太网交换机,但需要支持RoCE的网卡。iWARPiWARP:基于TCP的RDMA网络,利用TCP达到可靠传输。相比RoCE,在大型组网的情况下,iWARP的大量TCP连接会占用大量的内

67、存资源,对系统规格要求更高。可以使用普通的以太网交换机,但是需要支持iWARP的网卡。RDMARDMA技术技术 :全称远程直接内存访问,就是为了解决网络传输中服务器端数据处理的延迟而产生的。RDMA技术能直接通过网络接口访问内存数据,无需操作系统内核的介入。这允许高吞吐、低延迟的网络通信,尤其适合在大规模并行计算机集群中使用。RDMARDMA和传统和传统TCP/IPTCP/IP比较比较 3 3种种 R RDMA DMA 网络对比网络对比网络技术网络技术-RDMARDMA 直接内存访问直接内存访问技术技术 以太网以太网TCP/IPTCP/IP网络网络:常用于业务网络。传统的TCP/IP网络通信是

68、通过内核发送消息,这种通信方式存在很高的数据移动和数据复制的开销。已发布100GE,200GE,400GE的以太网接口。过去几十年以太网速度已完成从 1G、10/25Gb/s 到 40/100Gb/s的转变,目前正向400Gb/s和800Gb/s发展。来源:DellOro Group研究报告数据中心交换机市场五年期预测报告近几年随着以太网交换机的升级、支持RDMA的光纤万兆网卡等硬件出现,将网络速度提升至的40Gb/s、100Gb/s甚至400Gb/s。400Gb/s400Gb/s网络产品是当前数据中心升级网络性能的主流选择,网络产品是当前数据中心升级网络性能的主流选择,未来将向800Gb/s

69、发展。乐/知/乐/享 同/心/共/济新的数据存储协议:新的数据存储协议:NVMeNVMe存储网络存储网络 NVMe-oFNVMe-oFNVMe-oF 全称 NVMe over Fabrics,是一个相对较新的高速存储协议,旨在使用NVMe通过网络结构将主机连接到存储。NVMe-oF 协议定义了使用各种通用的传输层协议来实现NVMe功能的方式。NVMe-oF使用基于消息的模型在主机和目标存储设备之间进行通信。基于NVMe-oFNVMe-oF协议的协议的SSDSSD速度可达到速度可达到3 35 500 MB/s00 MB/s以上以上。网络技术网络技术-高速高速存储协议存储协议NVMe-oFNVMe

70、-oF Mellanox基于其BlueField SoC可编程处理器开发了NVMe-oF存储参考架构,BlueField将计算、网络、安全性、存储和虚拟化工具集成在单个设备中。英特尔推出了双端口3D NAND NVMe SSD和英特尔Optane NVMe驱动器。美光推出了9200系列NVMe SSD,并将业务扩展到存储销售,推出了美光加速解决方案NVMe参考架构和SolidScale NVMe-oF设备。Brocade和Cisco分别推出了支持NVMe闪存传输(包括FC-NVMe功能)的32 Gbps第6代FC设备。Cavium为NVMe-oF更新了QLogic Gen 6 FC和FastL

71、inQ以太网适配器。行业对行业对NVMeNVMe和和NVMe-oFNVMe-oF的支持的支持网络延迟低能够处理并行请求提高和优化性能,包括存储阵列性能减少服务器端OS存储堆栈的长度高速高度可扩展支持NVMe主机启动器与存储系统之间同时存在多条路径能够一次从许多主机和存储子系统发送和接收命令NVMe-oNVMe-oF F优势优势互联网小型计算机系统接口(iSCSI)光纤通道(FC)以太网光纤通道(FCoE)网络文件系统(NFS)服务器消息块/公用互联网文件系统(SMB/CIFS)超文本传输协议(HTTP)常见存储网络协议常见存储网络协议来源:维基百科乐/知/乐/享 同/心/共/济目录目录 con

72、tentcontent一、数据库排行榜及前沿动态一、数据库排行榜及前沿动态二、数据库二、数据库相关新兴硬件相关新兴硬件盘点盘点三、软硬结合的三、软硬结合的学术探索实践学术探索实践四、四、软硬融合一体化产品软硬融合一体化产品实现实现乐/知/乐/享 同/心/共/济学术探索学术探索-支持数据库日志支持数据库日志存储和复制的存储和复制的X-SSDX-SSD来源:SIGMOD2022论文、墨天轮XSSD架构,这是一类基于事务日志工作负载设计的固态硬盘。X-SSD设备提供了以低延迟接受可字节寻址请求的快速端,用于事务日志记录。而传统端提供传统的SSD块接口来接受常规的工作负载。双方紧密结合,使得数据可以从

73、快速端无缝转移到常规端。此外,不同设备实例的快速端也可以通信,允许日志工作负载在X-SSD设备之间以低延迟远程传输。数据库可以使用这些数据传播特性来构建不同的事务日志和基于日志传送的复制方案。图图1 1:使用:使用PMPM和和RDMARDMA的日志记录和复制路径的日志记录和复制路径图图2 2:X-SSDX-SSD设备的日志记录和复制路径设备的日志记录和复制路径解读:解读:数据库将日志数据写入PM。通过RDMA将数据发送到远程PM。使用第二个RDMA操作将日志描述的更改写入远程主机的内存(例如:使用Active-Memory技术)。最终,两个主机都需要在PM上腾出空间。a/b两个主机通过复制一些

74、内容到SSD中来实现。解读:解读:步骤的顺序与图1相同。X-SSD设备负责传输步骤(2)和步骤(4b)中的数据。远程内存的更新由远程数据库(3)完成。它将PM从CPU路径移到SSD中,并让后者代表数据库管理对PM的本地或远程进行访问。具体地说,设计了一种新的存储架构,其中包含基于PM和NAND闪存的本地网络存储。乐/知/乐/享 同/心/共/济来源:SIGMOD2022论文、墨天轮对于执行OLTP工作负载,Gacc0实现了一种新颖的方案,将执行过程在CPU和GPU之间分割,使用这样一种协同执行方案。Gacc0不仅可以通过将相同类型的事务分组,批有效地利用GPU的向量化执行,而且还可以通过利用GP

75、U内存之外的CPU内存来支持比设备内存更大的数据库。在TPC-C进行的评估中,与纯基于cpu的OLTP执行相比,Gacc0可以使OLTP工作负载提高至6倍。学术探索学术探索-加速加速OLTPOLTP数据库的数据库的图形处理器图形处理器GaccGacc0 0Gacc0Gacc0中的总体执行中的总体执行 Gacc0将一批一批的主导事务委托给GPU,同时在CPU上单独执行其他非主导事务。Gacc0只使用每个事务类型的批处理队列将非常相同类型的事务分组到一个批处理中。GPUGPU上的批量执行上的批量执行一个批处理中的事务使用基于 GPU 的方式以无中止的方式执行确定性 CC 方案。该方案使用 GPU

76、上的预处理步骤,根据冲突对事务进行批处理排序。GaccGacc0 0的存储方案:的存储方案:Gacc0实现了一种复制存储方案,在CPU中保存所有数据的主副本,而在GPU中保存数据的副副本。存储方案的第一个重要方面是,Gacc0不要求将所有数据复制到GPU表中。相反,只复制CPU表的一个子集,甚至单个CPU表的元组的一个子集可以复制到 Gacc0中的GPU上。在 Gacc0的这种部分复制方案下,高效执行的关键是,只有当事务能够在GPU上完全执行时,它们才会被发送到GPU。乐/知/乐/享 同/心/共/济学术探索学术探索-混合混合PMem-DRAMPMem-DRAM持久哈希索引持久哈希索引H Hal

77、oalo在线业务在线业务ETLETLHaloHalo架构概述架构概述Halloc Halloc 管理的组件结构管理的组件结构Halloc 使用页(固定大小的内存块)管理DRAM和PMem内存,DRAM和PMem上的页面分别表示为 DPage和 PPage。它们共享相似的结构,但管理方式不同。Halloc 以增量方式从页面分配内存,这意味着每个内存分配都涉及很少的操作。Halloc 动态地分配易失性内存,为日志条目创建存储桶和持久内存。如图中(a)所示,Halloc-D包含一个段表的htid,该段表正在向dpage_id标识的 DPage请求内存。hal洛克-p包含一个核心的core_id,该核

78、心将记录持久化到由 ppage_id 标识的 PPage。HaloHalo有一个混合架构,由一个有一个混合架构,由一个DRAMDRAM部分和一个部分和一个PMemPMem部分组成。部分组成。DRAM部分包括以下组件:(1)CRHT,一个 volatile哈希表,利用两级结构来支持并发调整大小,其中的每个条目目录指向一个段表。(2)一组缓冲区,用于累计每个核的插入和搜索请求。(3)Halo的高效内存管理器-Halloc。它为DRAM和PMem中的内存块维护两种元数据(hallockd和 hallockp)。(4)DPage表用于对 DPages进行索引。(5)PPage表用于对page进行索引。

79、HaloHalo架构图架构图Halloc管理的组件结构图来源:SIGMOD2022论文、墨天轮乐/知/乐/享 同/心/共/济学术探索学术探索-基于基于RDMARDMA的的分布式分布式B B+树索引树索引ShermanSherman03Sherman是一种基于分块内存的写优化的分布式B+树索引,在商用RDMA网卡中提供高性能。Sherman结合了RDMA硬件特性和RDMA的软件技术,从三个角度提高了索引写性能。首先,为了减少往返,Sherman通过利用RDMA的顺序交付特性来合并相关的RDMA命令。其次,为了加速并发访问,Sherman引入了一种利用RDMA网卡片上内存的分层锁。最后,为了减少写

80、扩增,Sherman采用两级版本机制对B+Tree的数据结构布局进行了调整。经过评估表明,与最先进的设计相比,在典型的写密集型工作负载下,Sherman的吞吐量和延迟都要快一个数量级。它由一组内存服务器(MSs)和计算服务器(CSs)组成。在Sherman之处,MSs装备了巨大的内存服务器。CSs运行客户端线程,通过特定的接口(例如:查找,范围查询,插入和删除)。每个MS和CS都配有RDMA网卡进行网络通信。由于CPU核的数量持续增加,假设CS中总是有大量的客户端线程在运行(几十个甚至几百个)。这些客户端线程协同执行系统服务(例如:事务处理),需要sherman进行数据索引。Sherman是一

81、棵B+树,其值存储在叶节点中。在B-link树中为每个叶子节点和内部节点记录一个同级指针。在存在节点拆分/合并的情况下,客户端线程总是可以通过跟随这些兄弟指针到达目标节点,从而有效地支持并发操作。ShermanSherman的整体的整体架构和交互架构和交互 为了分析 Sherman的表现,将FG+和 Sherman之间的表现差距通过逐一应用每种技术进行分解。与FG+相比,Sherman在只写工作负载和写密集型工作负载下的吞吐量分别高出1.24和1.15。这些改进主要来自命令组合和两级版本。命令组合节省了往返行程,因此每个客户机线程每秒可以执行更多的插入操作。两级版本将 RDMA WRITE的I

82、O大小从节点大小减少到条目大小,从而充分发挥了RDMA极高的小IO率的特点。HOCL是为高竞争的场景设计的。(倾斜的工作负载),因此在统一的工作负载下,它不会增加吞吐量。延迟方面,Sherman在只写工作负载和写密集型工作负载下分别将50p/99p的延迟降低了1.24/2.01和1.19X/1.27X,这主要得益于命令组合和H0CL:命令组合节省了往返时间。HOCL节省了ms端PCle事务时间,提高了锁的公平性。总体性能总体性能来源:SIGMOD2022论文、墨天轮乐/知/乐/享 同/心/共/济来源:vldb 2021论文、墨天轮学术探索学术探索-用于用于NVMNVM的高吞吐量无日志的高吞吐量

83、无日志OLTPOLTP引擎引擎ZenZenETLETL0304ZenZen架构图架构图架构概述:架构概述:Zen是一个用于NVM的高吞吐量无日志OLTP引擎,每个基表都有一个混合表(HTable)。它由NVM中的元组堆、DRAM中的 met cache和每个线程的NVM元组管理器组成。Zen在NVM元数据中存储表模式和粗粒度分配结构。此外,Zen将索引和事务私有数据保存在DRAM中。乐/知/乐/享 同/心/共/济学术探索学术探索-基于基于F Flashlash的高效的高效时序数据时序数据缓存缓存系统设计系统设计TSCache作为一种通用的分布式缓存服务,在高速、大容量的闪存中维护用户提供的时间

84、序列数据,并响应用户检索存储数据的请求。TSCache不直接与后端时间序列数据库交互,这意味着 TSCache不是客户机和数据库服务器之间的中间层,这使TSCache可以同时为各种时间序列数据库提供通用的缓存服务。作为抽象时间序列缓存服务,TSCache为用户提供了一个简单的、基于时间范围的、类似键值的接口,以便轻松地在缓存中存储和检索数据。TSCacheTSCache的架构的架构TSCacheTSCache有五个主要组件:有五个主要组件:(1)基于时间范围的接口:为客户端提供一个通用的、简化的接口,用于存储和检索时间序列数据。(2)Slab manager:TSCache采用基于Slab的管

85、理方式,将传入的数据以大的、写一次读多次的数据块的形式按照时间顺序排列成连续的数据点序列。(3)数据索引:采用两层数据索引结构,快速过滤不相关数据点,加快基于时间范围的搜索速度。(4)缓存管理器:设计了一种自适应的缓存替换方案,以识别对缓存最有价值的数据,并针对时间序列工作负载中唯一的访问模式进行优化。(5)压缩模块:在后台运行一个低成本的压缩过程,消除重复数据点,优化缓存空间利用。TSCacheTSCache的实现的实现实现了一个基于实现了一个基于 Twitter Twitter的的Fat-cacheFat-cache的时间序列缓存原型。原型增加了大约的时间序列缓存原型。原型增加了大约650

86、06500行行C C代码。代码。在原型中,时间序列数据在重新构造的slab中进行管理,以处理时间范围查询。修改了原来的哈希表,使用提出的基于时间范围的跳跃表进行数据索引。Fatcache最初采用的是基于ffo的同步替换策略。原型实现了一个针对时间序列数据定制的异步两级替换算法。对于客户端和缓存服务器之间的通信,TSCache原型通过使用 CJSON库将查询的所有数据点编码到JSON文件中。对标准库所做的一个更改是,将 CJSON结构中的原始整数变量替换为长整数类型,以适应长时间戳。由于JSON在不同平台上的各种语言库中得到了广泛的支持,因此使用JSON文件进行客户端缓存通信可以确保跨系统的兼容

87、性,并允许我们的 TSCache。实现了一个客户端管理器,添加了大约600行基于 fluxdb客户端的Go代码,以访问缓存服务器和后端 fluxdb数据库服务器。为了支持时间范围查询并保持高可伸缩性。来源:vldb 2021论文、墨天轮乐/知/乐/享 同/心/共/济学术探索学术探索-分析数据库的统一缓存存储系统分析数据库的统一缓存存储系统CrystalCrystal03Crystal是一种新的“智能”存储中间件,它与数据库解耦,位于数据库和原始存储之间。Crystal可以被视为用于存储的迷你DBMS或缓存管理系统(CMS)。它作为两个子组件运行:Crystal CMS运行在计算节点上,本地“客

88、户端”可以访问,并能够与远程存储交互。Crystal的客户端称为连接器,是特定于db的适配器,它们自己使用下推谓词实现数据源APl,类似于今天的CSV和 Parquet数据源。总体性能总体性能CrystalCrystal的组件的组件 它维护两个本地缓存它维护两个本地缓存:一个小请求区域(RR)缓存和一个大 oracle区域(OR)缓存,分别对应短期和长期知识。这两个缓存都以高效的柱状开放格式(如 Parquet)存储数据。Crystal通过 Crystal API接收来自连接器的“查询”。查询由一个文件(远程路径)请求和下推谓词组成。Crystal首先检查 Matcher,看看它是否可以使用一

89、个或多个缓存区域覆盖查询。如果是(缓存命中),它将从本地存储返回一组文件路径。如果不是(缓存丢失),有两个选项:(1)它响应远程路径,以便连接器可以像往常一样处理它。Crystal可选地请求连接器将下载和过滤的区域存储在其RR缓存中。(2)从远程下载数据,应用谓词,将结果存储在RR缓存中,并将此路径返回给连接器。CrystalCrystal在大数据生态中的位置在大数据生态中的位置下图中显示了Crystal在当今云分析生态系统中的位置。每个计算节点运行一个DBMS实例;Crystal位于计算节点上,并通过数据源连接器为这些DBMS实例提供服务。其目的是作为大数据系统和云存储之间的缓存层,利用计算

90、节点中的快速本地存储来减少对远程存储的数据访问。来源:vldb 2021论文、墨天轮乐/知/乐/享 同/心/共/济学术探索学术探索-基于基于GPUGPU空间数据库引擎空间数据库引擎的的硬件硬件SPADESPADESPADE,一个基于GPU的空间数据库引擎,它支持丰富的空间查询集。通过采用canvas数据模型和gpu友好的代数,Spade能够支持丰富的查询类型集。此外,由于代数运算符改编自通用的计算机图形操作,GPU为此进行了优化,这有可能利用硬件提供的计算能力。Spade使用计算机图形管道来实现操作符,所以它是可移植的,可以在任何GPU硬件上运行。总体性能总体性能来源:icde2022论文、墨

91、天轮SPADESPADE系统架构系统架构 Spade Spade的架构由四个主要组件组成:的架构由四个主要组件组成:1、关系数据存储。Spade使用的所有数据、索引和元数据都存储为关系表。2、离散画布创造。该组件负责创建画布一空间操作符使用的数据。空间查询引擎。3、空间查询引擎。负责空间查询的规划、优化和执行。4、索引管理器。Spade维护两种类型索引,在执行空间查询时使用。SPADESPADE的局限性与讨论的局限性与讨论迎合长尾迎合长尾。Spade 不能替代 S2 等库和 GeoSpark 等系统。它们可以在不同的场景中获得更好的性能和可扩展性。遏制查询。遏制查询。Spade 目前支持对线和

92、多边形的查询的交叉约束数据集。可以通过简单地将每条线(或多边形)视为顶点集合,并测试是否包含该集合,即基于点的查询可以重用于这个目的。但是对于点而言,交叉点等同于包含测试。CPU-GPU CPU-GPU 混合执行。混合执行。当前支持的查询(纯粹是空间的)是可以分解为一组相交测试和距离计算。这不仅适用于并行化,也可以使用空间代数有效地利用图形管道。因此使用混合方法将是有益的。提高提高 I/O I/O 性能。性能。尽管 I/O 是 Spade 执行时间的瓶颈,但 CPU-GPU通过引入快速互连,带宽不断增加。因此,进一步在硬件上自然会提升 Spade 的性能。乐/知/乐/享 同/心/共/济目录目录

93、 contentcontent一、数据库排行榜及前沿动态一、数据库排行榜及前沿动态二、数据库二、数据库相关新兴硬件相关新兴硬件盘点盘点三、软硬结合的三、软硬结合的学术探索实践学术探索实践四、四、软硬融合一体化产品软硬融合一体化产品实现实现乐/知/乐/享 同/心/共/济1.1.优化数据通道优化数据通道 优化优化I/OI/O 使用更大的内存 内存数据库:Oracle TimesTen、SAP HANA 使用新型的存储器 闪存(SSD)、非易失内存(PCRAM、STT-MRAN)优化内存带宽优化内存带宽 利用好CPU和内存之间的多级缓存 制定带宽更大的CPU 优化网络通讯优化网络通讯 使用Infin

94、iBand 使用RDMA 使用Protocol数据库一体机数据库一体机-软硬结合解决数据库的性能瓶颈软硬结合解决数据库的性能瓶颈2.2.优化计算优化计算 优化优化存储端计算存储端计算 在存储器上加入计算单元,将多余数据尽可能过滤,减少通讯量 定制计算硬件定制计算硬件 为数据库的计算专门定制芯片 专用硬件性能远远超过通用硬件软硬软硬结合结合-提升数据库性能突破数据库边界提升数据库性能突破数据库边界数据库软件通过不断适应硬件能力,在性能上可以不断作出突破,打破传统数据库的边界,找到更广阔的应用场景,为企业创造价值。适配新硬件、打造新架构,成为数据库技术发展的重要趋势。数据库计算节点数据库计算节点

95、标准X86服务器作为数据库集群的计算节点,承担数据库处理功能 高速并发网络高速并发网络 采用高带宽、低延时的Infiniband交换机与RDMA协议,实现系统内部组件的高速互联 数据存储节点数据存储节点 分布式SSD闪存技术,实现数据超高速的读取,消除数据库IO性能瓶颈数据库一体机常用架构数据库一体机常用架构简单易用简单易用默认出厂最佳实践软硬配置减少适配工作,简化了管理和维护数据库一体机的优势数据库一体机的优势可拓展性可拓展性将硬件性能发挥到极致,根据特定硬件推出定制化功能应用应用场景场景政府、公安社保、税务能源、交通金融、制造医疗、教育OLTP应用系统OLAP数据仓库大量数据库整合加强数据

96、库性能替换小型机+高端存储方案0乐/知/乐/享 同/心/共/济Oracle-Oracle-Exadata X9M Exadata X9M 功能功能特点特点来源:Oracle官网Oracle Exadata X9M 通过集成设计为Oracle数据库带来了卓越的性能、极佳的成本效益和极高的可用性卓越的性能、极佳的成本效益和极高的可用性。采用支持云的现代化架构,内含可横向扩展的高性能数据库服务器、智能存储服务器(配有先进的PCIePCIe闪存闪存)、使用持久性内存持久性内存的先进存储缓存以及连接所有服务器和存储的云级RoCERoCE内部结构。采用独有的算法和协议,在存储、计算和

97、网络中实现了数据库智能数据库智能,以极低的成本提供更高的性能和容量,适用于联机事务处理(OLTP)、数据仓库(DW)、内存分析、物联网(IoT)、财务、游戏等类型的数据库负载,部署简单、快速,能为数据库提供全面的支持和保护。智能扫描智能扫描将数据敏感的SQL操作从数据库服务器直接推送到存储服务器去执行,只有与查询直接相关的行和列发送到数据库服务器,加上数据从磁盘和闪存读取,极大的加速了分析查询性能,降低了CPU使用率持久内存(持久内存(PMemPMem)数据和数据和提交加速器提交加速器采用应用透明的 PMem,每个机架可实现 19 微秒的读取延迟、超高速日志写入以及多达 2700 万读取 SQ

98、L IOPS,从而加速关键客户事务 Oracle 数据库工作负载在闪存缓存中实现了在闪存缓存中实现了 In-Memory In-Memory列格式列格式当数据加载到闪存缓存时,自动将这些数据转换为In-Memory列格式。智能扫描还可利用超高速单指令多数据(SIMD)向量指令,从而通过单一指令来处理多个列值。智能扫描结果将以 Oracle 数据库 In-Memory 的格式传回数据库服务器,从而进一步降低了数据库服务器的 CPU 负载由于大量 I/O 操作会自动由几个内存中查找操作取代,所以避免了不必要的I/O操作允许数据库进程通过RoCE网络直接读取和发送 Oracle RAC 消息,大大提

99、高了OLTP响应时间和可扩展性在节点之间移动块时,通过消除redo日志写入延迟的影响,进一步提高 OLTP 性能004存储索引存储索引Exafusion Exafusion Direct-to-Wire Direct-to-Wire 协议协议智能融合块传输智能融合块传输06060404 混合列压缩(混合列压缩(HCCHCC)利用行方法和列方法来极大地压缩数据,520倍压缩比,平均存储节省达到了10倍,并减少加载数据量,大幅降低了成本并显著提高性能,这对于分析负载尤为有效零丢失零复制数据报协议(ZDP)RoCEv2协议,用于Exadata 存储服务器和 Oracle 数据库

100、之间的通信。该协议基于可靠数据报套接字(RDS)OpenFabrics 企业发行版(OFED)每个机架搭载高达 920 TB 的 NVMe 闪存缓存,可消除 95 的磁盘 IO,提升闪存存储的性能和磁盘存储的容量,且成本与磁盘存储相同 智能闪存缓存智能闪存缓存 可靠数据报套接字可靠数据报套接字(RDS)(RDS)0707080809090505In-Memory的容错内存复制功能会在集群数据库服务器之间复制内存中数据的所有子集。当某个数据库服务器发生故障时,查询将透明地访问正常数据库服务器上的复制副本,从而继续执行而不会中断 In-Memory In-Memory 的容错的容错功能功能1010

101、乐/知/乐/享 同/心/共/济星环星环科技科技-助力企业打造自主可控数字底座助力企业打造自主可控数字底座来源:星环科技官网星环科技致力于打造企业级大数据基础软件企业级大数据基础软件,围绕数据的集成、存储、治理、建模、分析、挖掘和流通等数据全生命周期提供基础软件与服务,构建构建明日数据世界明日数据世界。经过多年自主研发,星环科技建立了多个产品系列:一站式大数据基础平台TDH、分布式分析型数据库ArgoDB及交易型数据库KunDB、基于容器的智能数据云平台TDC、大数据开发工具TDS、智能分析工具Sophon和超融合大数据一体机TxData Appliance等,拥有多项专利技术。同时完成了与众多

102、国产CPU、服务器等软硬件适配,并在SSDSSD闪闪存、网络、存、网络、GPU/FPGAGPU/FPGA、系统、系统等方面进行了独特优化,使性能得到飞速提使性能得到飞速提升升。目前公司产品已在十几个行业应用落地,拥有超过一千家终端用户超过一千家终端用户。X86/ARM CPUX86/ARM CPUGPUGPULinux/Linux/国产操作系统国产操作系统私有云私有云/公有云公有云/混合云混合云国产软硬件支持:国产软硬件支持:支持多种国产芯片、服务器以及操作系统,满足国产化替代和信创要求混合架构部署:混合架构部署:支持X86架构和国产鲲鹏、飞腾、龙芯等架构的混合架构,能够运行在异构CPU架构以

103、及多种操作系统混合部署的集群环境中,最大化利用硬件资源,让用户实现国产化平滑替代灵活部署:灵活部署:利用容器技术实现资源调度和资源隔离,支持弹性扩缩容,基于自研的联邦云技术可灵活采用物理机、私有云以及混合云部署基于国产硬件优化基于国产硬件优化:基于SSD闪存、网络、GPU/FPGA、系统等进行独特优化,使得基于国产服务器性能大幅提升,例如ARM(鲲鹏)和X86(海光)在CPU和IO密集型计算上,批处理、流计算、高并发读写、综合检索等性能均提升15%以上。产品优势产品优势传统传统数据库数据库服务器服务器操作操作系统系统CPU CPU 适配长城飞腾、华为适配长城飞腾、华为泰泰山、太极、浪潮、中科曙

104、山、太极、浪潮、中科曙光等光等适配中标适配中标麒麟、银河麒麒麟、银河麒麟麟、统信统信UOSUOS等等适配飞腾、适配飞腾、华为鲲鹏、华为鲲鹏、龙龙芯、申威、海光、兆芯等芯、申威、海光、兆芯等对接对接武汉武汉达梦、人大金达梦、人大金仓、南大通用等仓、南大通用等乐/知/乐/享 同/心/共/济openGaussopenGauss-针对针对多核多核和和大内存大内存的内核的内核创新创新来源:openGauss社区融合内存引擎融合内存引擎MOTMOT架构架构MOT完全支持ACID特性,并包括严格的持久性和高可用性支持。企业可以在关键任务、性能敏感的在线事务处理(OLTP)中使用MOT,以实现高性能、高吞吐、

105、可预测低高性能、高吞吐、可预测低延迟以及多核服务器的高利用率延迟以及多核服务器的高利用率。MOT尤其适合在多路和多核处理器的现代服务器上运行,例如基于Arm处理器的华为TaiShan服务器。鲲鹏鲲鹏NUMANUMA多多核优化核优化线程绑核,避免线程在核间偏移线程绑核,避免线程在核间偏移,同时需要考虑网络中断绑核和后台业务线程绑核区分开。NUMANUMA化数据结构改造化数据结构改造,将全局WALInsertLock数组按照NUMA Node的数目分为多份,分别在对应NUMA Node上申请内存,减少跨核访问。减少跨核访问。CLOGCLOG缓冲池分区缓冲池分区,按照PageNo将日志均分到多个共享

106、内存的缓冲池中,由线程局部对象的数组 ClogCtlData来记录,减少线程访问冲突。减少线程访问冲突。并发控制算法调整并发控制算法调整,使用事务提交快照,每个非只读事务在运行过程中会取一个XID,在事务提交时会推进CSN,同时将当前CSN与事务XID映射关系保存起来,减少单点瓶颈。减少单点瓶颈。在ARMv8.1引入了一种新的原子操作LSE,将计算操作放到存储端去做,借助借助ARMARM原子指令,减少计算开销。原子指令,减少计算开销。openGauss作为一款开源关系型数据库管理系统,针对CPU NUMA 化的硬件发展趋势,从并发控制算法并发控制算法,内核数据结构内核数据结构,数据访问数据访问

107、等全方位进行了优化,释放处理器多核算力,实现两路鲲鹏128核场景150150万万tpmCtpmC性能。同时针对多核和大内存服务器进行了优化,引入了MOT(Memory-Optimized Table,MOT)存储引擎,它为事务性工作负载提供更高的性能提供更高的性能。DIE1DIE4DRAMDRAMDIE2DIE3DRAMDRAMhydrahydra1234Micro partitionMicro partitionMicro partitionMicro partitionGaussDB processGaussDB processGaussDB processGaussDB process乐

108、/知/乐/享 同/心/共/济达梦数据库一体机 DAMENG PAI基于达梦独有的信息生态和共享存储集群技术打造的软硬一体产品。该产品旨在通过工程化的手段,为金融、电信、央企、政府机构等高度依靠 IT 技术支撑的行业用户,提供高性能、高可用、易维护、可扩展高性能、高可用、易维护、可扩展的全栈数据库服务。达梦数据库一体机达梦数据库一体机 DAMENG PAI DAMENG PAI 超融合单元部署架构核心核心价值价值 开箱即用开箱即用:一体化交付,集成数据库运行所需全部组件;一键式快速部署,整体系统配置安装时间缩短80%以上。全栈服务全栈服务:提供数据迁移、数据处理和共享、智能运维和监控、容灾备份等

109、全栈式数据库服务。最佳实践:最佳实践:基于达梦技术专家既往最佳实践经验,对软硬件进行深度兼容和全面性能调优,为用户提供极致的数据库性能。极致可靠极致可靠:采用高可用的硬件冗余设计和数据备份策略,自底向上保障业务连续运行、业务数据零损失,实现 RPO=0,RTO 30秒。最优成本最优成本:以数据库为核心进行软硬件的集中选型、适配和深度优化,大幅降低用户分离采购所产生的前期投入成本。技术架构技术架构 将深度优化的超融合架构超融合架构融入到标准机柜,集计算、存储、迁移、备份、管理、监控、运维、安全等功能为一体,为用户提供一体化的一体化的“插电即用、按需申请、秒级发放插电即用、按需申请、秒级发放”的数

110、据库云服务的数据库云服务。超融合单元基于 3 台(可扩展)高性能服务器每台作为一个单元节点,结合 NVMe NVMe 全闪存磁盘全闪存磁盘、50Gbps 50Gbps 高速网络高速网络,形成统一资源池的集群,为系统提供更好的性能和扩展性。超融合单元为核心单元,具备高性能、高可用、高效率及易维护的特点,为企业级用户提供弹性可扩展的全场景云数据库服务。底层资源深度优化的超融合架构底层资源深度优化的超融合架构,通过搭载超融合软件,提供计算层面、存储层面、网络层面的高可靠性服务。云数据库产品的深度调优云数据库产品的深度调优,对数据库 CPU 参数、内存池、缓冲区、HASH、排序等在超融合架构下的定向性

111、能优化,提供单实例、主备集群、读写分离集群、并行处理集群等多种服务能力的最优解。来源:达梦数据库官网乐/知/乐/享 同/心/共/济PBData-V-PBData-V-开箱即用的数据库云平台开箱即用的数据库云平台PBData-V 数据库一体机是上海天玑数据技术有限公司为各种数据库环境设计的融合架构,通过一体化的交付方式简化数据库平台的基础架构建设与运维,将复杂的硬件集成与调优工作封装于系统内部,向用户提供开箱即用的数据库云平台。精简配置:是一种动态智能管理分配空间资源的技术手段,可以系统物理资源管理调度灵活性。PBDataPBData架构图及架构图及特性特性来源:上海天玑官网PBData-V(通

112、用版)采用了 ROW(Redirect On Write)的快照技术,不会降低源卷性能,快照可瞬间生成,单卷快照数量最大可支持 65535 个,可满足当前绝大多数业务场景需求。QoS 功能:允许用户在卷级别进行 IOPS 和吞吐量限制,避免多个应用之间因争抢资源造成互相影响。支持设置最大带宽和最大 IOPS,提供 2 种策略,总 QoS(无需区分读写)、读 QoS 和写 QoS;针对个别业务临时突发 IO 需求,允许设置 Burst QoS 可在一定时间内性能值超过基本配额。双活架构:1.存储双活:基于两个数据中心两套 PBData-V(通用版)的 SmartStor-X 存储集群构建双活容灾

113、关系,两套存储创建基于双活 pair 关系的逻辑卷,通过复制集群转发跨数据中心的 IO 流量,实现两个数据中心的主机同时对双活 pair 关系的逻辑卷进行读写。2.Oracle双活集群:Oracle 数据库双活架构,采用主机房侧和备机房侧各部署完整的 PBData-V(普通版)数据库集群,各机房 PBData-V 一体机的 IB 交换机连接 Mellanox 的长距交换机,再通过裸光纤直连两机房的长距交换机,这样两机房间的 IB 网络便被打通。便捷性:“一体化”、“机柜式”的交付模式,以类似家用电器的方式交付整套数据库平台。PBData-V 的全部硬件组件都采用工业标准设备,包括 x86 服务

114、器、InfiniBand 交换机及各种板卡、硬盘以及闪存设备,未使用任何定制硬件。可靠性:PBData-V 采用全冗余架构,服务器,Infiniband 交换机,Infiniband HCA 卡等均冗余,任何一个设备和节点出现故障,均不影响在线业务的可用性:在存储层,支持多副本与 EC 冗余机制;在存储互联链路层,采用 multipath双 active 多路径方式;在数据库计算层,借助 RAC高可用机制,避免了计算节点单点故障造成的数据库服务丢失的可能。高性能:SmartIOV 分布式算法能够将负载平均至每一个磁盘;SmartCache 优越的缓存技术能够将高速介质的性能发挥到极致;Smar

115、tSCSI 新增 Nvme Over Fabric 协议支持,性能提升 30%,在传输协议层的优化也将数据传输中引入的开销降到最低。扩展性:PBData-V 基于 x86 工业标准服务器构建,因此具备所有工业标准服务器的单节点可维护性,包括在线更换硬盘、电源、风扇等。在硬件上,兼容支持多种硬件厂商;在系统上,兼容支持多种操作系统版本;在数据库上,兼容支持多种主流关系型数据库及主流非关系型数据库;在网络上,兼容支持多种网络类型。并且支持多版本并存以及支持软件在线滚动升级。乐/知/乐/享 同/心/共/济zData-zData-基于云化架构的数据库高性能一体机基于云化架构的数据库高性能一体机来源:墨

116、天轮zData是云和恩墨自主研发的、拥有卓越性能的数据库一体机。该产品基于云化架构,是Oracle数据库高性能运行平台。硬件方面以x86服务器和闪存为基础,并通过高速互连网络构建数据库运行的通路;软件方面实现多租户、高可用、高安全的分布式存储和资源统一管理。软硬件配合形成开放的、高可靠、弹性伸缩、卓越性能的数据库运行环境,解决了用户当前性能瓶颈和未来的扩展问题,大幅改善了管理体验。产品组件产品组件产品配置产品配置zData基于闪存卡可提供超高性能和超低延迟,闪存加速卡在企业服务器端利用NVMe-oF技术,为数据库提供非凡的输入/输出性能,整体速度较传统协议方式提升60%。zData Light

117、 Storage是zData的分布式存储管理软件。它利用基于服务器的内部直连式存储来创建一个虚拟的、可扩展的存储池,相较于外部传统光纤通道SAN存储更加灵活。zData Light StoragezData基于56-200Gb InfiniBand高速网络或RoCE网络,采用全冗余网络架构,保证足够带宽来承载zData Light Storage存储管理软件的数据传输,同时为Oracle RAC集群的高性能读写提供保障。zManager为zData提供智能方便的安装、部署和管理功能,具备对硬件设备的深度实时监控和对硬件设备自动远程管理维护能力;同时,还可以为用户提供简单、便捷、友好的操作体验,

118、极大降低了管理和运维成本。zManager 智能管理工具标准版(标准版(zData 5600zData 5600)标准版起始配置为2计算节点+3存储节点+1管理节点,计算节点和存储节点可分别按需扩容,釆用 InfiniBand 交换机高速互联,通过存算分离的方式,为客户构建可扩展的、高性能和可靠性的数据库私有云支撑平台。精简版(精简版(zData 2200/2600zData 2200/2600)精简版固定配置为1管理与仲裁节点+2计算存储融合节点,无需 InfiniBand 交换机,采用服务器InfiniBand HCA卡直连方式,并搭载恩墨自研的Bethune X数据库智能监控巡检软件,为

119、客户构建低成本、高性能、极简运维的数据库环境。双活版一体机双活版一体机双活版一体机通过高速 InfiniBand 网络连接同城异地的两套 zData 数据库一体机,为客户关键业务系统构建高可用、高性能、高安全的同城双活数据中心。双活版起始配置为4计算节点+6存储节点+1管理仲裁节点,计算节点和存储节点可分别按需扩容。闪存卡高速互连网络客户价值客户价值软硬解耦:兼容性强,支持x86或ARM架构资源云化:在线动态扩展节点,容量和性能弹性增长,快速响应业务需要开 放 架 构开 放 架 构稳 定 可 靠稳 定 可 靠卓 越 性 能卓 越 性 能数据库专用型分布式存储:软件复杂度低于通用型SDS,更加稳

120、定可靠安全架构:全冗余架构和多副本存储,单点故障不影响系统正常运行同城双活:两个数据中心均能对外提供读写服务,数据零丢失、业务零中断,最大化利用容灾资源,提升整体性能机制IO:单计算节点IOPS200w,IO吞吐量20GB/s,磁盘访问延迟0.6ms技术加速:NVMeOF高速协议加持,InfiniBand或以太网高速互连,NVMe高速闪存快速存取,整体速度较传统协议方式提升60%乐/知/乐/享 同/心/共/济QData-QData-高性能数据库高性能数据库一体机一体机 开放:使用 x86 通用平台、PCIe Flash 高性能存储卡替代封闭体系的小型机、高端存储。定制:基于用户需求提供定制化的

121、计算性能和存储容量。高性能:510 倍于传统架构的性能提升,在 OLTP 场景下性能不低于 Oracle Exadata。高可用:计算层、互联层、存储层无单点,全冗余。高性价比:低于传统架构 50%的成本,专业的产品服务团队。QData 是沃趣科技推出的一款高性能数据库一体机产品,通过将 Oracle 数据库、PC Server、Flash 技术整合在一起,提供高可用、高性能、可扩展的数据库服务,适用于 OLTP 和 OLAP 各种应用场景。QDataQData产品产品优势优势 统一方案:数据库计算层、存储层、网络互联层一体化解决方案。线性扩展:每个层面均可实现在线扩展。相关性能随扩展线性增加

122、。分布式存储:所有的数据跨节点存储,自动分布在不同的存储节点上,并且能根据需要自动重新平衡分配数据。x86 服务器:计算层使用开放的 x86 架构服务器替代封闭的小型机。PCIe Flash 存储:使用高性能 PCIe Flash 高速存储设备替换传统的机械磁盘,随机 iops能达到 10 万-80 万,并且在各种极端情况下 iops 表现稳定。实现了存储能力的极大提升。Inifiniband 互联:互联层使用 Infiniband 高速网络设备替换传统的 FC-San 网络,每个端口高达 40Gb 带宽,端到端 200 纳秒延迟,实现计算节点之间及计算节点和存储节点的 IO低延迟高吞吐。架构

123、架构优势优势QDataQData架构图架构图来源:沃趣科技官网QDataQData产品产品架构架构乐/知/乐/享 同/心/共/济TDataTData-高可用高可用数据库一体机数据库一体机来源:墨天轮、腾讯云官网TData 是腾讯云开发的数据库一体机,它融合了高性能计算、热插拔闪存、Infiniband 网络、RDMA 远程直接存取数据的数据库解决方案,适用于 OLAP、OLTP 以及混合负载等各种应用场景下的极限性能需求,支持在线横向扩展,根据用户需求增加计算节点、存储节点,支持多套 TData 数据库一体机级联。支持 Oracle、SQL Server、MySQL 和 PostgreSQL

124、等各种主流数据库。TData TData for Oraclefor Oracle数据库一体机架构数据库一体机架构Compute Node InfiniBands SwitchStorage NodeCompute Node.Compute Node InfiniBands SwitchStorage Node.Storage NodeNetworkManagementSystemTMGRTMON计算节点计算节点计算节点基于标准的 X86 软、硬件架构,计算节点使用高性能 X86 服务器,负责提供数据库计算能力。存储节点存储节点存储节点基于标准的 X86 软、硬件架构,配置 PCIe 高速闪存

125、卡,提供数据存储能力。高速网络高速网络内部通过 InfiniBand 高速网络将多个计算节点及存储节点进行互联,采用全冗余架构设计,计算资源及存储资源均能按需进行横向扩展,性能随节点的增加而呈线性上升。运维监控运维监控TData 管理控制台中可查看数据库整体运行状况,可在多数据库同时间段间或同数据库不同时间段间多维度对比实例运行负载情况。TData 支持标准的 Oracle Data Guard 以及 Oracle GoldenGate 高可用部署方案,同时支持基于 InfiniBand 网络的同城双中心双活架构设计,两个数据中心均处于 ACTIVE 状态,同时对外提供相同的业务访问服务,在一

126、个数据中心故障时,用户访问自动切换到存活数据中心,提供更高的容灾能力,同时这种架构能够使得设备利用率最大化。同城高可用同城高可用借助于腾讯金融云“两地三中心”合规机房,用户部署同城主备、同城双活、两地三中心等 Oracle 高可用方案变得十分简单,极大地减少了用户建设时间、建设成本以及运维成本。两地三中心两地三中心乐/知/乐/享 同/心/共/济Gartner 报告预测到2022年75%的数据库将托管在云端,未来,数据库将深度结合云原生与分布式特点,帮助用户实现最大限度资源池化、弹性变配、超高并发等能力。目前市场上物理服务器+集中式存储的传统集成架构、VMware+集中式存储的虚拟化部署模式、传

127、统数据库一体机等难以全面满足用户需求,基于超融合的数据库云化基础设施应运而生。SmartXSmartX与人大金仓推出超融合数据库与人大金仓推出超融合数据库云一体机云一体机SmartX SmartX 与人大金仓:与人大金仓:超融合数据库云一体机超融合数据库云一体机方案优势方案优势:一站式一站式:无需单独采购存储、服务器设备及虚拟化软件;三节点起步,按需投资,动态扩容;支持主流国产化软硬件环境;整合数据中心资源,降低 TCO。高性能高性能:高性能分布式存储+超高速网络,提供低时延 I/O 能力;软硬件深度融合,提供端到端的高并发性能保障;逻辑时钟+硬件指令级优化,有效提高数据库交易性能。云服务云服

128、务:SmartX 提供超融合云基础设施,KES 提供成熟的企业级数据库管理软件,KRDS 提供全生命周期管理的云数据库服务平台,形成深度融合优化的数据库云服务解决方案。超融合云数据库一体机超融合云数据库一体机 VS VS 传统数据库一体机传统数据库一体机来源:SmartX官网乐/知/乐/享 同/心/共/济往期报告免费下载往期报告免费下载https:/www.modb.pro/doc/59620https:/www.modb.pro/doc/61120https:/www.modb.pro/doc/65548https:/www.modb.pro/doc/71694https:/www.modb.pro/doc/74438

友情提示

1、下载报告失败解决办法
2、PDF文件下载后,可能会被浏览器默认打开,此种情况可以点击浏览器菜单,保存网页到桌面,就可以正常下载了。
3、本站不支持迅雷下载,请使用电脑自带的IE浏览器,或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩,下载后原文更清晰。

本文(墨天轮:2022年9月中国数据库行业分析报告(49页).pdf)为本站 (淡然如水) 主动上传,三个皮匠报告文库仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对上载内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知三个皮匠报告文库(点击联系客服),我们立即给予删除!

温馨提示:如果因为网速或其他原因下载失败请重新下载,重复下载不扣分。
会员购买
客服

专属顾问

商务合作

机构入驻、侵权投诉、商务合作

服务号

三个皮匠报告官方公众号

回到顶部