《H3C:全新软件定义存储解决方案(10页).pdf》由会员分享,可在线阅读,更多相关《H3C:全新软件定义存储解决方案(10页).pdf(10页珍藏版)》请在三个皮匠报告上搜索。
1、解决方案2022 年 1 月行而不辍,未来可期英特尔携手 H3C ONEStor 构建全新软件定义存储解决方案企业数字化转型的根本是企业商业模式的创新,伴随而来的是企业数据的爆发式增长。传统存储方案无法满足企业业务发展的需求,暴露出存储资源管理敏捷性不佳、可扩展性低和系统集成能力差等问题,只能通过创新的存储解决方案解决。更加灵活、易于扩展和管理、更为经济的软件定义存储(SDS)应运而生,在企业级存储舞台上逐渐发挥重大作用,并成为大势所趋。新华三技术有限公司(以下简称:H3C)与英特尔公司合作进行了软件定义存储方案的探索,创新性地应用先进的英特尔技术,推出了新一代全 NVMe 软件定义存储 H3
2、C ONEStor 5.0,为客户提供具备卓越性能表现、低总体拥有成本(TCO)、高可扩展性、高可靠和易运维的企业级存储解决方案。行业背景:全闪存 + 存储服务融合 + AI 赋能IDC 数据显示,2021 年前三季度中国软件定义存储市场获得高速增长,市场规模同比增长 54.2%;未来五年,中国软件定义市场将以 24.4% 的复合年增长率(CAGR)快速增长,到 2025 年市场规模将接近 288 亿人民币。随着越来越多的应用与数据向云端迁移,以及大数据、高实时性数据分析、人工智能(AI)等上层应用的快速创新,软件定义存储市场呈现出如下发展趋势: 存储介质进化到全闪存:企业级存储对于高性能的要
3、求难有止境,而这正是全闪存阵列的重要优势之一。除此之外,全闪存相比传统介质,还具备高可靠性、低功耗等优势。特别是在价格显著降低之后,其在软件定义存储中的比重渐趋提升,高密度部署将成为主流的部署方式。 存储服务融合:在数字化建设过程中,企业普遍部署了不同类型、不同品牌的存储系统,通过协议互通、高级特性互通等方式,实现对这些存储资源的统一管理至关重要。此外,企业还更多地部署了基于超融合架构的统一分布式软件定义存储,实现存储、计算、网络等资源的融合与共享。 数据觉醒与业务创新:来自智慧城市管理、短视频、物联网等应用的数据每天都在快速增长,并主要以非结构化和半结构化的形式存在,如何有效存储、分析和利用
4、数据中蕴藏的深层价值,成为软件定义存储的一个重要目标。“在本次合作中,我们融合了英特尔新一代英特尔 至强 可扩展处理器、英特尔 傲腾 持久内存、英特尔 QAT 等卓越的产品与技术,以及 H3C 在分布式存储领域的深厚积累与持续创新,构建了全新面向数字化应用场景的软件定义存储解决方案,全面优化了存储系统的性能、经济性与可用性。而这一合作远不是终点,双方将聚焦更多高价值行业的场景化需求,携手深耕前沿存储技术,帮助更多企业加速数字化转型之旅。” 田小强H3C ONEStor 分布式存储总经理行而不辍,未来可期 英特尔携手 H3C ONEStor 构建全新软件定义存储解决方案2传统软件设计无法释放高速
5、硬件性能传统存储软件栈的迭代往往跟不上硬件快速设计更新的速度,导致无法释放新型高速硬件的性能。对于存储级内存(SCM)等前沿硬件,更是需要颠覆式的软件设计。只有面向高并发的架构设计和全新的开发框架,才能充分释放全闪存储的性能。可靠性和运维需要持续优化在大规模软件定义存储部署中,集群的运维一直是工程师们需要突破的难题。面对大规模高密度部署,延长固态盘使用寿命,有效降低故障率,依然是工程师们在实现故障零容忍方面的努力方向。新的应用场景如何突破传统技术的限制,推动面向具体应用场景的数据觉醒,赋能新型业务模式,是软件定义存储需要迫切解决的问题。从突破存储的容量极限,到智能化的分层,再到面向特定应用场景
6、的支持和优化,软件定义存储需要不断推陈出新。为了解决上述问题,H3C 与英特尔合作,基于新一代的软硬件技术,开启了新一轮的软件定义存储创新之旅。可靠性 性能 场景应用 三大挑战 图 1. 软件定义存储面临的三大挑战软件定义存储面临数字化转型带来的新挑战随着企业数字化转型进程的持续加速,企业商业模式和业务创新使得新型的上层应用不断涌现。大数据、机器学习、AI、物联网、商业智能(BI)与数据可视化等不同类型的应用和数据对存储方案提出了更高的要求。与此同时,以英特尔 傲腾 持久内存和固态盘为代表的存储介质不断演进,对存储软件架构也提出了新的要求:如何充分发挥这些新型存储介质的性能。行而不辍,未来可期
7、 英特尔携手 H3C ONEStor 构建全新软件定义存储解决方案3小 IO 聚合技术 随机 IO 聚合顺序大 IO 重删压缩 大幅降低 TCO Dcache 分布式缓存技术 基于 SCM 存储级别内存 IO 路径最短化 RDMA 网络技术 Infiband/RoCE v2 高吞吐 低时延 高性能大比例 EC 算法 满条带聚合 最大支持 EC 22+2 ONEStor 5.0 解决方案:H3C 与英特尔携手打造基于 H3C ONEStor 5.0 的全栈式软硬协同解决方案图 2. H3C ONEStor 5.0 五大核心技术图 3. H3C ONEStor 5.0 四大优势全流程优化 全面优化
8、的算法,全新全闪架构,释放 SSD 最大性能 可靠基石 丰富的企业级特性 简单易用 为数据提供有生命力的 土壤,为用户打造坚实的 数据基石 块、文件、对象、 大数据多协议融合 完备丰富的企业级特性 一分钟快速上线 三分钟业务熟练 快 稳 多 简 H3C ONEStor 5.0 搭载了第三代英特尔 至强 可扩展处理器、第二代英特尔 傲腾 持久内存和第二代英特尔 傲腾 固态盘,并在软件设计层面进行了广泛的创新,实现了软硬件协同全栈优化设计,进一步提升了系统的性能、TCO 与可用性。H3C ONEStor 历程从 2015 年到 2021 年,H3C ONEStor 一直坚持技术创新,稳扎稳打,树立
9、了稳健低调的技术形象,不忘初心,为客户提供最大价值。一路走来,从中小规模的冷存储部署,到混闪性能的突破,从单一的应用模式,到全协议多场景的丰富应用,H3C 的工程团队克服了各种技术困难,将 ONEStor 打造成一款具备出色性能和可靠性的、简单易用的商用企业级存储产品。2021 年是 ONEStor 的全闪开篇。新一代 H3C ONEStor 5.0 基于对性能的无限追求,全面重构了存储软件栈,完全释放 SCM 和 Flash SSD NVMe 高速存储设备性能,为用户带来高性能、低时延、高可靠的全新 SDS 产品。H3C ONEStor 5.0 搭载了五大核心技术突破:行而不辍,未来可期 英
10、特尔携手 H3C ONEStor 构建全新软件定义存储解决方案41 基于英特尔 2020 年 4 月 27 日(基准)和 2021 年 3 月 23 日(新)的测试。配合工作负载/配置信息请见 www.I 个节点,Neon City 上 1 个英特尔至强铂金 8280L 处理器(28 核,2.7 GHz),采用单个英特尔傲腾 PMem 模组配置(6 个 32 GB DRAM;1 个 128 GB, 256 GB, 512 GB 英特尔傲腾 PMem 模组),ucode 版本:04002F00,运行 Fedora 29 内核 5.1.18-200.fc29.x86_64 和英特尔 Memory
11、Latency Checker(英特尔 MLC)3.8 版,采用 App Direct 模式。新配置:1 个节点,Wilson City 上 1 个预制的英特尔至强 ICX-XCC 处理器(38 核,2.0 GHz),采用单个英特尔傲腾 PMem 模组配置(8 个 32 GB DRAM;1 个 128 GB, 256 GB, 512 GB 英特尔傲腾 PMem 模组),ucode 版本:8D000270,运行 RHEL 8.1 内核 4.18.0-147.el8.x86_64,英特尔 MLC 3.9 版,采用 App Direct 模式。第三代英特尔 至强 可扩展处理器英特尔 QLC NAND
12、 固态盘英特尔 傲腾 持久内存英特尔 QuickAssist 技术(英特尔 QAT)已针对云、企业、高性能计算、网络、安全和物联网工作负载进行优化,提供 8-40 个强大内核以及广泛的频率、功能和功率选择;同时集成了工作负载加速功能,其中包括英特尔 深度学习加速技术、英特尔 高级矢量扩展 512 技术和英特尔 SpeedSelect 技术。第三代英特尔 至强 可扩展处理器基于平衡、高效的架构,该架构可提升内核性能、内存和 I/O 带宽,为处理从数据中心到边缘的各种工作负载提速。基于可靠技术而构建,将高密度存储与卓越的低延迟读取性能相结合,能够支持现代的关键业务工作负载,包括 ML、AI、CDN
13、、分析和大数据。此外,英特尔 QLC 3D NAND 固态盘能够整合数据中心中的存储占用空间,帮助降低 TCO。英特尔 傲腾 持久内存 200 系列是英特尔新一代既支持安全功能,又可靠、持久的内存模组。它提供大容量和原生持久性,有助于从更大的数据集中攫取更多价值,同时,由于能够在更靠近 CPU 的地方快速访问更多数据,因此也提高了敏捷性。与第一代产品相比,第二代英特尔傲腾持久内存平均增加了 32 的内存带宽1。可跨界提高应用程序和平台的性能。这包括对称加密和身份验证、不对称加密、数字签名、公开密钥加密、DH 和纠错内存以及无损数据压缩。通过为软件定义的基础设施(SDI)环境添加英特尔 QAT,
14、可加快应用程序运行。它为安全性、身份验证和压缩提供了软件化的基础,可显著提高标准平台解决方案的性能和效率。H3C ONEStor 5.0 应用的英特尔 产品与技术行而不辍,未来可期 英特尔携手 H3C ONEStor 构建全新软件定义存储解决方案5H3C 与英特尔携手进行全栈优化如开篇所提,面向全闪的 H3C ONEStor 5.0 是 H3C 与英特尔携手打造的全栈优化产品,关键优化技术包括 DCache 加速、重删压缩加速、固态盘耐用性提升等多个方面,下面将全面展开。应用层 存储监控 告警 日志 资源监控 性能监控 设备管理 巡检 虚拟化 容器 云平台 主流数据库 非结构化数据 大数据 A
15、I 存储管理 一键部署 配置向导 SNMP Rest API 在线扩容 在线升级 英特尔 至强 可扩展处理器 基础服务 负载均衡 多级故障域 防静默损坏 数据重构 元数据检索 厚/精简配置 增值服务 QOS 快照 克隆 远程复制 双活 回收站 性能加速 分布式 Cache 热、温、冷数据迁移 快速重构 iSER/iSCSI/RBD 块服务 NFS/CIFS/SMB/FTP/HTTP 文件服务 S3/SWIFT 对象服务 HDFS 大数据服务 高可用组 垃圾回收 副本、EC 小 IO 聚合 WORM 数据重删 HDD 数据压缩 AI 预测 块数据预取 英特尔以太网 英特尔 QAT 英特尔 傲腾
16、持久内存 英特尔 傲腾 固态盘 图 4. H3C ONEStor 5.0 架构图 5. H3C ONEStor 5.0 DCache 加速 DCache 加速H3C ONEStor 5.0 在内存 Cache 设计基础上,实现了三重创新:a)为了兼顾写入性能和数据可靠性,创新性地引入了英特尔 傲腾 持久内存,利用其面向字节寻址的能力和接近内存的访问时延,将 I/O 数据以日志形式保存在第二代英特尔 傲腾 持久内存中;b)DCache 同时采用多节点多副本持久化的机制,保障数据高可靠性与集群高可用性;c)DCache 后台通过异步智能刷盘控制,将 DCache 中的数据经过聚合、重映射、重删、压
17、缩等处理后写入主存盘,确保毫秒级别的低写入时延。这一三重创新设计在保证数据全局可靠性的同时,缩短了写入 I/O 路径,高效优化了写入延迟。 副本 副本 副本 非易失性存储 块 内存 Cache 分布式 DCache 前台写 IO 文件 对象 异步:数据后台写硬盘 TLC/QLC SSD 分布式主存盘 英特尔 傲腾 持久内存 英特尔 傲腾 固态盘 行而不辍,未来可期 英特尔携手 H3C ONEStor 构建全新软件定义存储解决方案6图 6. 新一代 H3C ONEStor 5.0 与上一代产品的对比优势68K 随机 7:3 混合读写,单节点 IOPS 5.0 新架构 3.0 版本 1M 顺序大
18、IO,单节点带宽 5.0 新架构 3.0 版本 性能提升 8 倍 顺序读比率越高提升越大 最大提升 5 倍 快照性能影响 2GB/s,且在大规模集群下性能可以线性增长。同时系统还需要具备高可扩展性,以应对每天路测车辆生成 30TB 数据、每个月增长 1PB 带来的挑战。此外,高可靠性也同样非常重要,以避免出现业务停机等事故。H3C 为该新能源汽车企业提供了基于 H3C ONEStor 5.0 的业内领先的自动驾驶存储方案。该方案具备分布式全对称架构、支持 2048 个节点和 EB 级容量,通过智能负载均衡、分布式 Cache 加速、小文件聚合、元数据分离部署提供高性能存储,并具备安全可靠、低
19、TCO 等优势,帮助企业推动了自动驾驶系统的高效创新。混合云在混合云场景中,企业往往需要对私有云、公有云等不同云平台的资源进行统一管理,这种方式带来了额外的复杂性。不同应用的多界面管理复杂,而企业则希望能够降低海量数据存储中存在的性能瓶颈、扩展瓶颈、管理瓶颈。以某金融企业为例,该企业通过采用面向 HCI 的存储系统,来承载虚拟化、混合/私有云、电子业务、企业数据中心、办公 OA 等业务。由于混合云之间的资源管理与分配较为复杂,客户希望使用简单的 IT 基础架构来简化运维,实现统一运维。基于 H3C ONEStor 5.0 的全运行态统一存储可以通过一套超融合集群,构建块 + NAS + 对象统
20、一存储资源池,大幅缩减 TCO 成本;不同类型的存储资源池相互隔离,资源占用互不影响,统一集中管理。同时,该方案真正实现存储和计算资源共享、高性能与容量相结合,数据分层存储则实现高性能与低 TCO 兼得。图 9. 自动驾驶案例图 10. 金融行业数据分析行而不辍,未来可期 英特尔携手 H3C ONEStor 构建全新软件定义存储解决方案9展望:携手深耕前沿存储技术,定义全新数字世界在 “数字定义世界、软件定义未来” 的全新时代中,产业数字化、数字产业化、企业数字化转型等快速发展,必然会在未来带来持续的数据存储需求。H3C 依托从软件到硬件、从集中式存储到软件定义存储、从数据保护到超融合的存储产
21、品线,正在帮助更多企业推动数字化转型进程,从数据中获得更多、更富价值的洞察。同时,H3C 将践行 “云智原生” 战略,聚焦下一代闪存、新存储协议、AI 和智慧中枢框架等的完善,并与英特尔携手围绕 XPU 愿景,在面向数据中心的下一代英特尔 至强 可扩展处理器(Sapphire Rapids)、基础设施处理器(IPU)等领域开展进一步合作。应用领域拓展 HPC 智能制造 生物医疗 金融 AI 智能引擎 智能缓存 智能运维 AIOps 混合云 HCI 超大规模部署 存储级内存 SCM RDMA 新一代存储软件架构 Extreme Scale Storage 下一代 高性能存储方案 图 11. H3
22、C 下一代高性能存储发展方向实际性能受使用情况、配置和其他因素的差异影响。更多信息请见 www.I 英特尔公司版权所有。英特尔、英特尔标识以及其他英特尔商标是英特尔公司或其子公司在美国和/或其他国家的商标。行而不辍,未来可期 英特尔携手 H3C ONEStor 构建全新软件定义存储解决方案关于新华三紫光股份旗下新华三集团作为数字化解决方案领导者,致力于成为客户业务创新、数字化转型最可信赖的合作伙伴。新华三拥有计算、存储、网络、安全等全方位的数字化基础设施整体能力,提供云计算、大数据、智能联接、信息安全、新安防、物联网、边缘计算、人工智能、5G 等在内的一站式数字化解决方案,以及端到端的技术服务。同时,新华三也是 HPE 服务器、存储和技术服务的中国独家提供商。关于英特尔英特尔(NASDAQ: INTC)作为行业引领者,创造改变世界的技术,推动全球进步并让生活丰富多彩。在摩尔定律的启迪下,我们不断致力于推进半导体设计与制造,帮助我们的客户应对最重大的挑战。通过将智能融入云、网络、边缘和各种计算设备,我们释放数据潜能,助力商业和社会变得更美好。如需了解英特尔创新的更多信息,请访问英特尔中国上海品茶 以及官方网站 。