《仝雅静-对象存储GeoScene应用.pptx》由会员分享,可在线阅读,更多相关《仝雅静-对象存储GeoScene应用.pptx(38页珍藏版)》请在三个皮匠报告上搜索。
1、GeoScene云原生o b j e c t s t o r a g e w i t h G e o S c e n e u t i l i t y易 智 瑞 创 新 中 心目录1.对 象 存 储 类 型 及 其 优 势、缺 点、用 法 比 较2.本 地 搭 建 对 象 存 储 的 软 件 和 框 架3.G e o S c e n e 云 存 储 选 项4.在 线 商 用 与 本 地 部 署 对 象 存 储1.对象存储介绍o b j e c t s t o r a g e i n t ro d u c t i o n云存储是一种服务模型,其中数据被传输和存储在远程存储系统上,在那里对其进行维护
2、,管理,备份并通过网络(通常是Internet)提供给用户。用户通常按每次消费的月费率为其云数据存储付费。云存储基于虚拟化存储基础架构,具有可访问的接口、近乎即时的弹性和可扩展性、多租户和计量资源。基于云的数据存储在位于本地或由第三方云提供商管理的数据中心的不同商用存储服务器的逻辑池中。云服务提供商管理和维护传输到云的数据。存储服务在云中按需提供,容量根据需要增加和减少。选择云存储的组织无需购买、管理和维护内部存储基础架构。云存储从根本上降低了每GB的存储成本,但云存储提供商增加了运营费用,这可能使该技术的成本大大提高,具体取决于其使用方式。什么是云存储?云存储的类型公 有 云。这些存储服务提
3、供了一个多租户存储环境,适用于订阅的非结构化数据。数据存储在服务提供商的数据中心,存储数据分布在多个地区。客户通常按使用量付费,类似于公用事业支付模式。在许多情况下,还会根据访问的频率和数据量收取交易费用。私 有 云。私有云存储服务是部署为受防火墙保护的专用环境的内部存储资源。内部托管的私有云存储实现模拟了商业公共云服务的某些功能,为业务用户以及对象存储协议提供了存储资源的轻松访问和分配。私有云适用于需要自定义和更好地控制其数据或具有严格数据安全或法规要求的用户。混 合 云。私有云存储和第三方公共云存储服务的混合体,具有一层编排管理,可在操作上集成这两个平台。公有云混合云私有云混合模型更加灵活
4、且具有更多数据部署选项。可以将主动使用和结构化数据存储在本地私有云中,将非结构化和存档数据存储在公共云中。混合环境还可以更轻松地处理数据创建或访问中的季节性或意外峰值,这些峰值通过云突发到外部存储服务,并避免添加内部存储资源。近年来,混合云模型的采用有所增加。尽管混合云具有诸多优势,但它们带来了技术、业务和管理方面的挑战。例如,私有工作负载必须访问公共云存储提供商并与之交互,因此兼容性以及可靠且充足的网络连接是重要因素。企业级云存储系统应可扩展以满足当前和未来的需求,可从任何地方访问且与应用程序无关。混合云对象存储(也称为基于对象的存储)是一种存储策略,它将数据存储作为不同的单元(称为对象)进
5、行管理和操作。这些对象保存在单个仓库中,不会在其他文件夹内的文件中保存。相反,对象存储会合并构成文件的数据片段,将其所有相关元数据添加到该文件,并附加自定义标识符。对象存储向文件添加全面的元数据,消除了文件存储中使用的分层文件结构,并将所有内容放入平面地址空间(称为存储池)中。元数据是对象存储成功的关键,因为它提供了对存储池中数据的使用和功能的深入分析。什么是云/对象存储?对象存储获取每条数据并将其指定为对象。数据保存在单独的仓库中,而不是文件保存在文件夹中,并与关联的元数据和唯一标识符捆绑在一起以形成存储池。对象存储、文件存储、块存储9文件存储将数据作为单条信息存储在文件夹中,以在其他数据中
6、组织数据。这也称为分层存储,模仿纸质文件的存储方式。当用户需要访问数据时,用户的计算机系统需要知道找到它的路径。块存储将文件分解为单个数据块,然后将这些块存储为单独的数据块。每条数据都有不同的地址,因此它们不需要存储在文件结构中。成本更低基于REST(允许HTTP请求)许多计算机可以同时有效地访问同一存储大小几乎无限的(对象存储可以是数PB)。具有高延迟(对象存储请求可能需要40毫秒才能返回,这在发出数千个读取栅格请求的应用程序中无法缩放)。缓存用于缓解对象存储的高延迟。当使用云存储来存储大量数据,在临时磁盘上访问数据时缓存数据。由于用户倾向于重新访问相同的数据,因此将提高性能比较对象存储与文
7、件存储更好的数据分析由于对象存储没有归档层次结构,并且元数据是完全可自定义的,因此与文件或块存储相比,限制少。由于对象存储的横向扩展性质,存储所有数据的成本更低。支持不断添加数据。没有限制。无限的可扩展性由于对象存储的分类结构以及缺少文件夹层次结构,可以更快地检索数据更快的数据检索对象存储由元数据驱动,并且对于每条数据进行这种级别的分类,分析的机会要大得多。降低成本优化资源对象存储的优势对象存储特性1.可扩展性对象存储以其与云计算的兼容性而闻名,这是因为它具有无限的可扩展性。由于其扁平化结构,对象存储没有与文件或块存储相同的限制。分层系统在横向扩展时经常会遇到复杂情况。在对象存储环境中可以避免
8、这些困难,因为系统通过添加节点进行横向扩展。对象存储可以不受限制地轻松地将数据扩展到PB级。虽然它在可扩展性方面具有这些优势,但这并不意味着对象存储系统也不能使静态数据受益。事实上,基于对象的存储是静态数据的最佳选择。对象存储特性2.更快的数据检索和更好的恢复存储环境中的每个对象都有自己的标识详细信息,由元数据和ID号组成,操作系统读取这些详细信息以检索数据。无需筛选文件结构,检索速度要快得多。由于元数据和ID号,用户无需知道对象的确切位置即可检索它。具有不受限制的元数据使用户能够实施自己的数据保留、保留和删除策略。这与存储节点在整个结构中的分布方式一起,可以更轻松地强化数据并创建更好的灾难恢
9、复策略。3.限制更少与传统的文件或基于块的系统相比,对象存储的限制要小得多,因为它不是按层次结构组织的。对象存储提供了其他存储系统无法允许的访问类型。文件系统中的元数据仅限于文件属性,而在对象存储中,它可以通过任意数量的数据属性进行自定义。只有在文件系统中,才有可能通过单独的应用程序来实现这一点。除了这些优势以及其不受限制的可扩展性之外,这一切都有助于建立文件或块无法提供的无限存储系统。4.成本效益对于需要存储大量数据的组织,基于对象的系统可能是最具成本效益的。由于它比其他存储环境更容易横向扩展,因此存储所有数据的成本更低。如果用户拥有私有云空间,成本可能会更低。与其他被认为对这些数据量来说价
10、格低廉的系统相比,它是一种更持久的替代方案。大规模对象存储系统应基于以下架构原则:1.简单对象存储技术应易于使用和实现,并且需要最少的持续维护工作。群集、修复和调整等操作应完全自动化。2.可编程性对象存储系统中的数据应可通过API(通常是基于HTTP的RESTfulAPI)进行访问。开发人员应该能够以编程方式对存储池执行任何操作。应用程序应该能够使用其元数据查询对象,以查找所需的对象,无论它们存储在大型存储池中的哪个位置。3.灵活性管理人员应该能够选择各种用途的各种存储设备和平台,将异构硬件组合到一个存储池中。对象存储也应该很容易地从本地扩展到公共云,反之亦然。对象存储的三个组件对象的数据或内
11、容与对象关联的唯一标识符元数据每个对象由三个主要组件构成:对象的数据或内容、与对象关联的唯一标识符和元数据。唯一标识符允许开发人员轻松跟踪和维护对象详细信息。此外,每个对象都有元数据,其中包含有关数据的上下文信息,如其名称、大小、内容类型、安全属性和URL。此元数据通常存储为键值对。分布式系统:第四个组件对象存储的许多最重要的特性都源于,它利用了分布式横向扩展体系结构的优势,该体系结构只需添加节点即可扩展容量。在此过程中不会增加开销,因此对象存储性能往往会随着分布式环境中的容量直接扩展。这也增加了巨大的弹性,因为数据对象在多个系统中冗余存储。如果一个或多个节点发生故障,可以从备用节点轻松访问数
12、据及其上下文。在大多数情况下,高可用性是通过跨至少三个节点冗余存储对象来实现的。用户仍然不知道节点已发生故障。对象存储的结构2.本地搭建对象存储的软件和框架S e l f-H o s t e d S 3-C o m pa t i b l e O b j e c t St o r a g e S of t w a reMinIO是一款开源云存储软件,提供高性能分布式对象存储,专为大规模数据基础架构而设计。它与AmazonS3API兼容。MinIO服务器能够存储所有类型的非结构化数据,如照片,视频,日志文件等。它也可以在开源ApacheV2许可证下使用,许多最强大的大数据和机器学习应用程序都使用M
13、inIOS3对象存储。MinIOMinIO的特性云原生应用程序使用S3API与对象存储进行通信。但并非所有S3兼容性都相同,许多对象存储供应商支持整体功能的一小部分,这会导致应用程序失败。其他人声称全面覆盖,但他们的专有软件或设备型号限制了这一点,因为只有一小部分应用程序,硬件和软件经过测试。MinIO在支持其S3兼容性声明方面具有独特性。MinIOS3API兼容性拥有数以万计的客户和开源用户,是世界上经过最广泛测试和实施的兼容性-涵盖数百万种硬件、软件和应用程序组合。通常使用MinIO测试第三方S3兼容性。对S3API最全面的支持意味着应用程序可以利用存储在MinIO中的任何硬件、任何位置和
14、任何云上的数据。开发人员可以自由地创新和迭代,因为知道MinIO永远不会破坏发布。LakeFSLakeFS是一个开源数据环境工具,允许用户管理基于对象存储的数据湖。这些数据湖是存储库,可以在其中转储所有结构化和非结构化类型的数据。LakeFS还与许多工具集成,并支持Amazon S3和Google CloudStorage。此外,它还适用于所有主要的数据框架,例如Hive,Spark,Presto,AWSAthena等。使用LakeFS,可以扩展PB级的数据,还可以通过其类似Git的分支和版本控制方法进行添加,这允许用户在不破坏数据的情况下添加更新。这种类似Git的方法还有助于轻松撤消数据更改
15、,从而使处理数据更加容易和安全。OpenIOOpenIO是一种开源对象存储解决方案,用于管理和保护大量非结构化数据。它允许用户构建和运行具有弹性且安全的大规模存储基础架构。OpenIO与S3兼容,可以在任何硬件上部署或云托管。在添加新硬件时,也不需要重新分发数据。用户可以立即访问额外容量。OpenIO还设计用于大规模基础架构和大数据工作负载。除此之外,它还提供了一个直观的用户界面,以简化存储管理员的日常生活。数据更容易访问和管理。CephCeph是对象存储、块存储和文件系统开源平台。它提供了与Amazon的S3RESTAPI和OpenStack的APISwift完全兼容的对象存储功能。Ceph
16、的对象存储允许使用本机语言绑定和Ceph提供的其他技术轻松访问数据对象。具备转变公司的IT基础架构及其管理大量非结构化数据的能力,能够提供一个很好的解决方案。还有一些软件库,使用Java,C,C+,Python,PHP和其他几个软件编写的软件能够使用本机API的强大功能访问Ceph的对象存储系统。MinIO的最佳结果是在排序运行(Sortrun)中提高了93%。将MinIO和HDFS数据生成时间与测试运行时间相加,MinIO(3700秒)总体上比HDFS快(4337秒)Hadoop系统依赖于多个计算+存储节点,每个节点处理整个数据集的一个子集。它涉及原始数据的三个副本,以确保可靠性,以及随着数
17、据集大小的增加而增加的大量节点。这意味着可能有数百台服务器。对象存储系统在保存数据方面本质上比Hadoop系统更可靠,且不需要制作三个副本。运行分析的计算资源量可以根据工作负载进行定制,而不是从HDFS节点中提取。MinIO与HDFS系统相比,使用其对象存储软件的分析通常可以在更少的服务器上运行,并且需要更少的磁盘或SSD容量来保存数据。这样可以节省成本。MinIO对象存储性能对比3.GeoScene云存储选项G e o S c e n e c l o u d s t o r a g e o p t i o n云存储可以包含用于地图和图像服务的缓存、用于GeoAnalyticsTools的输入
18、和输出文件、用于栅格分析工具的输入文件以及作为门户中的影像图层发布的影像文件。GeoScene支持以下云存储产品:GeoScene支持的对象存储AmazonSimpleStorageService(S3)或兼容S3的存储类型MicrosoftAzureBlob存储Alibaba Cloud Object Storage Service(OSS)(Alibaba CloudOSS不能用作GeoAnalyticsTools的大数据文件共享)MicrosoftAzureDataLake(仅可用作GeoAnalyticsTools的大数据文件共享)Azure服务提供商将为MicrosoftAzure。
19、Amazon服务提供商将为AmazonS3。Google服务提供商将为Google云存储。Alibaba服务提供商将为Alibaba云存储。WebHDFS服务提供商将为WebHDFS。MinIO服务提供商将为MinIO。AzureDataLake服务提供商将为AzureDataLake。GeoScene支持的云存储服务提供商AmazonS3要连接到AmazonSimpleStorageService(S3)存储段或S3兼容存储段,需要提供以下信息:选择凭据类型:使用IAM角色或访问密钥。如果使用访问密钥,则必须提供从AmazonWebServices(AWS)帐户获得的访问密钥ID和相应的保密
20、访问密钥。选择存储段存在的区域并输入存储段名称。要注册存储段中的子文件夹,请输入文件夹的路径。GeoScene对象存储的使用要求4.在线商用与本地部署对象存储PracticesforOn-PremiseObjectStorageDeployment在线商用对象云存储比较对 象 存 储(CloudObjectStorage)是由腾讯云推出的无目录层次结构、无数据格式限制,可容纳海量数据且支持HTTP/HTTPS协议访问的分布式存储服务。腾讯云COS的存储桶空间无容量上限,无需分区管理,适用于CDN数据分发、数据万象处理或大数据计算与分析的数据湖等多种场景。腾讯云对象存储服务(ObjectStor
21、ageService,OBS)是基于对象的海量存储服务,提供海量、安全、高可靠、低成本的数据存储能力,包括创建、修改、删除桶,上传、下载、删 除 对 象 等。提 供 兼 容AmazonS3的REST接口,用户可以通过浏览器或第三方工具访问对象存储,也可以使用REST接口对OBS做二次开发。华为云弹性计算是阿里云的核心产品,拥有云服务器、专有网络、容器服务、弹性伸缩、负载均衡等业务。其在计算领域更加专注于底层的的计算能力和稳定性,尤其是近期推出的神龙技术架构,跟AWS的Nitro很类似,通过先进的虚拟化技术打破物理机和虚拟机的隔阂。阿里云安装下载MinIO配置环境变量设置系统服务创建自签名证书启
22、动MinIO本地对象存储搭建过程GeoScene向对象存储发布缓存服务过程添加证书添加映射Server中创建缓存目录发布切片服务本地对象存储部署的建议确定对象存储有意义的工作负载对象存储最适合大规模数据密集型使用,例如备份池、数据存档、IoT数据、CCTV、语音记录、日志文件和媒体文件。对象存储通常与其他存储技术结合使用。考虑一个分层存储基础结构,该基础结构将允许将数据从高性能存储移动到低成本、低性能的存储,将对象存储与经典磁盘阵列和SSD相结合,这对于使用较小数据大小的高IOPS、低延迟应用程序可能具有成本效益。避免大型存储故障单个设备中超过1PB的高密度存储服务器极具吸引力,但这也给组织I
23、T带来了重大风险。仔细规划如何保护这些大型存储设备免受数据丢失。使用多租户将不同的工作负载组合到一台设备上对象存储的一个主要优点是能够通过将用户和应用程序整合到一个系统上来简化管理。在共享环境中,系统必须为不同的数据使用者提供服务级别。每个组织或类型的用户都需要特定级别的存储容量、安全性和性能。将数据管理集成到的应用程序中本地对象存储系统正在围绕AmazonS3API进行标准化。S3API功能强大且灵活,具有400多种操作,不仅支持读取和写入,还支持管理、报告以及与其他云服务的集成。首选使用S3API的对象存储系统,并将S3数据管理命令构建到的应用程序中。这将允许无缝切换到其他与S3兼容的本地存储系统,还可以将的应用程序与AmazonS3服务本身无缝地配合使用。