1、AWS云服务云服务助力构建空间信息数据基础设施助力构建空间信息数据基础设施西云数据简介迭代演进的AWS大数据平台建设案例分享亚马逊AWS中国(宁夏)区域云服务运营方宁夏西云数据科技有限公司（简称”西云数据”）是 AWS 中国(宁夏)区域云服务的运营方和服务提供方。AWS 为西云数据的战略技术合作伙伴并向西云数据提供技术服务和技术支持。西云数据成立于 2015 年，是一家持有互联网数据中心服务和互联网资源协作服务牌照的云服务提供商。2017年12月12日，西云数据正式推出AWS 中国(宁夏)区域云服务，现已开通3个可用区。西云数据市场销售总部设立于北京，在全国多地设有分支机构以服务全国各地的企业

2、客户。西云数据致力于将世界先进的 AWS 云计算技术带给中国客户，为客户提供优质、安全、稳定、可靠的云服务，全力支持中国企业和机构的创新发展。西云数据承诺尽可能多地使用可再生能源我们承诺使用尽可能多的可再生能源来支持您的业务，为地球可以持续发展贡献你我的力量为什么AWS关心公共大数据客户至上海拔模型海拔模型航空遥感图像航空遥感图像气候模型气候模型卫星图像卫星图像高分辨率雷达高分辨率雷达AWS上的地球：https:/amazonaws- 包含110种开放地测数据集，源数据由（非）政府组织、研究机构、企业和个人来维护AWS对GIS数据的表达日趋完善AWS对突发事件的及时响应2010年墨西哥湾的漏油

3、事件美国国家地理空间信息平台，由美国联邦地理数据委员会兴建数据需要打电话给多个部门索要现在卫星将高清图片传送到Amazon Simple Storage Service（S3）上，后台服务进行及时处理，对紧急相应组织非常有用全托管的全球卫星地面站服务；12个站点覆盖全球任何轨道；节省建造和运营成本；快速与卫星数据进行交互；快速利用AWS服务进行计算、存储、分析和机器学习等工作中国如何利用AWS与世界无缝融合：Ground Station下下载到本地载到本地 最传统的方式 费时费力 无序的数据管理 没有扩展性从数据中心访问从数据中心访问 远程登陆 数据近线分析 仅下载分析结果 扩展性呢？从从AW

4、SAWS云访问云访问 远程登陆 数据近线分析 仅下载分析结果 分布式计算和存储资源有效的扩展，使用大量公开的数据，节省成本，简化部署中国如何利用AWS与世界无缝融合：从AWS云访问1.选取区域2.下载遥感图像3.计算NDVI（Normalized Difference Vegetation Index,归一化差分植被指数,标准差异植被指数)下载到本地示例：计算植被面积从AWS云访问示例 图库放在Amazon S3上，每天更新，数据量大概在750TB，七百万个图片 前端应用托管在Amazon S3上，无需服务器就直接通过浏览器进行访问 快速计算出北京1978年和2019年农作物的对比情况Live

5、 Demo:http:/landsatappv1p3.s3-website-us-west- S3原原始数据始数据Amazon S3数据湖数据湖Amazon EMRETL商业分析教育研究业务用户开发商流式数据获取AWS开放数据平台高阶分析事件抓取事件抓取Amazon Kinesis流分析流分析Amazon EMR事件事件处理处理AWS Lambda无无SchemaAmazon ElasticSearch直直接查询接查询Amazon AthenaNo SQLAmazon DynamoDB托管的托管的Hadoop平台平台Amazon EMR应用系统应用系统ERP,BW etc数据仓库数据仓库Ama

6、zon Redshift机器视觉文件导入机器学习模型的机器学习模型的构构建、建、训练、测试和部署训练、测试和部署Amazon SageMaker阶段一阶段二阶段三阶段一：选择Amazon S3存储搭建数据湖访问频度频繁访问不频繁访问动态,频繁访问数据毫秒级访问 3 AZ不断变化的数据访问毫秒级访问 3 AZ平均比Standard节省20%每对象单独监控.最小化存储周期不频繁访问数据毫秒级访问 3 AZ比Standard节省40%基于GB的取回费用最小化存储周期最小化存储大小S3 StandardS3 Standard-IAS3 One Zone-IAS3 Glacier可再生的非频繁访问数据毫

7、秒级访问1 AZ比Standard节省50%基于GB的取回费用最小化存储周期最小化存储大小归档数据分钟到小时级访问 3 AZ比Standard节省80%基于GB的取回费用最小化存储周期最小化存储大小S3 Intelligent-TieringS3 Glacier Deep Archive归档数据小时级访问 3 AZ比Standard节省94%基于GB的取回费用最小化存储周期最小化存储大小N E W!N E W!阶段一案例：快速获取GHCN-D和批量分析全球气候变化 背景-以前，全球气候首先需要高质量和精准的气候数据集-NCEI（National Centers for Environmenta

8、l Information）基于全球的气候地面站负责维护气候数据集（GHCN-D,Global Historical Climatology Network Daily）,第一份数据是在1763年,至今已保存200多年的历史数据 挑战：-传统分析方法是下载到本地，如果是想要最新的数据，就需要反复的每天进行下载-需要在可扩展的复杂的HPC环境中分析，并需要研究员对数据分析有很强的技术背景更有效的做法：-利用Amazon S3自动快照数据集，好处是：不需要手工下载，利用AWS的服务，缩短数据分析的时间，资源按需使用节约成本阶段一案例：快速获取GHCN-D和批量分析全球气候变化阶段二案例：实时获取N

9、EXRAD天气数据用于精确预警 背景-精确、及时地对强烈天气和水文测量提供警报-Nexrad(Next-Generation Radar)是正开始在美国全国布网的下一代天气雷达。是由160个高分辨率多普勒雷达站点组成的网络挑战-上云之前，研究员不可能得到足够的数据进行实验分析更有效的做法：-Nexrad在AWS上发布后，出现了WeatherPipe的开发，这是一个开源Java工具，简化了在AWS上使用NEXRAD数据运行MapReduce作业的过程-计划使用该工具进行更高级和特定的分析，例如风暴识别和分类。最终，希望为龙卷风等高影响天气事件创建预测模型阶段二案例：实时获取NEXRAD天气数据用

10、于精确预警对于“体积扫描”存档文件（多普勒雷达站点扫描大气时收集的数据）和“块”数据（作为实时馈送快速传输的较小数据包），用户都希望实时通知。阶段三：用于深度学习的 Amazon EC2 实例Amazon EC2 P3 实例强大的GPU实例多达8块NVIDIA Tesla V100 GPU1 PetaFLOP计算能力 比P2快14倍300 GB/s GPU间通信(NVLink)比P2快9倍16 GB显存，峰值为900 GB/sec内存带宽定制化的AMI，适用于深度学习Amazon EC2 C5 实例高性价比的CPU实例,加速INT8模型推理3.0 GHz Intel Xeon(Skylake)

11、白金版处理器，并配有全新的Intel AVX-512指令集72个vCPUs，144GB内存(比C4的性价比提升25%)基于全新Nitro虚拟化管理程序构建Amazon高性能，可扩展的算法分布式TensorFlow,Apache MXNet,Chainer,PyTorch自带算法超参数调优构建部署训练阶段三：Amazon SageMaker 平台概述阶段三：使用Amazon SegMaker构建机器学习模型 背景-DigitalGlobe是一家全球领先的高分辨率地球图像、数据和分析提供商-DigitalGlobe以前除了要建卫星基础设施，还要建全球的地面接收站。如今，他们已经100%转向使用AW

12、S的服务，使用SnowMobile将长达18年的100PB数据搬到AWS上挑战-希望提供对其数据的按需访问，同时降低AWS支出更有效的做法：-在Amazon S3和Glacier存储上智能分层-使用AWS机器学习服务SegMaker来解决缓存问题，训练缓存算法以找到客户访问模式的相关性预测率提升两倍，存储成本节省50%CloudFormation 模板一键式部署Federated withPortalS3 storage userRaster store,zip,fgdbImagery S3 StorageProfessional Imagery /Geospatial AnalystsArc

13、GIS平台入口ArcGIS PortalEC2AGSVPCArcGIS ProAuto Scaling groupElastic Load BalancerEC2Configure StoreClient consuming hosted image servicesVPCImage servicesImage serverImage servicesImage serverEC2EC2Image servicesImage serverEC2Dynamic Image ServicesRaster AnalyticsElastic Load BalancerClient consuming

14、dynamic image servicesArcGIS Enterprise：ArcGIS Portal+ArcGIS Image Server +RDSRDSPostgres RDS其它案例分享：某用户的ArcGIS在AWS云平台部署架构ArcGIS平台访问控制中枢Client consuming imagery itemsArcGIS集群平台桌面浏览器移动设备业务用户业务数据终端用户Raster Analytics云上部署效果RasterAnalytics onAWS 8 c3.2xlarge instances(8 vCPUs,16GB RAM)Mean RainfallMean Te

15、mperatureElevationLandcover30m National Solar Plant Suitability RasterRaster Analytics9 minutesArcGIS Desktop(ArcMap or ArcGIS Pro)5 hours 45 minutessuitability model总结-充分利用AWS开放数据集的价值：降低成本、提升体验-搭建Amazon S3数据湖对于可扩展的GIS大数据平台非常重要-合理使用适合的AWS服务完成批量或者实时的GIS应用-弹性的云平台架构是搭建人工智能/机器学习的基础知识分享案例研究社区互动云载未来云载未来成就所托成就所托