《GeoScene空间大数据解决方案.pdf》由会员分享,可在线阅读,更多相关《GeoScene空间大数据解决方案.pdf(62页珍藏版)》请在三个皮匠报告上搜索。
1、GeoScene空间大数据解决方案易智瑞研究院大数据事业部产品经理常亚敏1.GeoScene空间大数据建设体系2.GeoScene空间大数据产品核心能力3.应用场景4.总结目 录一、GeoScene 空间大数据建设体系 认识数据 感知数据 理解数据 应用数据认识数据是综合了解数据的来源和生成方式,数据的时空特征及元数据信息从数据中发掘出有用的信息,通过不同数据之间的关联关系实现知识发现、知识推理的过程支撑不同行业和领域的具体应用场景,辅助决策的过程,实现应用的自动化构建、服务能力迭代升级的过程深入洞察数据的体系结构,对数据变化情况进行追溯,同时挖掘数据的价值空间大数据时代的难题和挑战空间大数据
2、分布式计算框架HDFSApache SparkHBase云存储数据库其他存储方式文件型存储Apache FlinkMapReduce计算引擎交换机大量的、复杂的需要迭代和交互式处理的分析任务,各计算单元之间有频繁的数据交换和读写处理长事务性计算/航天/航空/地表移动物体感知数据/地表非移动物体人工建筑数据地质体地形土地覆盖自然对象自然气象业务单位/业务领域互联网实时/交易时空数据来源多样化全国激光点云数据一年超过130PB国家级国土三调矢量数据超过1TB城市级车辆运行轨迹数据,每天超过1亿条城市级手机信令数据,每天超过10亿条省级气象观测数据,每月超过2亿条省级生态红线数据单个要素节点数超过1
3、00万个时空数据规模日益庞大GeoScene空间大数据建设流程数据注册数据汇聚数据质检数据治理数据分析模型构建洞察挖掘业务应用 CSV数据读取 Shp数据读取 Parquet、ORC数据读取文件型数据源 Oracle数据源 PostgreSQL数据源 达梦数据源 Hbase数据源 FileGDB数据源读取数据库数据源分布式文件系统 HDFS云存储 阿里云 华为云 AWS云存储 微软云存储连接描述感知监测关系追溯数据治理、模型训练、知识服务差异检测压盖检测拓扑检查空值检测空间投影数据偏移数据清洗节点计算质心提取数据融合数据追加空间融合属性融合数据状态管理时空关系梳理时空语义描述属性连接空间连接业
4、务应用交通大数据犯罪分析自然资源大数据工具服务算子服务模型服务接口服务资源管理服务算子算法工具模型应用决策数据维度业务维度样本标注样本导出模型训练场景推理分类聚类回归预测深度学习最大似然分类支持向量机随机森林分类与回归时空聚类目 标检测语 义分割对 象分类视频检测矢量栅格融合分析栅格数据读取处理点 云分割实 例分割自 然 语 言处理数据血缘关系追溯管理知识推理语义关系实体关系知识推理知识决策知识抽取知识融合知识表达计算智能感知智能认知智能GeoScene空间大数据产品概述GeoScene提供了完整的空间大数据解决方案建设流程通过灵活的大数据适配引擎,快速适配多种数据源类型基于Spark分布式计
5、算框架提供数据高效处理和分析,支持多重计算框架提供丰富的分析工具、业务模型库零代码交互式建模,数据和算子直观查看、在线拖拽,灵活构建业务流程提供算子、接口、页面模块等多层次的二次开发拓展跨平台、国产化兼容适配复杂业务场景时空态势分析价值洞察挖掘GeoScene空间大数据产品发展历程GeoAnalytics ServerGeoAnalytics Server Plusx86GeoAnalytics ServerGeoAnalytics Server PlusGeoAnalytics Plus Desktopx86非x86GeoAnalytics ServerGeoAnalytics Server
6、 PlusGeoAnalytics Plus Desktopx86非x862021,V2.12022,V3.12023,V4.0GA、GA+空间分析、在线建模、分析任务支持Portal要素服务和大数据文件共享作为输入数据源及输出支持在线交互式拖拽建模100+个算子新增GA+Desktop跨平台桌面端大数据分析产品支持PG库、HDFS、NFS共享目录、File GDB150+个算子新增OD分析、计算动态统计数据、追踪邻域事件新增数据资源、数据治理、后台管理数据血缘关系追溯、体检套餐模块解耦架构升级,GA+新增arm版国产数据库适配栅格数据读写和分析180+个算子捕获追踪工具在线建模能力增强新增业
7、务目录体系完善体系完善架构升级架构升级能力丰富能力丰富GeoScene 4.0空间大数据软件架构基础设施层X86ARM多源数据Serviceshapefile文本数据本地文件人工智能和资源图谱地理加权回归分析随机森林分类与回归分析栅格大数据分析空间数据处理数据裁剪时空数据分析属性过滤点聚合多变量网格事件检测范围内汇总空间过滤空间投影属性汇总轨迹构建叠加图层 合并图层要素连接查找相似位置查找点聚类查找热点边界融合创建缓冲区密度计算坡度计算坡向计算重分类矢量转栅格栅格计算栅格转矢量计算动态统计数据Rest API应用在线建模系统集成开始Geometry停止年度建设用地报批数据(JSYDBP)年度土
8、地供应数据(TDGY)叠加分析叠加分析结果去空报批编号获取地块地块数据计算批而未供面积表工具扩展模型开发数据资源关系数据与模型关系模型与应用之间的关系GeoScene GeoAnalytics Server Plus数据读取引擎分析处理引擎服务发布引擎任务调度引擎第三方分布式计算框架 Spark Standalone Spark Yarn Spark kerberosGeoScene GA时空数据处理引擎分布式计算引擎用户访问入口大数据处理引擎扩展适配架构扩展二、核心能力12354时空数据治理能力空间分析与洞察挖掘能力在线拖拽式建模能力开发扩展能力高性能计算GeoScene 数据连接 数据感知
9、 数据体检 数据清洗空间分析计算时空态势分析栅格大数据分析机器学习能力 即拿即用的分析能力 数据资源即服务 业务场景驱动的模型构建 平台层面的API扩展能力 模型层面的开发扩展 算子粒度的开发扩展 多重框架适配 数据源读写优化 数据融合 数据治理 关系追溯 数据共享GeoScene 空间大数据产品核心能力2.1 时空数据治理能力GeoScene时空大数据治理流程时空数据治理是指通过大数据技术对海量多来源多结构的时空数据进行采集、处理、计算、存储、加工和治理的一整套流程,为上层应用提供数据服务,支撑不同方向的业务应用系统建设。数据汇聚数据汇聚“感知数据“与多来源数据建立连接,感知时空数据结构,实
10、现数据抽取汇聚解决数据分散、来源广泛难题解决数据版本混乱、共享交换规范问题数据共享数据共享“共享机制“基于业务视角定义标准目录结构,构建统一大数据资源清单,实现数据规范共享实现数据业务价值、实现知识发现能力数据应用数据应用“支撑业务“基于业务场景的模型构建,形成多维度数据应用和可视化表达GeoScene时空数据治理流程解决数据结构多样、类型不一等难题数据治理数据治理“治理数据“针对空间数据进行检测、清洗、处理、融合、归集,提升数据质量解决数据入库更新、关联关系追溯难题数据描述数据描述“理解数据“针对数据的元数据信息、空间结构、变化情况形成血缘关系追溯和资源图谱文件型关系型数据库NoSQL数据库
11、文件地理数据库图数据库分布式文件系统GeoScene空间大数据适配引擎多类型全要素线面点栅格影像文本文档视频云存储shapefile文本数据本地文件FileGDB针对文件型、关系型数据库、分布式文件系统(HDFS)、文件地理数据库、NoSQL数据库、图数据库、云存储等多类型时空数据存储方式,提供了空间大数据适配引擎,实现了不同来源、不同结构数据的快速连接和感知。依据时空数据特有的几何特征和数据组织结构,进行多维度数据感知。七大类型、数十种数据源的对接和适配节点感知多个感知维度、21种感知策略数据汇聚-实现不同来源数据的连接和感知数据抽取:一种基于规则转换、数据过滤、数据格式和类型转换的操作过程
12、托管要素服务大数据文件共享(Shp、CSV、Parquet、ORC)地图服务Oracle数据源Oracle非空间表PostgreSQL SDE数据源Postgis SDE数据源Postgis数据源Postgis非空间数据源Shapefile文件FileGDB图层CSV文件GeoJSON文件JSON文件达梦数据源托管要素服务(PG库)托管要素服务(ES库)输出到大数据文件共享(Shp、CSV、Parquet、ORC)写出到FileGDBOracle(ST_Geometry、SDO_Geometry、非空间表)写出到本Shapefile写出本地CSV写出本地JSON文件(非空间)达梦数据库Post
13、greSQL(SDE)PostGIS数据抽取数据抽取源数据类型、格式,源数据类型、格式,19类类目标数据类型、格式,目标数据类型、格式,24类类PostgreSQL(非空间表)写出本地GeoJSONGA Plus提供了一种数据转换引擎,针对GIS数据结构和特点,实现不同时空数据之间类型转换、属性过滤、空间过滤,以及规则和条件过滤在国土空间平台、大数据平台、数据中台建设中需要进行多来源数据之间的转换,GA Plus提供了GIS数据格式和类型转换支撑表写出为Excel数据多维感知与描述数据描述宏观感知空间感知与结构描述血缘关系追溯宏观统计资源池数据总量;感知空间数据结构和类型;感知空间数据体量和量
14、级;感知空间数据变化和形态;数据关联关系描述资源图谱式表达数据血缘关系追溯属性结构感知空间数据结构感知时空数据资源池统计数据关联图谱表达时空数据治理工具长度字段面积空间形状类型图层要素边界空间几何属性时空数据检测空间关系几何形状数据属性时空数据清洗删除长度异常线删除面积异常多边形删除字段时空数据处理空间位置几何形状转换数据类型转化时空数据融合图层融合连接要素边界融合时空数据治理工具时空数据体检套餐套餐式体检空间拓扑检测属性字段检测异常要素检测输出体检报告输出问题数据多部件数据异常多边形要素压盖自相交空间数据常见问题1.Short segment-有些线段短于与何关联的空间参考的系统单位所允许的
15、 长度2.Incorrect ring ordering-的拓扑结构较简单,但是的环可能未正确定 向(外环-顺时针,内环-逆时针)3.Incorrect segment orientation-各条线段的定向不致 线段 i 的终点应 该与线段 i+1 的起点相接4.Self intersections-不能与相交5.Unclosed rings-环中最后条线段的终点必须与第条线段的起点相接6.Empty parts-何具有多个部分,其中个部分为空(没有何)7.Duplicate vertex-何的两个或多个连续折点坐标相同8.Discontinuous parts-何的某部分由断开的或不连续的
16、部分组成GIS空间数据存储结构Esri shapefilesWKT&WKBArcGIS:ST_geometryPostgis空间数据存储Oracle Spatial:SDO_geometryGeoJSONGA 空间几何对象结构多边形节点反序单条要素3026个Part部件,555628个节点针对空间数据常见的几何结构特征、拓扑错误进行检测;快速发现百万级、千万级数据中的异常数据时空数据检测-依据GIS空间数据存储结构规则进行检测检测异常值检测面积异常多边形检测压盖点检测多边形异常外环检测多边形岛空间自相交检测狭长多边形检测线压盖多部件线自相交狭长多边形缝隙检测自相交参数化设置异常数据检测结果,直
17、观展现参数设置分布式数据检测工具集检测空几何检测起始节点重叠多边形检测多边形异常内环检测拓扑检测凸多边形检测长度异常线检测空值时空数据检测工具体检套餐机制针对复杂空间数据的检测机制,能够让用户一次输入,多个指标同时检测出来体检套餐的必要性:一次任务,多种指标同时检测;直观输出问题数据;空间和属性联合查看;体检报告在线查看体检结果导出,支持导出错误问题记录、导出geojson、Shapefile等格式的错误图层自定义体检套餐,按需组装检测指标体检套餐更多数据问题,一键发现问题数据直接定位到地图新自定义体检套餐体检以套餐形式一站式检查数据存在的问题国土空间规划数据HDFS数据源属性规则检测数据检测
18、模型 UTC 时间格式配置 时间规则校验数据处理模型 数据融合 数据质检 数据入池 分析模型 业务应用数据应用模型时间规则检测空间规则检测属性规则检测数据完整性文件类型一致性字段结构一致性数据格式一致性数学基础一致性空值处理空规则间检测检测空几何检测拓扑检测压盖线检测相交线检测压盖线检测缝隙检测压盖点空间自相交检测数据处理模型拓扑校正节点抽稀空间偏移图层融合边界融合属性融合补全空值生成轨迹线条件过滤删除字段删除异常线删除异常面时空数据处理模型快速发现百万级、千万级数据中的异常数据通过流程化质检模型进行数据清洗处理,提升数据质量时空数据清洗和处理针对空间数据、文本数据、时态数据进行清洗和处理统一
19、、标准的大数据资源清单,避免数据分散、版本混乱的问题规范目录注册机制:仅系统管理员和部门管理员可注册,系统管理员分配节点权限数据分类共享,申请审批留痕、可追溯未来支持对接第三方目录查看和使用标准目录结构,差异化数据共享业务目录数据组织结构业务视角,可按实际需求创建多层级结构数据可见性全员可见,所有用户看到的数据项清单相同数据可用性除部分数据已有权限可直接使用,其他数据需申请通过后使用数据共享公开共享/审批共享数据使用留痕申请、审批留痕新GeoScene时空数据治理小结GeoSceneGeoScene时空数据治理让用户更深刻感知和理解数据数据位置、数据格式、数据类别、数据结构、时空范畴数据汇聚
20、属性规则、时间规则、空间规则检测 分布式检测工具集 自定义体检套餐检测策略数据检测 数据处理工具集 自动化处理模型 AI自动化处理数据治理 元数据信息描述 数据、模型、应用关系描述数据描述 统一标准资源目录清单 数据分类共享数据共享GeoScene 构建了一体化时空数据感知体系,全面感知数据结构和变化状态,追溯数据变化过程和流转情况,通过自动化检测和治理策略,提升数据质量。数据治理数据治理“治理数据“针对空间数据进行检测、清洗、处理、融合、归集,提升数据质量数据描述数据描述“理解数据“针对数据的元数据信息、空间结构、变化情况形成血缘关系追溯和资源图谱数据应用数据应用“支撑业务“基于业务场景的模
21、型构建,形成多维度数据应用和可视化表达数据汇聚数据汇聚“感知数据“与多来源数据建立连接,感知时空数据结构,实现数据抽取汇聚以工具化和模型化使用,以产品化交付,用户无需额外开发扩展,即拿即用,降低了使用和维护成本2.2 时空分析与洞察挖掘能力时空分析与洞察挖掘数据汇总查找位置分析模式邻近分析数据管理聚合点要素连接重新构建轨迹属性汇总范围内汇总构建多变量格网描述数据集捕获追踪密度计算查找热点OD分析查找相似位置检测事件查找驻留位置计算字段裁剪图层追加数据空间叠加边界融合合并图层数据去重属性过滤拓扑分析空间投影创建缓冲区追踪邻域事件数据丰富从多变量网格丰富数据计算动态统计数据数据处理.叠加分析.事件
22、检测.机器学习.洞察预测.分布式计算4.0新增机器学习查找点聚类基于森林的分类与回归广义线性回归K均值聚类高斯混合聚类朴素贝叶斯分类(训练)朴素贝叶斯分类(预测)决策树分类与回归(训练)决策树分类与回归(预测)主成分分析逻辑回归分析地理加权回归栅格分析坡度计算坡向计算重分类栅格计算按掩膜提取矢量转栅格栅格转矢量提供8类工具集共40余种分析工具,涵盖空间数据处理、时空数据分析、栅格大数据分析、机器学习等Overlay 叠加分析叠加图层工具使用以下五种方法之一将两个图层合并为一个图层:相交、擦除、联合、标识、交集取反。业务领域:国土、测绘、规划、林业、农业等图层之间有空间叠加、压盖等需求的业务永久
23、基本农田地类图斑图斑化线状地物基本农田中国土“三调”地类变化扣除线状地物图斑后的永久基本农田图斑套合“三调”地类情况擦除相交汇总统计GeoScene 4.0 新增捕获追踪工具,用于将追踪点匹配到线。如轨迹点纠偏,车辆GPS点不在道路时,可将其纠偏至道路,以获取更合理的轨迹。时空动态计算捕获追踪车辆GPS点纠偏匹配原则新点图层-输入点图层必须启用时间,并且时间类型必须为时刻,以代表一个观察点。线图层-输入线图层必须包含表达连通性的字段信息,方向信息(可选)连通性字段:线的唯一标识字段、标识轨迹沿线移动的起始节点字段、终点字段方向字段配置:指定道路方向字段,字段包括向前、向后、双向。指定方向可以获
24、得更精确的结果搜索距离:点与线之间所允许存在的最大距离,可参照精度返回结果:返回捕捉到沿匹配线最近位置的点车辆GPS点清洗纠偏搜索距离轨迹方向时空动态计算检测事件处理对象:带有时间序列的要素条件过滤:输入表达式,输出符合指定条件的要素,同时根据开始条件、和结束条件设置,来判断符合条件的事件属性,包括事件状态、事件持续事件等内容。最终结果:返回事件id、状态、累计持续时间事件状态:start、ongoing、ended、null检测事件工具使用指定的条件检查连续时间要素。符合指定条件的要素被标记为事件。生成的图层以与输入相同的格式显示输入要素,其他字段则表明要素是否为事件、事件的状态、事件的持续
25、时间以及唯一的事件标识符。出租车订单识别 出租车数据:出租车id,空车标记,经纬度坐标,时间戳信息等 追踪字段:Taxi_id 订单开始条件:$feature“empty”=2(乘客上车标记)订单结束条件:$feature“empty”=3(乘客下车标记)异常事件检测持续时间时空分布规律时空动态计算重新构建追踪重新构建追踪工具可连接轨迹上的多个时序点,并汇总轨迹内的要素。根据一个或多个轨迹字段确定轨迹。生成的图层会以线或面的形式显示轨迹、轨迹中已汇总要素的计数,以及已指定的所有附加统计数据。基于手机信令追踪行走轨迹船舶全球运行轨迹出租车订单轨迹处理对象:带有时间序列的要素轨迹构建工具参数:缓冲
26、距离/缓冲表达式、距离切片、时间切片最终结果:轨迹持续时间、开始时间、结束时间、统计结果时空动态计算计算动态统计数据出租车运行态势计算动态统计数据工具用于计算启用时间且时间类型为时刻的要素的动态统计数据和测量值组。车辆监控:空间位置、实时速度、停留时间等信息综合路况:路段平均速度、道路流量、拥堵状况统计数据和测量值均基于通过唯一标识符确定的轨迹。计算包括距离、速度、加速度、持续时间、高程、坡度、停留时间和方位角城市交通综合分析矢量大数据与栅格大数据融合分析GeoScene GA Plus 4.0 新增栅格大数据分析能力,为用户提供矢量、栅格一体的分析环境坡度计算坡向计算重分类栅格转矢量按掩膜提
27、取栅格计算器矢量转栅格DEM数据做坡度计算、坡度分级、栅格转矢量处理可与基本农田数据做空间叠加,查看农田在地势上分布、计算农田坡度等级新2.3 大数据在线建模GeoScene 大数据在线建模模块,基于细粒度的分布式计算算子,通过数据和算子拖拽连线的方式,零代码构建业务计算流程,为用户处理复杂业务场景提供了便捷的处理方式。GeoScene大数据在线建模能力业务范围:已经在重庆、山东、广东、甘肃、湖南等用户现场使用,场景涉及自然资源、交通、规划、住建等分析领域全覆盖的基础算子业务场景驱动的模型构建动态的任务执行过程监控开放的算子扩展和模型调用面向多领域的内置业务模型开始Geometry停止年度建设
28、用地报批数据(JSYDBP)年度土地供应数据(TDGY)叠加分析叠加分析结果去空报批编号获取地块地块数据计算批而未供面积表流程梳理拖拽式建模业务需求项目选址合规性审查规划成果审核城镇开发边界潜力三区三线核查年度土地利用现状变化分析年度永久基本农田变化分析永久基本农田与土地利用现状差异分析分析算子工具箱数据资源直观查看可视化建模面板模型参数配置模型库管理、共享数据资源检索即拿即用的数据与分析资源用户可以直接对数据资源拖拽到画布中参与模型运算,从而实现了业务数据与分析能力深入结合直观业务分组详细算子描述快捷搜索数据拖拽式连线算子交互友好GeoScene 4.0 提供180+大数据分析算子,更丰富的
29、数据读取和写出、分析和计算、业务支撑分析领域全覆盖的基础算子4.0算子新特性新增38个分析算子,集中在数据源读写、空间数据拓扑检测、栅格分析等支持前置过滤,提升计算效率:支持条件/字段/空间范围过滤新增支持写出Excel表,汇总结果直接下载自定义分析算子,灵活扩展分析能力1开发算子代码依据规则和业务需求,自定义开发Python算子;2注册算子以服务形式注册到GA Plus平台3无缝使用无缝建模,与现有算子联合使用内置业务模型库,通用场景快速迁移GA Plus 提供了内置业务模型库,规则可修改,实现业务场景复用智能选址分析土地利用变化监测村庄流向分析退耕还林土地流向分析耕地坡度等级赋值住房统计网
30、格建设用地技术审查批而未供业务分析业务模型库新基于标准空间数据库、通用的处理过程连接数据直接使用提供模型业务说明、实现逻辑流程说明针对模型运行情况提供统计空间规划用途管制调查监测批量读取和循环处理指定空间数据类型数据集钻取细粒度配置算子不同层级的循环计算和迭代处理每一层级独立输出批量读取和循环处理功能在很多业务场景中有实际需求,如国土空间规划业务需要对不同省份、不同地市、不同县汇交的数据集进行依照标准规则的检测和处理,针对点、线、面不同空间数据类型提供不同的检测方法和运算规则。单线单流程单线多流程多线双重循环双重批量读取算子,支持不同数据源之间指定关联条件参与分析新模型管理和调用支持定时执行,
31、周期执行以标签、分组等方式管理模型共享模型,支持模型批量导入、导出开放模型 REST 接口调用能力永久基本农田国土空间总体规划国土空间详细规划供地数据城镇开发边界生态公益林用地项目选址分析评价描述:选址参数(主要设置建设规模、是否避让永久基本农田、生态红线、自然保护区)、影响因子(符合性因子、审批因子、合规性因子、行业限制因子等),进行多项加权评分,得出选址分析报告;难点:业务规则复杂、影响因子众多、开发过程繁琐、执行效率低下(需要开发2个月);解决:GA Plus拖拽式构建模型(熟悉业务:1周,构建模型:3天),模型可以多次复用GA Plus支撑高速公路用地选址项目分析批量读取、分析的dem
32、o2.3 大数据在线建模能力:demoGeoScene 大数据在线建模实现选址评估GeoScene 在线建模特性小结零代码零代码的业务场景实现丰富分析资源近200个分析算子库和业务模型库自动化处理批量读取、循环分析、定时计算灵活扩展灵活的扩展和集成方式快速复用共享、批量导入导出,快速复用2.4 开发扩展能力GeoScene 空间大数据支持多层次开发扩展方式,助力业务用户与合作伙伴快速集成大数据能力开发扩展能力模块级别嵌入页面接口算子接口化调用自定义注册算子自定义分析算子,灵活扩展分析能力RA工具GA工具Python机器学习库基于PySpark,调用geoanalytics对象(矢量大数据分析模
33、块)和rasteranalytics 对象(栅格大数据分析模块)分析工具扩展大数据读写,包括:读写URL、EsriJson、Shapefile、GeoPackage数据、外部关系型数据库数据、读取FileGDB支持属性过滤、条件过滤、范围过滤等前置过滤模块级嵌入能力数据资源数据治理空间分析在线建模GA Plus功能模块分析任务后台管理上海品茶可嵌入页面和接口通过模块解耦,提供主要功能模块的可嵌入页面,开发人员可调用对应的模块,快速集成到用户业务系统中模块级别复用接口级别灵活定制可嵌入页面,通过iframe方式嵌入,调用url即可,大大降低项目实施难度接口调用,粒度更细的系统集成,可自定义修改样式和
34、风格系统统一,无感跳转提供用户对接方案保留系统权限控制保留用户权限控制保障数据安全深度、广泛支撑更多系统建设提供高质量开发文档,包括方法说明、请求示例、返回示例等,降低开发上手难度。丰富全面的开发帮助文档2.5 高性能GeoScene 大数据产品内置Spark分布式计算框架,同时支持多重框架灵活适配GeoScene 空间大数据高性能解决方案兼容不同体量性能体验 兼容小数据量分析性能体验常见业务场景分布式读写支持调用第三方分布式计算框架单机部署、集群部署资源灵活扩展 PG库读写性能优化 fileGDB读取优化 数据抽取 叠加分析 构建多变量格网单机环境完成千万级PG库数据抽取5.175.055.
35、0710.371719123集群环境(20核、160G内存,3个节点)PG数据库读取、写出性能优化单机环境下不同体量抽取耗时对比单机环境可支持完成2800w数据抽取耗时15-38min集群环境下读取PG、写出HDFS:抽取880万数据,5分钟左右,抽取2800万数据,10min读HDFS、写出PG:抽取880万数据,5分钟左右,抽取2800万数据,20min以内15.432.938.2123单机环境(16核、64G内存)省级常见分析场景一刻钟完成15.012.28.46.21234三线叠加变更调查地类图斑数据业务场景三线数据叠加变更调查地类图斑,读取GDB数据源,输入图层数据量3000w,叠加
36、图层数据量级见左叠加分析、计算面积、汇总属性,输出统计表和分析结果数据,15min内完成集群环境(32核、128G内存,3个节点)业务场景:全国范围内图斑数据,PG数据源,构建2KM四边形格网,统计面积进行范围内汇总。输入数据:2.7亿条,输出要素服务,分析耗时:5.5h全国范围内亿级图斑空间汇总5h左右完成全国范围图斑数据四边形格网统计集群环境(32核、128G内存,3个节点)数据源存储格式:PostGIS测试数据:点,PostGIS数据源,79,119条测试环境:单机部署,24核 64G小数据量分析秒级响应构建多变量格网,耗时1s范围内汇总,耗时 2s兼容小数据量分析性能体验三、应用场景某
37、省规划院国土空间规划业务空间数据结构和质量检测业务需求:用户需要对全省国土空间规划数据进行质检和检测,依据空间数据结构(点、线、面)进行拓扑检测依据业务规则进行底线落实、承诺落实、已批项目、重大项目、规划衔接等内容的冲突检测和业务报表输出技术难点:常规上使用传统的ArcGIS Engine开发,基于C/S的质检业务系统进行交付,技术架构单一各市县汇交的数据,按文件夹存储,需要批量读取、循环执行需要自动化导出国土空间规划标准报表,技术复杂度高运行全省100+县的全套质检规则,大约需要200小时(约一周)规划内容检查空间规划业务表基于GeoScene空间大数据构建业务模型,自动化输出报表GA Pl
38、us报表业务:实现了出表的批量化、流程化、简便化,最终使项目节省人力,并提高出表效率和正确率算子库批量读取字段过滤计算字段文本截取分类求和统计出表模型库用地用海分区统计规划用地统计国土空间调整统计质检汇总质检明细总规质检套合分析业务需求业务报表表格格式统计内容批量执行分级汇总统计类型等城镇空间开发潜力指标计算业务背景:市县国土空间规划实施中,要避免“寅吃卯粮”,在城镇开发边界内的增量用地使用上,为“十五五”“十六五”期间至少留下35%、25%的增量用地。在年度增量用地使用规模上,至少为每年保留五年平均规模的80%,其余可以用于年度间调剂,但不得突破分阶段总量控制,以便为未来发展预留合理空间。自
39、然资源部关于做好城镇开发边界管理的通知(试行)自然资发2023193号基于GA Plus 代码开发方式构建业务处理过程计算效率:分析性能提升6倍结果精度:全省面积差异仅39平方米,百分比差异千万分之一 指标含义:城镇开发边界内未批未建的量占城镇开发边界的百分比为城镇空间开发潜力 计算过程:城镇开发边界擦除建设用地,与备案报批项目数据进行标识分析,计算已批未建、未批未建面积,分别按省、市、县汇总结果城镇开发边界中弧线数据处理44.37.212分析耗时缩减为六分之一城镇开发边界报批项目建设用地业务需求:四、总结GeoSceneGeoScene 大数据,五大能力支撑时空大数据建设3基于业务需求的基于业务需求的模型构建能力模型构建能力2分布式计算和分布式计算和洞察洞察挖掘能力挖掘能力全流程的时空数全流程的时空数据治理据治理能力能力15高性能计算高性能计算4灵活便捷灵活便捷的应用的应用开发扩展能力开发扩展能力数据注册数据汇聚数据治理数据质检数据分析模型构建洞察挖掘业务应用