《曾志明-空间数据中台助力行业数字化转型.pdf》由会员分享,可在线阅读,更多相关《曾志明-空间数据中台助力行业数字化转型.pdf(36页珍藏版)》请在三个皮匠报告上搜索。
1、P1空间数据中台助力行业数字化转型空间数据中台助力行业数字化转型曾志明(攀爬)阿里云行业解决方案研发部2022年7月1日P2 曾志明,花名:攀爬 中科院地理所GIS专业博士,多年从事GIS基础软件研发 测绘类正高级工程师,所参与研发产品多次获得国家科技二等奖、北京市科技一等奖、GIS行业特等奖 2021年4月加入阿里,任阿里云智能-行业解决方案研发部-空间数据中台研发负责人自我介绍P3从信息化建设到数字化转型为什么需要空间数据中台空间数据中台是什么典型应用场景目录P4P4从信息化建设到数字化转型从信息化建设到数字化转型1P5IT时代信息化建设业务数据化DT时代数字化转型数据业务化从信息化建设到
2、数字化转型P6全量的数据汇聚 原有业务系统 新增IoT设备数据 标准化的数据治理 统一的数据标准和数据模型 数据质量管控 数据血缘追溯面向业务的数据开发 基于SQL的开发 可视化、标签的开发 以API的方式提供服务不断增值的数据资产 数据资产全貌和检索 面向运营的数据资产管理数字化转型的特点和要求P7组织重视战略高度组织结构组织文化技术保障数据中台咨询培训实施过程应用场景持续改进数字化转型的成功要素P8P8为什么需要空间数据中台?为什么需要空间数据中台?2P9通用GIS技术 GIS基础软件(GIS引擎)空间数据库技术空间数据业务系统 土地储备系统 规划系统 建设用地系统 空间数据信息整合系统
3、一张图 共享平台 时空云平台 国土空间基础信息平台 地理空间领域的信息化建设P10是一个固化系统 面向特定领域数据,无法适应未来新增加的数据类型要求 面向特定功能主题,不能满足动态变化的业务需求 代码固化,按项目开发,成本居高不下数据治理过程不可见 C/S工具线下治理,缺乏基于数据标准和数据模型的强约束机制 依赖专业技术人员/公司的经验和责任心,业务人员很难参与管控 缺少数据血缘追溯,难以保证计算结果质量和快速定位解决问题侧重数据共享,数据资产视角不足 数据融合不足,没有有效贯通,无法发挥更大价值 缺乏数据资产运营的完整链路(看、选、用、治、评)传统空间信息整合系统所面临的挑战P11面对数字化
4、转型,空间数据中台应运而生空间信息系统助力空间领域的数字化转型数据持续融合发挥更大价值横向拉通不同空间业务系统的数据仅满足特定范围需要空间数据中台P12P12空间数据中台是什么?空间数据中台是什么?3P13空间数据中台是什么?空间能力与数据中台的有机结合提供了空间数据的接入、标准、质量、建模、开发、服务、资产等全链路、一站式的Web开发平台空间领域数字化转型的技术平台P14空间数据中台不是什么?不是GIS基础软件(GIS引擎)不是空间数据库但会用到GIS的能力但会用到空间数据库PostGIS Ganos不是空间大数据平台(Hadoop/Spark)不是也不取代各类已有空间业务系统但可以基于空间
5、大数据平台但能汇聚已有系统数据,并使之增值P15空间数据中台在整体大图中的位置空间相关业务系统前端GIS组件空间相关业务系统前端GIS组件空间相关业务系统前端GIS组件空间数据中台空间数据标准/质量/建模/开发/融合GIS引擎空间数据库空间大数据平台空间数据同步空间服务API供数数据数据供数供数P16空间数据中台核心模块空间数据同步空间数据查询数据标准与质量空间数据建模与融合空间数据服务空间数据资产空间数据开发算子编辑器GeoSQLP17空间数据同步设置空间数据源设置空间字段数据同步任务数据同步任务P18空间数据查询地图预览与查询空间元数据查询空间SQL查询P19数据标准与质量数据质量需求数据
6、质量需求业务规则和数据标准数据质量维度数据质量规则数据质量约束数据质量监控规则数据质量评价指标准确性要求唯一性要求一致性要求完整性要求时效性要求规范性要求业务规则业务指标标准数据元标准参考数据标准数据质量检查数据质量分析报告数据质量分析数据质量分析数据质量分析数据保障数据质量管控数据质量管控数据提升自上而下的质量管控闭环P20数据标准与质量标准设计数据字典质量规则质量报告P21空间数据开发(GeoSQL)P22算子编辑器布局空间数据开发(算子编辑器)支持多GIS引擎算子混编 SuperMap算子Ganos算子 字段级数据血缘超图引擎算子开源GIS引擎算子多GIS引擎算子混编字段级数据血缘开源G
7、IS算子用户扩展算子P23空间数据建模DWS层Data Warehouse Subject,数据仓库主题数据层。按分析对象对实体进行数据整合,轻度汇总面向应用提供数据服务关键词:轻度汇总,公共汇聚指标DWD层Data Warehouse Detail,数据仓库明细层数据。面向数据进行数据域分类,整合,清洗,形成一套标准化数据模型关键词:数据模型标准化、建宽表Operational Data Store,操作型数据,指结构与源系统保持一致的全量数据对STG层数据进行数据全/增量合并以及数据清洗和标准化动作关键词:溯源、标准STAGE,结构与源系统保持一致的增量数据。汇聚业务系统源头数据是ETL加
8、工过程的缓冲区关键词:汇聚、缓冲ADM层Application Data Market,数据仓库应用数据集市层。完全贴合前端业务应用面向应用提供数据服务关键词:高度汇总,应用指标面向业务面向数据ODS层STG层P24空间网格码:预先计算,把空间计算为属性判断GeoSOTGeoHashGoogle S2Uber H3时空关系判断空间范围:包含、重叠、邻近时空轨迹关联,如路段和公交站网络可达,如时间范围、距离范围可到达统一空间对象(空间小区)通讯小区(同一个基站)交通小区(同一个路口/公交站)空间对象ID关联空间数据融合方法P25空间数据服务已有空间服务注册空间服务发布样式管理空间服务预览P26分
9、角色的数据资产管理着眼于数据资产的利用与增值数据资产供应方选择标准干净、高质安全的数据资产进行对外服务,融合多元数据信息便于理解使用数据资产运营者数据资产的分发、开放,进而使平台资产多维度丰富,促进数据资产的价值实现数据资产使用者数据资产的使用过程更便捷、更智能,提升管理决策水平资产注册核心资产识别资产上架资产编目价值诠释专题运营指标分析开放共享评价应用业务效果提升融合与质控运营与服务应用与增值P27空间数据资产数据资产入口地图服务资产地图服务资产详情空间数据表资产空间服务接口资产P28空间数据中台架构图终端场景应用空间数据中台(依托DataQ)数据来源平台底座飞天计算平台离线处理 MaxCo
10、mpute 实时计算 PostgreSQL OSS RDS空间数据查询空间数据服务智慧选址土地价值评估领导驾驶舱一码管地大屏PC Web移动钉钉端空间资产管理空间资产编目空间资产查找展现空间资产共享空间资产画像空间单元 数据资产地图资产指标资产 服务资产 分析场景资产空间资产血缘关联一宅一码GIS引擎空间数据开发空间数据建模与融合空间数据同步结构化空间数据数据标准与质量GIS前端应用场景编辑器地图场景搭建二维前端三维前端可视化组件库画布编辑业务模型编辑前端能力(依托DataV)数据孪生沙盘非结构化空间数据离线同步实时同步元数据查询图形查询统计查询数据标准定义质量规则质量报告地理编码投影坐标转化
11、数据网格化空间位置关联可视化编排GeoSQL开发字段级数据血缘目录服务地图服务要素服务元数据服务 ON ADP 离线处理 Hadoop|Hive 实时计算 Spark|ADB for PG NAS MySQL 按业务类型社会经济数据|现状数据|规划数据|管理数据按数据类型矢量|影像|地形|倾斜摄影|激光点云|精模 按数据格式GIS数据|BIM数据|三维数据|业务数据P29原有信息整合系统的挑战是一个固化系统面向特定领域数据,无法适应未来新增加的数据类型要求面向特定功能主题,不能满足动态变化的业务需求数据治理过程不可见缺乏基于数据标准和数据模型的强约束机制业务人员很难参与管控缺少数据血缘追溯,难
12、以保证质量和解决问题侧重数据共享,数据资产视角不足数据割裂,没有有效贯通,无法发挥更大价值缺乏数据资产运营的完整链路(看、选、用、治、评)是一个开放系统灵活定制的数据同步,汇聚不同业务数据可视化、GeoSQL多套数据开发方式,满足不同功能需要Web一站式数据治理,透明可见基于规范化的数据标准和数据模型进行强约束全线上治理,业务人员全程监控全链路字段级数据血缘,方便问题定位和溯源全链路数据资产管理通过ID、空间位置等多维度连接融合数据,促进数据增值全生命周期的数据资产管理过程(开发、上架、申请、审核、使用、评价、下架)空间数据中台的应对P30P30典型应用案例典型应用案例4P31应用场景1:空间
13、治理(浙江)打通融合空间数据和社会经济数据打造统一空间数据底座P32应用场景1:空间治理平台架构国土空间基础信息平台数据超图SDX+空间数据归集库格式坐标组织与源库一致ArcSDE 测绘类空间数据时空信息云平台数据含ODPS社会经济数据其他系统数据DWD第一层聚合:按主题聚合DWS第二层聚合:按实体聚合ADS第三层聚合:按指标聚合PG(postgis|ganos)矢量数据+属性数据+ExcelOSS遥感影像+DEM+倾斜摄影+瓦片API服务应用场景外部平台空间算子编辑器资产中心基础库分层分域治理空间数据建模格式转换统一编码地址空间化ODS解决标准化问题和质量检测问题坐标转换标准、建模、质量兼容
14、超图GP算子|血缘业务价值:1.数据打通2.数据治理3.血缘追溯P33应用场景1:空间治理构建空间数据指标体系P34应用场景2:识别低效用地类型一级指标指标权重住宅用地集约程度现状容积率0.25建筑密度0.15建筑状况建筑质量0.1建造时间0.08土地活力人口密度0.3环境友好度绿地率0.12商服用地建设强度现状容积率0.12建筑密度0.1建筑状况建筑质量0.08建造时间0.07土地活力客流密度0.22经济效率土地产出率0.31环境友好度绿地率0.1工业用地亩均产出亩均产出1P35数字化转型不是将来时,而是现在时数据即生产力,数据就是一座待开采的金矿空间领域的数字化转型已经迫在眉睫阿里云的空间数据中台刚刚拉开帷幕总结与展望P36谢谢大家!谢谢大家!阿里云空间数据中台期待与您共同成长!