《黎涛-水文地质与水资源数据治理与应用体系构建的思考.pdf》由会员分享,可在线阅读,更多相关《黎涛-水文地质与水资源数据治理与应用体系构建的思考.pdf(36页珍藏版)》请在三个皮匠报告上搜索。
1、P1黎 涛中国地质环境监测院2023年06月28日水文地质与水资源数据治理与应用体系构建的思考P2已有工作基础23数据治理思路形势与需求14应用体系构建思路预期成效5P3P3形势与需求1P41背景2020年1月,自然资源部出台的自然资源调查监测体系构建总体方案,从过去侧重开发利用和资源量变化,向提升对水资源生态价值的认识转变。2021年7月,中国地质调查局印发地质调查支撑水资源管理总体设计,提出“系统掌握全国及重点地区水资源的数量、质量、空间分布、开发利用、生态状况及动态变化,科学把握水资源对生态文明建设和经济会发展关键支撑与制约作用”的总体目标。总体设计提出利用5年时间,在已有国家地下水监测
2、平台基础上,建成水文地质与水资源智慧服务系统,提供水资源区划服务、重点地区水平衡状况预警服务,全面掌握全国水资源数量、质量、空间分布、开发利用、生态状况及动态变化。国家水文地质与水资源数据库及智慧服务系统水文地质与水资源调查水文地质与水资源监测水文地质与水资源评价水文地质与水资源区划P52业务需求水资源调查数据管理地表水:河湖库塘调查、土地利用与下垫面变化状况等数据地下水:1:25万、1:5万水文地质调查,开发利用调查、水文地质参数试验等;水资源监测管理监测站网管理自动监测系统运维管理水资源监测数据管理与质控遥感监测数据管理数据产品制作业务分析工具水资源评价地下水资源量评价地表水资源量评价水资
3、源质量评价水资源与水文地质模型数据成果产品制作重点区水平衡分析水资源区划水资源量及战略储备水资源质量与功能地下水脆弱性保护水资源开发利用保护地下水生态安全智慧服务水资源实时动态服务重点地区水平衡状况状况预警服务城市水资源安全综合展示与辅助决策水资源生态效益评估水资源模拟工具包数据管理能力支撑平台能力业务应用能力1.全面提升水资源“调查监测评价区划”全链条业务信息化水平,2.建立适应生态文明建设需要的水资源统一调查监测技术标准和指标体系,3.完善水资源年度调查监测与十年一轮周期调查评价制度,4.系统掌握全国及重点地区水资源的数量、质量、空间分布、开发利用、生态状况及动态变化,5.科学把握水资源对
4、生态文明建设和经济社会发展的关键支撑与制约作用,6.为水资源确权登记与权益保护、国土空间规划与用途管制、生态保护修复提供基础支撑,7.促进山水林田湖草沙生命共同体健康协调。建设目标P63总体目标基于现有的水资源调查、监测、评价、区划等工作基础,利用大数据、云计算、人工智能等新一代信息技术,对水文地质与水资源数据进行治理,构建智慧应用服务体系,实现水资源调查、监测、评价、区划数据汇聚、治理、应用的高效协同和自然资源调查监测评价、监管决策、信息共享的统一服务平台。中台赋能,构建“大中台、小前台”水资源数据管理、应用新模式全量数据治理,实现水资源数据“可知、可取、可控、可用”构建统一基础支撑平台,提
5、升国家、流域、省多级应用与服务能力构建水文地质与水资源智慧应用,提升信息挖掘和智能决策服务能力P7P7已有工作基础2P81 数据资源现状1、水资源业务数据,包括空间数据、非结构化数据、时序数据、结构化数据及格点数据五种类型。1:5万水文地质空间数据库 1:20万水文地质空间数据库 省级水文地质空间数据库 水资源专题图数据库 遥感解译成果数据库(重点地区TM/ETM/高分数据等)遥感解译成果数据库(重点地区TM/ETM/高分数据等)基础地理数据库(全国、流域、省级1:25万基础地理底图)国家地下水监测工程站点监测数据 国家级地下水站点历史数据 地下水统测数据库 水文监测数据 国考断面水质监测数据
6、空间数据时序数据 全国首次水利普查统计数据库 水资源公报数据库 社会经济数据库结构化数据 水文地质钻孔数据库非结构数据 气象格网数据格点数据大气水地表水地下水冰川冻土下垫面条件2、增量数据,包括大气水、地表水、地下水、冰川冻土、下垫面条件五类数据。P92 问题分析数据来源不同、数据格式各异,时空分布不均、汇聚方式不一,更新频次不定。数据资源缺少版本管理、质量管理,缺少数据治理专业工具数据存储按照业务管理逻辑存储和汇聚,未形成统一的数据资源体系缺少统一的数据治理与数据管理平台尚未形成统一的业务应用与智慧服务支撑平台,信息服务能力有待提升P103 业务信息系统基础环境现状分析国家地下水监测工程信息
7、应用服务系统水资源评价系统水资源调查监测系统业务系统国产商业GIS软件国外商业GIS软件开源GIS软件现有基础运行环境目前多个相关的业务应用系统分散在不同的基础运行环境,存在空间数据格式不统一、服务类型不统一、管理不方便、业务应用调用服务无标准化等问题。P11P11数据治理思路3P121 治理思路 采用国产自主可控的数据库环境,构建统一的国家水文地质与水资源数据库1、构建统一的国家水文地质与水资源数据库P132 总体框架设计基础硬件基础软件感知设备数据库服务器群应用服务器群GIS服务器群管理服务器群存储群虚拟化路由器入侵检测防火墙物联网地面航天航空网络传输移动通信网络(5G/4G/北斗)政务网
8、互联网操作系统中间件数据库软件虚拟化软件GIS软件专网智慧应用数据中台数据标准三维立体数据底座数据治理数据体系数据汇聚数据清洗数据处理质量管理血缘管理数据管理数据挖掘数据服务基础设施层数据资源层服务支撑层业务应用层二维地图服务三维场景服务专题数据服务数据查询服务数据统计服务数据血缘服务数据标签服务数据监控服务贴源数据层水文监测数据水文地质空间数据水文地质钻孔数据水资源专题图水资源公报数据社会经济数据 统一数仓水资源调查数据水资源监测数据水资源评价数据水资源区划数据水资源基础数据基础地理数据 标签数据层主题标签属性标签时间标签关系标签状态标签归属标签 产品数据层大气水地表水地下水海洋水冰川冻土
9、水文地质空间数据水文地质钻孔数据水资源专题图水资源公报数据社会经济数据 主题数据专题数据基础支撑平台服务管理系统支撑服务支撑系统算法模型管理系统产品制作系统二次开发系统运维管理系统知识图谱服务分布式计算服务地址匹配服务资源目录服务专业模型服务综合查询服务统计分析服务空间分析服务三维场景服务机器学习服务 1+1+9+31 基础网络节点链路水资源基础信息管理水资源数据管理水资源动态分析水资源遥感监测水资源评价水资源区划水资源预测与预警水平衡综合分析智慧服务水资源数据驾驶舱水资源数据产品制作与共享水资源国情数据系统水资源数据公众服务发布系统运维保障体系信息安全体系标准规范体系社会公众省级用户流域用户
10、部委用户智慧应用服务基础支撑&业务赋能数据治理&数据资源体系数据汇聚&基础运行环境P143 搭建数据中台数据标准规范数据来源数据中台数据应用数据汇聚数据治理数据挖掘数据服务数据治理工具数据体系数据抽取数据转换清洗融合质控审核血缘管理标签管理知识融合数据服务二维地图三维场景专题服务入库贴源数据层统一数仓标签数据层应用数据层(主题库、专题库)工具管理算子编排自动处理整合工具数据加载数据映射目标配置处理工具数据导入数据配准投影转换格式转换属性操作矢量处理矢量分析栅格处理栅格分析拓扑处理空间分析AI分析汇聚融合加工服务数算一体国家已有系统流域节点省级节点调查监测行业共享数据库接口服务接口服务接口物联网
11、采集信息填报服务接口共享交互用户局本级用户流域用户省级用户社会公众应用水资源动态分析水资源监测预警水资源评价水资源区划水平衡分析 数据安全保障成果治理流程全国水文地质与水资源调查信息服务平台国家地下水监测工程信息应用服务系统P154 数据治理流程利用数据治理工具、SuperMap处理自动化GPA技术,对水文地质与水资源矢量、栅格、时序等数据进行质量控制与,提升数据治理与产品制作效率。在数据处理、分析计算的过程中,涉及到大量基础数据、气象数据、水文地质与水资源数据进行关联分析处理的过程。包括:数据录入、编辑修改、查询、缓冲区分析、叠加 分析、插值运算 通过GPA构建产品制作或分析的流程,批量制作
12、产品或分析数据,增强系统灵活性,提升数据产品制作效率。P164.1 数据治理流程-基础地理数据处理P174.2 数据治理流程-监测类数据处理开发多格式转换工具数据导入/转换数据分类提取数据检查与处理数据入库监测类数据:主要包括地下水监测数据、气象监测数据。地下水监测数据主要以多时序监测数据为主,通过数据治理将数据规范化处理后写入数据库,再利用GIS工具制作成数据产品。气象监测数据主要来自气象部门共享,数据有3种格式:1)micaps格式(.000),2)ASCII栅格文件(.txt),3)日值数据集SURF_CLI_CHN格式(.TXT),经过自动化处理后写入时空数据库,统一管理。GPA模型监
13、测站点插值分析提取面数据地图裁剪成果图数据处理过程数据产品制作本站气压气温相对湿度降水蒸发风向风速日照0cm地温水位标高埋深水温气象监测数据地下水监测数据P184.3 数据治理流程-水文地质类数据处理开发数据迁移工具数据批量迁移数据检查符号检查与制作数据融合数据入库数据制图水文地质类数据:主要是分幅数据,以MapGIS格式、shp格式为主,数据治理的工作主要是对数据进行平台迁移、融合、入库管理。点线面符号注记P195 数据资源体系贴源数据层一级体系(汇聚区)二级体系(治理区)三级体系(产品区)数据源增量数据水文监测水质监测气象监测地下水监测 存量数据水文地质空间数据水文地质钻孔数据地下水统测数
14、据水资源专题图水资源公报数据社会经济数据遥感解译数据土地覆被数据基础地理数据 9个流域节点 海河黄河淮河长江32个省级节点 北京贵州河北湖南其他部委 水利气象环保已建系统国家地下水监测工程服务系统全国水文地质与水资源调查平台 数据库接口服务接口服务接口共享交换抽取抽取转换标签数据层统一数仓主题标签属性标签时间标签关系标签状态标签归属标签描述性标签水资源调查数据水资源监测数据水资源评价数据水资源区划数据水资源基础数据社会经济数据基础地理数据数据标准规范数据资源目录入库审核质控融合标签计算规则提取 专题集成数据产品层主题数据大气水地表水海洋水冰川冻土地下水 专题数据水文地质空间数据水资源量数据基础
15、地理数据社会经济数据水资源监测数据 服务应用层按需获取清洗四级体系(应用区)多源融合产品标准化产品挖掘后产品自然资源部航天遥感数据航空遥感数据共享交换国家地下水监测工程信息应用服务系统全国水文地质与水资源调查信息服务平台水资源动态分析系统业务系统水资源评价系统水资源区划系统 业务成果水平衡分析系统数据产品服务汇聚入库汇聚入库P206 国家、流域、省级互联互通中国地质调查局流域节点省级节点流域库省级库互联互通专线数据申请数据审核数据修改数据提交数据应用数据申请数据审核数据修改数据提交数据应用互联互通专线自然资源部调查类产品监测类产品评价类产品区划类产品基础类产品数据产品治理工具专业分析数据分析制
16、图工具数据报表专业工具国家水资源数据库与智慧服务系统本地数据共享数据本地数据共享数据P21P21应用体系构建思路4P221构建业务应用体系围绕水资源调查、监测、评价、区划全业务流程,对水体质量、总量以及其他指标进行科学评价与分析,开发国家水文地质与水资源业务应用分系统,包括:国家水资源数据管理系统、国家水资源基础信息管理系统、国家水资源动态分析系统、国家水资源遥感监测系统、国家水文地质与水资源数据驾驶舱。P232 业务应用体系构建思路-水资源数据管理系统利用数据中台工具、自动化GPA工具(工具自由编排、快速拖拽搭建),对水文地质与水资源时空数据、监测数据、业务数据进行治理,实现全域数据治理全流
17、程监管,达到数据可管、可控目标。用户群体:数据业务人员、平台用户。治理过程贴源数据统一数仓标签数据应用数据详情详情详情详情数据治理数据挖掘数据加工工具集治理流程P243业务应用体系构建思路-水资源基础信息管理系统利用GIS技术、可视化技术、图谱技术,对水资源基础信息、基础资料进行时空管理,信息展示分析、三维模型管理等,为业务人员的日常工作布置、工作开展提供指导。用户群体:业务人员、平台用户。工作区站网信息空间范围站网密度站网分布图数据资源数据统计数据分析成果图文档模型管理P254业务应用体系构建思路-水资源动态分析系统利用GIS技术、可视化技术、大数据等技术,对地下水监测数据、水文地质矢量图件
18、、气象数据和社会经济数据进行时空演化分析,提供专业的分析工具和数据产品。用户群体:科学家、行业用户、专业用户。数据资源目录工作区时间维度空间维度P264业务应用体系构建思路-水资源动态分析系统数据分析插值分析机器学习 动态趋势预测 识别正常数据空间分析专业工具集P274 应用体系构建思路-水资源动态分析系统数据分析插值分析机器学习 动态趋势预测 识别正常数据空间分析专业工具集P284业务应用体系构建思路-水资源动态分析系统数据分析插值分析机器学习 动态趋势预测 识别正常数据空间分析专业工具集P294业务应用体系构建思路-水资源动态分析系统数据分析插值分析机器学习 动态趋势预测 识别正常数据专业
19、工具集空间分析原始数据区间预测区间基于LSTM方法的地下水位动态趋势预测基于机器学习工具研发地下水自动监测异常数据识别等技术。(1)利用相同时间段地下水位数据的频率统计,有效识别因设备故障形成的异常数据;(2)通过机器学习预测水位数据的阈值区间,避免因地下水位持续上升、下降而造成的数据异常误报;(3)浅层地下水动态趋势主控因素识别技术。预测区间数据,识别为正常数据P304业务应用体系构建思路-水资源动态分析系统全国1:500万水文地质图水文地质图数字版地下水资源分区图流域分区图水文地质基础地理专题数据全国1:500万水文地质图水文地质图数字版1:20万水文地质公开图1:20万地质图公开版行政区
20、划流域分区地下水资源分区地下水监测站气象监测站数据产品P314业务应用体系构建思路-水资源动态分析系统监测站网分布图按照区域分区、流域分区、地下水资源分区、自定义方式统计大气水-降水-累计降水分布图社会经济专题数据数据产品主题数据专题数据大气水地表水地下水冰川冻土下垫面条件监测站点其他专题水文地质空间数据水资源数据水资源实时监测数据基础地理数据社会经济数据等P324业务应用体系构建思路-水资源动态分析子系统模型成果展示模型结果三维展示模型结果报表查询模型参数查询P33制作面板选择组件选择数据选择模板5业务应用体系构建思路-数据驾驶舱利用SuperMap iPortal产品,快速构建水文地质与水资源数据领导驾驶舱,通过实时监测,统计分析、预测预警等维度,对水资源动态、水平衡状态进行以图形化、数字化、专题图等形式进行综合展示,辅助领导决策。用户群体:决策者、平台用户。基础类实时类预测类时空类P34P34预期成效5P35预期成效利用数据治理工具、治理体系,构建数算一体统一的国家水文地质与水资源数据底座为水资源调查、监测、评价、区划等工作提供专业的工具和数据产品构建水文地质与水资源智慧应用,服务业务单位及社会公众,辅助领导决策构建“1+1+9+31”的应用体系,满足国家、流域、省等多级用户应用需求P36Thank You All!