1、基于元数据智能治理的电力数据要素价值挖掘黄祖源 云南电网有限责任公司信息中心|01成果背景02成果内容03成果价值04典型应用案例目录 CONTENT|01成果背景自十八大以来，从国家发展到南网数字化转型都对数据治理提出了明确要求，数据治理已经成为释放数据要素价值、占据国际数字竞争制高点的迫切需要。|数据要素国家治理体系是指统筹数据要素流通与应用的一系列相互关联、相互协调的制度安排，体现在国家、行业、区域、企业、个人等不同层面，涉及科技、产业、社会等不同应用领域以及数据采集、存储、加工、分析等不同管理阶段。构建数据要素国家治理体系不仅是我国推进国家治理现代化的迫切需要，而且是我国释放数据要素价

2、值、占据国际数字竞争制高点的迫切需要。背景PROJECT BACKGROUND 党的十八大以来，以习近平同志为核心的党中央高度重视数字化发展，明确提出建设数字中国。2022年6月22日，习近平总书记在主持召开中央全面深化改革委员会第二十六次会议时强调，促进数据高效流通使用、赋能实体经济，统筹推进数据产权、流通交易、收益分配、安全治理，加快构建数据基础制度体系。会议还审议通过了关于构建数据基础制度更好发挥数据要素作用的意见。数据要素国家治理体系是指统筹数据要素流通与应用的一系列相互关联、相互协调的制度安排，体现在国家、行业、区域、企业、个人等不同层面，涉及科技、产业、社会等不同应用领域以及数据采

3、集、存储、加工、分析等不同管理阶段。构建数据要素国家治理体系不仅是我国推进国家治理现代化的迫切需要，而且是我国释放数据要素价值、占据国际数字竞争制高点的迫切需要。国家发展方向 南方电网公司明确提出了建设“数字电网”和数字化转型的目标，进一步强调了强化数据资产管理，挖掘数据资产价值，落实国家大数据发展战略的战略举措，这些都要求夯实数据治理基础，通过加强元数据管理、数据标准管理、数据质量管理等数据治理工作，为开展数据资产管理创造良好的战略环境和制度基础，也为促进数据价值释放打好数据基础。南方电网发展方向|数据治理面临的问题-痛点分析PROBLEM STATUS数据定义管理数据标准管理：内外部不同来

4、源的业务数据，其数据标准存在不一致的情况；其次是随着业务变化而发生的数据标变化，无法及时更新对应的数据治理规则。元数据管理：电力企业主要针对结构化数据的技术元数据实现了自动采集，而通过管理手段完善管理元数据和业务元数据。此外在非结构化数据的元数据管控上处于起步阶段。数据质量治理数据质量管理：数据质量规则清单主要依赖于人工经验梳理和维护，目前情况下只能覆盖核心业务和部分常规业务，对于新兴业务和外部业务覆盖率仍有待加强。质量问题分析：在对数据问题进行分析时，无法完全摆脱对业务专家的依赖，在支持基层业务人员开展治理时，服务质量有待提高。知识沉淀数据治理知识管理：元数据、数据标准、数据质量规则、问题数

5、据分析结果、整改指引、整改经验等方面的知识独立积累，数据治理知识未能全面有效地形成体系。传统数据治理过程多源异构数据的数据定义与标准不统一，数据覆盖不全传统数据治理问题数据治理过程缺乏自动化和智能化手段，效率较低数据标准和数据质量规则的时效性无法保障治理专家知识未能有效利用，问题发现效率不高数据治理知识融合程度低，无法多维度的查询和展示关联信息 在大数据时代，传统的数据治理手段已无法应付治理过程产生的问题，例如多源异构数据的获取和定义、数据治理效率、标准和规则的时效性、治理知识的利用率、多维治理知识的融合等问题。|数据治理-智能化是发展趋势DEVELOPMENT TREND增强型数据管理利用M

6、L（机器学习）和AI（人工智能）技术优化并改进运营。它还促进了元数据角色的转变，从协助数据审计、沿袭和汇报转为支持动态系统。增强型数据管理产品能够审查大量的运营数据样本，包括实际查询、性能数据和方案。利用现有的使用情况和工作负载数据，增强型引擎能够对运营进行调整，并优化配置、安全性和性能。在面临上述问题时，如果还是依靠传统”人海战术“的数据治理模式，将无法适应业务数字化转型的要求。因此，云南电网在实践中尝试通过自动化和智能化的数据治理手段实现基于元数据的智能治理，深挖电力数据要素价值，“以智促质、以质增值”。在Gartner 2020年发布的“数据与分析领域的十大技术趋势”中给出了这样的预测智

7、能化技术的发展驱使数据治理变革！知识图谱技术知识图谱技术智能分析技术智能分析技术智能识别技术智能识别技术支持对文档、图片、音频、视频等的元数据识别支持对业务数据进行智能数据标准挖掘根据元数据、标准和数据的变化情况的智能分析，并自动更新规则。根据治理案例库知识，根据规则执行结果智能分析问题原因。基于元数据，自动提取元数据相关的关联信息构建治理知识图谱“智能数据治理-目标TARGET|02成果内容云南电网基于元数据的智能治理经历理论研究、平台建设、场景应用三个阶段，从“治理知识图谱化”、”元数据自动化管理”等五个关键方向进行突破。|实现路径TECHNOLOGY ROADMAP统一大数据治理体系研究

8、01基于数据治理智能化技术的平台建设02数据治理智能化技术应用场景03治理知识的图谱化构建研究元数据自动化管理技术研究数据标准自动生成技术研究数据规则自动生成技术研究数据质量问题智能分析技术研究知识图谱构建元数据管理数据标准生成应用场景方案平台建设场景应用|为实现“以智促质、以质增值”的目标，云南电网公司通过对治理理论体系的研究提出了”治理知识图谱化“等五个改进点，打造数据治理智能化技术的平台建设，以应用场景实现价值挖掘，初步探索了一条智能化数据治理的前进方向。数据规则生成数据问题智能分析|基于元数据的智能治理体系INTELLIGENT GOVERNANCE SYSTEM面向数据治理的电力知识

9、人工智能算法体系业务应用云电贷彩云充一部手机办事通元数据智能采集实体/关系抽取数据挖掘数据治理知识图谱（面向数据治理的电力知识库）元数据管理数据标准识别数据标准挖掘标准智能落标质量规则自生成质量规则自适应质量问题智能分析质量规则自动评估质量问题治理案例智能推荐知识反馈质量规则执行策略数据质量报告质量治理案例库元数据质量评估数据标准管理业务标准智能生成元数据动态标签生成数据质量检查基于数据抽样的质量检查基于数据挖掘的质量检查质量问题处理质量问题根因分析冗余数据发现基于信标机制的数据自动化稽核概念动态映射知识挖掘特征分布、特征聚类数据修复推理决策本体映射本体对齐自然语言理解、生成数据特征识别算法数

10、据特征抽样数据挖掘算法哈希算法机器学习深度学习冗余计算认知计算概率计算 基于元数据的智能治理体系主要分为两层，一是基础数据治理底层技术服务能力，基于机器学习、自然语言处理、智能算法等技术能力，面向电力数据治理问题所构建的基础技术服务能力。二是智能数据治理框架，在应用数据治理技术服务能力的基础上，根据治理应用需求搭建的智能数据治理平台。基础数据治理底层技术服务能力服务数据智能数据治理平台|技术实现思路-多源异构数据的元数据智能识别TECHNICAL REALIZATION IDEAS多源异构数据不可知企业管理者业务人员有什么数据可以用？业务含义是什么？数据资产不清晰电力新能源银行客户服务提供元数

11、据自动化和智能化技术，为跨域数据的数据构建统一的元数据模型，统一数据的含义描述，为数据治理打好基础。应用价值智能化思路传统思路元数据智能识别统一元数据模型元数据自动补充技术亮点 通过构建多源异构的元数据模型，将企业内外部数据的元数据基于业务对象进行重新组织；利用元数据智能识别，在技术元数据基础上提取完善业务元数据和管理元数据，构建结构统一、维度多样的数据资产目录。构建统一的元数据模型，支持多源异构数据的元数据智能识别传统流程传统流程传统流程基于智能化技术构建元数据管理业务流程技术实现思路-构建数据治理知识图谱，实现多元数据知识的融合IMPLEMENTATION SCHEME 以识别的技术元数据

12、为枝干，自动采集“元数据与标准、标准与规则、规则与治理案例、规则与质量问题、元数据之间的父子关系”等信息形成树叶，构建具备实体、关系、属性等信息的治理知识图谱，以此图谱作为整个智能数据治理的基座和核心。|数据融合程度低企业管理者业务人员这个规则所引用的标准？这个元数据的标准是？数据关系无法建立元数据规则标准治理案例实体/关系/属性/抽取元数据标准规则治理案例智能落标，建立元数据与标准关系根据标准，生成质量规则，抽取标准与规则关系根据规则执行问题情况，智能推荐治理案例，抽取其关系元数据之间的父子关系，比如库表与字段的关系。以技术元数据为基，通过多元的关系数据，构建统一的治理知识图谱|技术实现思路

13、-通过智能化技术，实现提标准和规则的自生成IMPLEMENTATION SCHEME工作效率低业务协作繁杂数据管理者业务人员数据源IT人员数据结果数据需求数据需求1000 years have passed电力银行新能源减少人为的参与，提高数据治理工作效率。应用价值数据标准智能挖掘数据标准智能落标质量规则自动生成质量规则自动适应技术亮点基于元数据实现数据标准和质量规则自动生成，并支持规则的动态更新 基于治理知识图谱，定位元数据对应的数据信息，通过对数据特征进行智能挖掘和识别生成数据标准；根据元数据与数据标准落标关系，遵循规则生成规范自动生成数据质量规则，将数据质量指标作为元数据的管理元数据反哺

14、、完善治理知识图谱。知识图谱基于元数据落标的数据标准基于数据标准变更基于元数据变更基于数据变化趋势|技术实现思路-利用治理案例知识沉淀，实现质量问题的智能分析IMPLEMENTATION SCHEME数据不可控数据质量不高数据覆盖范围质量规则质量问题问题分析质量问题智能分析治理案例智能推荐技术亮点 结合云南电网数据治理所积累的知识库，利用机器学习技术，训练质量问题分析模型，根据数据质量规则的执行结果中质量问题的特征情况，通过算法技术计算特征的相似程度，自动的推荐问题分析原因，以及治理案例，使用户通过治理知识图谱能够一站式查询所有相关治理知识。根据学习治理案例问题特征，利用算法实现质量问题的快速

15、定位智能数据治理平台OVERALL STRUTURE DESIGN采集存储加工算法可视化大数据治理体系调度应用银行数据其他外部数据电力数据统一元模型智能数据治理平台大数据应用智能识别知识图谱自动采集大数据应用场景元数据智能评分数据治理知识图谱数据质量规则自动适应质量问题智能推荐元模型管理数据质量规则自动生成元数据智能感知元数据自动采集数据标准自动生成数据标准智能挖掘数字电网数据服务新能源数据云电贷一部手机办事通彩云充平台通过智能和自动化手段实现多源异构数据的治理，有效的支撑数据交互服务和大数据应用。通过多源异构数据，利用元数据的智能识别技术，实现元数据自动管理，并基于元数据构成，实现数据标准和

16、质量规则的自动生成，以及智能化的问题分析处理和治理知识图谱的自动构建。智能治理平台|关键技术-非结构化数据的元数据智能感知技术TECHNOLOGICAL INNOVATION 通过对业务对象非结构化数据的识别，利用自然语言处理、图像特征识别、语言识别、动态特征识别等智能技术，可快速对图像、文档、音频、视频等非结构化数据的元数据信息的分析和识别。|文档图片音频视频类型元数据技术元数据设备名称设备类型设备参数业务元数据摘要关键字管理元数据归属部门算法识别类型元数据技术元数据设备类型业务元数据名牌参数管理元数据管理人员OCR特征识别语言识别动态特征识别类型元数据技术元数据设备名称业务元数据热词类型元

17、数据技术元数据设备名称设备类型业务元数据名牌参数外部特征热词关键技术-构建电力元数据知识图谱TECHNOLOGICAL INNOVATION 首先对业务系统数据库采集技术元数据，构建知识图谱原型；其次根据从技术文档、规范制度、数据特征中智能识别的业务元数据和管理元数据，提取实体、关系、属性等信息，不断循环完善知识图谱，形成体系化、一站式的图谱。|技术元数据新能源设备表设备编号设备名称业务数据库采集管理元数据归属部门管理人员业务元数据名牌参数热词外部特征摘要智能识别设备编号设备名称归属部门管理人员热词充电桩设备关键技术-数据标准智能挖掘技术TECHNOLOGICAL INNOVATION 通过在

18、数据治理知识图谱中选择业务对象的相关字段，可以在数据挖掘页面可通过数据特征算法计算出该字段的数据类型特征分布情况，以此作为在业务发生变动时，对数据标准的变化感知和完善补充，重点强化对外部数据的元数据管控能力和数据治理能力。|步骤一：通过知识图谱，选择需要进行标准挖掘的字段元数据步骤二：自动定位到该字段，通过智能算法进行数据特征分析，可分析初该字段长度、枚举值、值域等数据特征，最后人工确定后形成标准。关键技术-数据质量规则自生成自适应技术TECHNOLOGICAL INNOVATION 数据质量规则通过元数据的库表名称、字段名称、数据标准的关系信息，利用规则生成引擎，对参数和标准信息按照规则脚本

19、规范进行组装，形成可执行的SQL脚本。并支持通过感知元数据、数据标准和数据特征变化情况，进行自适应更新。通过这项技术实现普适性数据质量规则的生成，实现数据治理的全域覆盖。|库表名称字段名称数据标准规则模板规则脚本规范标准参数规则生成引擎规则生成参数信息提取Select*from 充电桩设备表 t where t.设备类型 not in(02,03,05,09)举例规则列表关键技术-质量问题自动化归因分析技术TECHNOLOGICAL INNOVATION 数据质量问题自动化归因分析基于云南电网历年积累的数据质量问题分析报告、整改指引等治理案例信息，采用基于特征相似度计算，分析匹配，形成最佳的综

20、合治理建议推荐。以治理知识图谱为基础，实现通过元数据对数据治理相关所有信息的的统一查询。|已标注的充电桩治理案例信息治理案例库获取标注数据根据充电桩设备类型规则执行的问题，匹配到充电桩治理案例03成果价值基于元数据的智能治理经过一年的实践，已覆盖银行、新能源、客户服务等应用场景，有效促进了电力数据要素价值挖掘与释放。|实用性价值PRACTICAL VALUE15000+已管理的元数据4100+支持数据服务10+支撑大数据应用520+支撑应用场景623000+自动生成规则31000+处理数据问题 成果应用于云南电网公司智能数据治理平台，为公司提供了全域数据质量辅助：通过1年的应用，在扩大元数据覆

21、盖、解决多源异构问题、实现智能化管控等方面均取得明显成效，治理后的数据交换服务已覆盖银行、新能源、客户服务等应用场景，有效支撑大数据应用落地，促进了电力数据要素价值挖掘与释放。|减少数据问题处理时间60%释放全职人力工时50%93.899.7数据质量指数04典型应用案例通过基于元数据的智能治理，云南电网将治理数据与对外应用深度结合，实现了“云电贷”、“彩云充”等对外数据价值释放的典型案例。|典型应用案例-云电贷SUPPORTING APPLICATION CASES 通过对用户电力数据的元数据定义，以及元模型构建，给“云电贷”产品在数据库设计和数据模型构建提供了极大的便利性，将应用落地推广的时

22、间提前了半年，并率先在昆明、曲靖、玉溪三地同时落地推广，并成功由用电客户自主申请达成首单。1“通过智能化数据治理，云电贷产品所管理的数据得到大量治理，数据服务访问的成功率从81.3%提升至95.7%，有效的支撑了“云电贷”数据增值服务的访问，目前产品已有2118次访问量。2信贷数据用电数据电力能源视角刻画客户信用画像智能元数据数据治理企业信用评估算法模型用户数据其他数据+累计对50余家云南中小微企业开展30余次的授信，成功放出贷款1000余万元。典型应用案例-彩云充 通过对充电数据的分析和治理，将数据问题从8%下降到2%，支撑了新能源汽车及充电设施的实时数据统计服务，以及新能源汽车及充电设施一体化的大数据应用分析服务。1、数据服务支撑SUPPORTING APPLICATION CASES|通过对充电数据和电网布局数据进行协同治理，为充电桩精准定位和布局夯实基础，解决新能源汽车用户找桩难、充电难的业务困境。2、业务支撑 通过电网数据接口与其他平台数据接口标准化的元数据统一定义，优化数据交互的兼容性。3、第三方支撑接入电动汽车25000余辆，充电站（点）800余个，充电桩（枪）9000多个，累计完成充电电量3000万千瓦时以上。非常感谢您的观看|