《【2023数栖大会】高新民_重视数据基础设施建设 .pdf》由会员分享,可在线阅读,更多相关《【2023数栖大会】高新民_重视数据基础设施建设 .pdf(29页珍藏版)》请在三个皮匠报告上搜索。
1、重视工业数据基础设施建设重视工业数据基础设施建设 重视数据基础设施建设重视数据基础设施建设 高新民高新民 2 2023.05 023.05 杭州杭州 对数字化转型的理解对数字化转型的理解所有生产业务经营活动网络化、数字所有生产业务经营活动网络化、数字化、智能化化、智能化,由联结汇聚数据由联结汇聚数据,由数据由数据产生智能产生智能,由智能科学决策由智能科学决策,本质上是本质上是以数据要素优化其他生产要素的配置以数据要素优化其他生产要素的配置和运营和运营,以达到全产业链、全价值链以达到全产业链、全价值链高质量发展的目标高质量发展的目标工业互联网平台基础功能工业互联网平台基础功能联接联接数据数据智能
2、智能 数字基础设施(功能视角数字基础设施(功能视角)通信网络基础设施(光纤、通信网络基础设施(光纤、5G)5G)存储基础设施(存储基础设施(IDCIDC)算力网络基础设施(东数西算)算力网络基础设施(东数西算)数据网络基础设施(?)数据网络基础设施(?)数据的重要性已有共识数据的重要性已有共识数字经济,指直接或间接利用数据来引导资源发挥作用,通过物联网、大数据、5g等手段推动生产力发展的经济形态。数据作为基础要素数据作为基础要素数据与埸景数据与埸景融合产生效益融合产生效益数据作为生产要素数据作为生产要素流通产生价值流通产生价值 目前面临问题不少目前面临问题不少数据使用过程中普遍存在数据使用过程
3、中普遍存在“不愿、不敢、不能不愿、不敢、不能”共享的问题,导致海量共享的问题,导致海量“三异三异”数据散落在众数据散落在众多机构和信息系统中,形成数据孤岛多机构和信息系统中,形成数据孤岛”,同时,同时流通机制不灵活、不清晰。流通机制不灵活、不清晰。数据来源众多、体量庞大、结构各异、关系复数据来源众多、体量庞大、结构各异、关系复杂。从如此繁杂的海量数据中挖掘高价值、关杂。从如此繁杂的海量数据中挖掘高价值、关联性强的高质量数据,需要高效可靠的数据基联性强的高质量数据,需要高效可靠的数据基础设施保障。础设施保障。鼓鼓据流通不畅据流通不畅,有数据不能用有数据不能用融合应用不足融合应用不足有数据不会用有
4、数据不会用。高质量数据成为服务与创新的重要基础,也是高质量数据成为服务与创新的重要基础,也是提升机构数据价值的前提。然而,数据质量不提升机构数据价值的前提。然而,数据质量不高的现象依然突出,给数据深入挖掘与高效应高的现象依然突出,给数据深入挖掘与高效应用带来困难。用带来困难。数据质量不高,数据质量不高,有数据不好用。有数据不好用。出路何在?出路何在?理顺流转思路理顺流转思路建设基础设施建设基础设施 数据流通机制多元化,清晰化数据流通机制多元化,清晰化数据要素资产化的前提数据要素资产化的前提:有边界,可识别,有潜在有边界,可识别,有潜在价值。价值。数据要素价值实現取决流通,与埸景強相关,数据要素
5、价值实現取决流通,与埸景強相关,流流通机制依埸景而多元通机制依埸景而多元,才是正道。,才是正道。数据流通机制中,数据流通机制中,市场化是一重要选项市场化是一重要选项,但不宜,但不宜成为唯一。成为唯一。更应倡导数据共享更应倡导数据共享(在共同体内在共同体内),数,数据开据开放,后两者也要明确尊重数据主权原则放,后两者也要明确尊重数据主权原则异构、异主、异地(异构、异主、异地(“三异三异”)数据的数据的流通的基流通的基础是数据的互操作础是数据的互操作,然后依埸景及规则选择流转,然后依埸景及规则选择流转机制机制多元流通机制多元流通机制:自用机密数据,共享数据,开自用机密数据,共享数据,开放教据,交易
6、数据放教据,交易数据重视工业数据基础设施建设重视工业数据基础设施建设重视工业数据基础设施建设重视工业数据基础设施建设 工业数据基础设施工业数据基础设施工业数据基础设施包括数据互操作基础设工业数据基础设施包括数据互操作基础设施和数据建模基础设施,施和数据建模基础设施,两者又由技术架构和制度架构支撑两者又由技术架构和制度架构支撑数据互操作是基本要求,共享和交换是有数据互操作是基本要求,共享和交换是有约束条件的:需求、主权、安全约束条件的:需求、主权、安全 工业数据互操作基础设施架构工业数据互操作基础设施架构工业数据互操作基础设施工业数据互操作基础设施研发数据研发数据生产数据生产数据经营数据经营数据
7、行业数据行业数据.例如例如FAIR FAIR 原则原则制度架构制度架构例构例构DOA,IDSDOA,IDS技术架构技术架构例:例:FAIRFAIR原则原则数据利用面临的重大挑战之一,就是通过机器发现、访问、数据利用面临的重大挑战之一,就是通过机器发现、访问、整合和分析与任务相适应的数据及其相关算法和工作流程,整合和分析与任务相适应的数据及其相关算法和工作流程,来促进知识发现。来促进知识发现。在这里,在这里,FAIRFAIR指导原则,使数据具有可发现性、可访问性、指导原则,使数据具有可发现性、可访问性、互操作性和可重用性。互操作性和可重用性。FAIRFAIR一词是在一词是在20142014年的洛
8、伦兹研年的洛伦兹研讨会(讨会(Lorentz WorkshopLorentz Workshop)上发起的,由此产生的)上发起的,由此产生的FAIRFAIR原则于原则于20162016年发布。年发布。FindableAccessibleInteroperableReusableFAIRFAIR原则原则2016年3月一部分科学家和组织组成的联合体在数据科学中明确了“FAIR原则”,用于科学数据管理。FindableFindable可发现性可发现性AccessibleAccessible可访问性可访问性InteroperableInteroperable互操作性互操作性ReusableReusabl
9、e可重用性可重用性使用数据的第一步是找到它们。元数据和数据都应该让人类元数据和数据都应该让人类和计算机能够很容易的找到。机器可读的元数据是自动发现和计算机能够很容易的找到。机器可读的元数据是自动发现数据集和服务的必要条件,因此这是数据集和服务的必要条件,因此这是FAIRFAIR化过程中的一个重化过程中的一个重要组成部分。要组成部分。FAIR的最终目标是优化数据的再利用。为了实现这一目标,元数据和数据应该得到很好的描述,以便它们能够在不同的元数据和数据应该得到很好的描述,以便它们能够在不同的环境中被复制和环境中被复制和/或组合。或组合。一旦用户找到所需的数据,她一旦用户找到所需的数据,她/他需要
10、知道如何他需要知道如何访问这些数据,可能包括认证和授权访问这些数据,可能包括认证和授权。这些数据通常需要与其他数据进行整合。此外这些数据通常需要与其他数据进行整合。此外,数据还数据还需要与应用程序或工作流进行互操作,以便进行需要与应用程序或工作流进行互操作,以便进行分析、存储和处理。分析、存储和处理。这些原则涉及三类主体:数据(或任何数字对象)、这些原则涉及三类主体:数据(或任何数字对象)、元数据(关于数字对象的信息)和基础设施。元数据(关于数字对象的信息)和基础设施。1 13 32 24 4FAIRFAIR化数据的细则要求化数据的细则要求FindableFindable可发现性可发现性F1.
11、(F1.(元元)数据也需要被分配一个全数据也需要被分配一个全球唯一的、永久的标识符(球唯一的、永久的标识符(IDID)。)。F2.F2.用丰富的元数据描述数据。用丰富的元数据描述数据。F3.F3.元数据清楚明确地包括它们所元数据清楚明确地包括它们所描述的数据的标识符。描述的数据的标识符。F4.(F4.(元元)数据在可搜索的资源中注数据在可搜索的资源中注册或编制索引。册或编制索引。AccessibleAccessible可访问性可访问性A1.(A1.(元元)数据可以使用标准化的通数据可以使用标准化的通信协议通过其标识符进行检索。信协议通过其标识符进行检索。A1.1 A1.1 协议是开放的、免费的
12、、可协议是开放的、免费的、可普遍实施的;普遍实施的;A1.2 A1.2 协议允许在必要时采用认证协议允许在必要时采用认证和授权程序。和授权程序。A2.A2.即使在数据不再可用的情况下即使在数据不再可用的情况下,元数据也可以访问。,元数据也可以访问。InteroperableInteroperable互操作性互操作性I1.(I1.(元元)数据使用一种正式的、可数据使用一种正式的、可访问的、共享的和广泛适用的语言访问的、共享的和广泛适用的语言来表示信息(知识来表示信息(知识knowledgeknowledge)I2.(I2.(元元)数据使用遵循数据使用遵循FAIRFAIR原则的原则的词汇表。词汇表
13、。I3.(I3.(元元)数据包括对其他数据包括对其他(元元)数据的数据的有条件参考有条件参考ReusableReusable可重用性可重用性R1.R1.对元对元(数据数据)的描述应当丰富的描述应当丰富,具有多种准确和相关的属性。,具有多种准确和相关的属性。R1.1.(R1.1.(元元)数据的发布要有明确的数据的发布要有明确的、可获取的数据使用许可证;、可获取的数据使用许可证;R1.2.(R1.2.(元元)数据与详细的出处有关数据与详细的出处有关;R1.3.(R1.3.(元元)数据符合领域相关的社数据符合领域相关的社区标准。区标准。认识到计算机必须能够在没有或很少认识到计算机必须能够在没有或很少
14、人的干预下自主地访问数据,实现异人的干预下自主地访问数据,实现异构、异主、异地数据互操作是构、异主、异地数据互操作是FAIRFAIR原原则的核心。则的核心。FAIRFAIR不等于开放。不等于开放。FAIRFAIR中的中的“A A”标识标识“在明确规定的条件在明确规定的条件下可以使用下可以使用”,任何数据在多,任何数据在多大程度上可用,完全由数据所大程度上可用,完全由数据所有者决定,可有者决定,可包含权限控制的包含权限控制的可访问可访问性性对对FAIRFAIR指导性原则的认识指导性原则的认识数字对象体系架构(数字对象体系架构(Digital Object Digital Object Archi
15、tectureArchitecture,DOADOA)是互联网体系架构的逻辑扩展,满足了支撑数据管理的需求,而不仅仅是将数字结构的信息传输,提供一套基础架构,实现各种“三异”信息系统之间数据安全互操作,构建数字对象的互联网。ITU认为DOA是下一代互联网的关键基础设施。安全性安全性标识注册、解析与信息管理的安全兼容性兼容性兼容现有各种标识体系可扩展性可扩展性分布式架构、开放式框架、标准协议唯一性唯一性全球范围内唯一标识互操作性互操作性提供基础设施服务,促进各种信息系统之间的互操作性 例:数字对象体系架构例:数字对象体系架构(DOADOA)HandleHandle协议(协议(Handle Pro
16、tocol Handle Protocol):):分配数字对象的全球唯一标识符分配数字对象的全球唯一标识符把标识解析为对应的数字对象信把标识解析为对应的数字对象信息息提供标识的分布式管理提供标识的分布式管理内嵌的密钥和安全机制内嵌的密钥和安全机制DOIPDOIP协议(协议(Digital Object Interface ProtocolDigital Object Interface Protocol):):指定数字对象交互的标准方式指定数字对象交互的标准方式提供安全的数字对象的访问框架提供安全的数字对象的访问框架数据标识、解析、管理数据标识、解析、管理数据互操作数据互操作DOADOA体系架
17、构的两个协议体系架构的两个协议DOADOA契合契合FAIRFAIR如:如:FindableFindable可发现性可发现性HandleHandle信信息标识息标识F1.(F1.(元元)数据数据也需要被分也需要被分配一个全球配一个全球唯一的、永唯一的、永久的标识符久的标识符(IDID)。)。HandleHandle的的信息定义信息定义F2.F2.用丰富用丰富的元数据描的元数据描述数据。述数据。HandleHandle的的信息定义信息定义F3.F3.元数据清元数据清楚明确地包括楚明确地包括它们所描述的它们所描述的数据的标识符。数据的标识符。全球的注册全球的注册解析服务解析服务F4.(F4.(元元)
18、数据在数据在可搜索的资源中可搜索的资源中注册或编制索引。注册或编制索引。地地址址元元数数据据数数据据本本体体数字对数字对象象基于数字对象的数联网:软件定义的数据基于数字对象的数联网:软件定义的数据基础设施基础设施互联网互联网数字对象仓库数字对象地址系统数字对象注册表数字对象数字对象地址系统数字对象注册表数字对象地址系统数字对象注册表数字对象地址系统数字对象注册表数联网自治域数联网自治域C C数联网自治域数联网自治域B B数联网自治域数联网自治域D D数联网自治域数联网自治域A A数字对象数字对象数据发现域间域内数联网的建设数联网的建设“行业主导、共建共治、域内自主、域行业主导、共建共治、域内自
19、主、域间协同间协同”元数据注册元数据注册地址申请地址申请数据寻址工业数联网科学数联网临床数联网科研数联网能源数联网卫星数联网先行先试先行先试领域数联领域数联网网入选入选20222022年世界互联网领先科技成果(北京大学年世界互联网领先科技成果(北京大学 等)等)广域数联网广域数联网 例:国际数据空间(例:国际数据空间(IDSIDS)德国工业德国工业4 4。0 0的数据空间的数据空间欧盟的数据基础设施欧盟的数据基础设施试图成为国际数据互联生态试图成为国际数据互联生态 国际数据空间(IDS)基本理念国际数据空间由所有通过数据空间连接器连接到空间的端点组成。没有一个中央机构负责数据管理或监督数据治理
20、原则的遵守情况。它代表了一种不同于集中式数据管理概念和分散式数据网络(通常没有普遍适用的“游戏规则”)的替代架构。最终使用什么样的体系结构取决于每个体系结构对每个应用程序场景的实际效益。工业数据空间计划从一开始就假定了各种共存的架构。例:工业数据空间(例:工业数据空间(IDSIDS)参考架构)参考架构 1 1业务架构:包含数据治理,协同数业务架构:包含数据治理,协同数据管理,商业模型,每个模块都是独据管理,商业模型,每个模块都是独立的功能模块,可以自由配置。立的功能模块,可以自由配置。数据和服务架构数据和服务架构 包含工业数据空间包含工业数据空间App StoreApp Store,Broke
21、Broke,ConnectorConnector,每个模块也可,每个模块也可以自由配置以自由配置。软件架构软件架构 包含外部和内部国际数据空间连包含外部和内部国际数据空间连接器接器EXICEXIC和和INICINIC,实现数据高效流通,实现数据高效流通。安全架构安全架构 包含网络安全、身份认证、数据包含网络安全、身份认证、数据使用限制、安全运行环境等功能模块使用限制、安全运行环境等功能模块。业务架构业务架构数据和服务架构数据和服务架构软件架构软件架构安全架构安全架构IDSIDS IDS-基本原则 (1)数据主权(数据主权(Data Sovereignty)安全数据交换(安全数据交换(Secur
22、e Data Exchange)分布式模式(分布式模式(Decentral Approach)数据治理(数据治理(Data Governance)IDS-基本原则 (2)平台和服务网络化(平台和服务网络化(Network of Platforms and Services)规模经济和网络效应(规模经济和网络效应(Economies of Scale and Networking Effects)开放架构(开放架构(Open Approach)可信参与(可信参与(Certified Participants)明新国(教授、博导)明新国(教授、博导) 5/29/2023Cop
23、yrights Copyrights Since Since 2005 SJTU-CIM2005 SJTU-CIM24IDSIDS生态角色及模型架构生态角色及模型架构 倡导面向产业的倡导面向产业的工业数据共同体工业数据共同体由业务强关联的企业参与,按由业务强关联的企业参与,按共识制度和技术架构共建共享共识制度和技术架构共建共享,实现数据流转通畅化,数据,实现数据流转通畅化,数据价值最大化,支持产业高质量价值最大化,支持产业高质量发展的数据利益共同体发展的数据利益共同体传统网络安全措施MDOS 2.0MDOS 2.0IDS(International Data Spaces)统一模型数据空间专业
24、模型数据空间企业模型数据空间行业模型数据空间SEPB数据建模引擎模型数据计算知识数据建模认知全域唯一资源编码C-UMF统一建模框架管理工程体系模型技术工程体系模型各领域及其子领域的知识数据枢纽C-KDHC-KDH原始知识图谱规范知识图谱专项应用知识图谱优化知识图谱C-ASC-AS创新应用创新应用应用系统改造升级应用系统改造升级合规管理监管与溯源自我诊断优化能力的共享、协同与交易能力与数字化转型评估DCMM评估MESERPPDMCRMSOLIDWORKCATIAAnsysUG/Pro/ENFT数字孪生工业元宇宙管理输出驱动引擎(管理驾驶舱、BIM、VR、BI)DTREE 3.1DTREE 3.1
25、数据互操作基础设施-分布式可信资源赋能引擎(DOA/IDS)可信存储可信解析可信账本可信铸码赋码可信通讯可信身份权限矩阵区域区块链局域区块链广域区块链工业可信数链网数数据据建建模模基基础础设设施施API 层 结论结论数字化转型数字化转型本质上是以数据要素优化其他生本质上是以数据要素优化其他生产要素的配置和运营产要素的配置和运营,以达到高质量发展的以达到高质量发展的目标目标发挥数据价值发挥数据价值的关键是理顺流转思路的关键是理顺流转思路,建设建设基础设施基础设施数据要素价值实現取决流通,与埸景強相关数据要素价值实現取决流通,与埸景強相关,流通机制依埸景需多元化流通机制依埸景需多元化 结论结论 “三异三异”数据的流通的基础是数据的互操作数据的流通的基础是数据的互操作,然后依埸景及规则选择流转机制,然后依埸景及规则选择流转机制数据基础设施包括数据基础设施包括数据互操作基础设施数据互操作基础设施数据数据建模基础设施,两者又建模基础设施,两者又由技术架构和制度架由技术架构和制度架构支撑构支撑倡导面向产业的倡导面向产业的工业数据共同体工业数据共同体重视数据建模及知识图谱大模型学习重视数据建模及知识图谱大模型学习 谢谢!