《GeoScene Knowledge Sever时空知识图谱产品与解决方案.pdf》由会员分享,可在线阅读,更多相关《GeoScene Knowledge Sever时空知识图谱产品与解决方案.pdf(39页珍藏版)》请在三个皮匠报告上搜索。
1、GeoScene Knowledge Sever时空知识图谱产品与解决方案王志强知识图谱Knowledge Graph知识图谱是一种基于图的数据结构,由 节点 和 边 组成,每个节点表示一个“实体”,每条边为实体与实体之间的“关系”知识图谱本质上是一种大规模语义网络(Semantic Network),是结构化的语义知识库,用于迅速描述物理世界中的概念及其相互关系通过将数据粒度从文件级别降至数据级别,聚合大量的知识,从而实现知识的快速响应和推理适用行业及更多应用场景探讨企业级知识图谱产品,基于图结构探索空间实体及实体间关系,提高决策制定速度。通过地图、链接图表、直方图和实体属性表等多种视角进行
2、可视化,挖掘隐藏知识。GeoScene Knowledge Server,助力打开认知大门3.1全新Knowledge Server知识图谱产品在知识图谱技术体系中的角色地理知识融合地理知识建模GIS+知识图谱业务应用属性抽取关系抽取实体抽取共指解析实体消歧知识融合实体构建关系构建既有知识多视图可视化查询检索智能问答理解、推理、决策知识库图分析与空间分析知识图谱构建知识图谱业务系统建设地理知识提取知识图谱产品带来的核心价值之一:图数据库的优势关系数据库处理密集join查询的性能会变差图只遍历满足查询条件的部分,非整图遍历性能图天生可扩展,可在已有结构上添加不同种类的新联系、新标签和新子图,不用
3、担心已有查询和应用程序的功能灵活性图数据库不需要模式图数据库开发方式符合当今敏捷开发需求敏捷性以客户为中心的、事务型应用程序存储顾客订单的关系模式某个顾客买了哪些商品有哪些顾客买了A商品有哪些买了A商品的顾客也买了B商品融合知识图谱的价值:图数据库具有天然优势查询效率 图数据库 VS 关系型数据库ArangoDB VS PostgreSQL 测试环境:-Azure VM(2 CPU+16GB RAM)测试数据集-PostgreSQL(ver 12.1):-表1(4万条记录)-表2(6.2万条记录)-表3(11.9万条记录)测试数据集-ArangoDB(ver 3.5.3):-实体类别1(4万个
4、,含子节点6.2万个)-实体类别2(11.9万个)查询结果:1000条记录 PostgreSQL 查询时长:481ms ArangoDB 查询时长:41ms参考文献:https:/ 图数据库 VS 非关系型数据库ArangoDB VS 主流 NoSQL 数据库 测试环境:-AWS i3.4xlarge(16核+122 GB RAM)测试数据库:-Neo4j 3.3.1 -MongoDB 3.6.1 -ArangoDB 3.3.3-PostgreSQL 10.1(表和json)-OrientDB 2.2.29 测试数据集:-斯坦福大学-SNAP Pokec 数据集(社交网络)-160万人(节点)
5、及他们之间的3060万条关系(边)测试项目:-读取单个文档、写入单个文档(常规及fsync)-聚合查询、二层扩线查询(返回ID和属性)-最短路径查询、内存使用量参考文献:https:/ 30317-2013 地理空间框架基本规定、GB/T 37118-2018 地理实体空间数据规范等多项国标的出台对地理实体的定义和生产规范做了进一步阐述。地理实体可分为地物实体和地理单元,地物实体通常包括水系、交通、建(构)筑物及场地设施、管线、地名地址、院落等。在本解决方案中,我们探索了使用GeoScene知识图谱产品对多种类型的地理实体如:行政区划、院落、建筑物、道路、水系、地铁线,地铁站进行建模。GeoS
6、cene知识图谱产品除了能够保存地理实体的属性及空间信息外,还可以清晰地通过图谱展示实体之间存在的关系。同时,产品还支持对地理实体进行属性和空间关系上的查询,针对知识图谱进行最短路径分析、中心性分析等操作。本解决方案验证和展示了GeoScene知识图谱产品在地理实体建模、入库、可视化和分析方面的能力.GeoScene知识图谱疫情分析知识图谱产品带来的核心价值之三:领域知识检索与智能问答知识图谱最直接的应用场景是构建知识库,步骤主要包括从海量信息中提取实体和关系,知识融合与建模,知识搜索以及智能问答。在本解决方案中,我们计划依据公司50服务器及公司网盘内的各项资料构建公司知识库,在构建知识库的过
7、程中探索实体和关系抽取、知识搜索和智能问答等方面的关键技术,作为GeoScene知识图谱产品的能力补充。知识库本体模型:产品 人员 行业 专项技术 会议 地点 竞品 版本 文件 资料类型GeoScene知识图谱应用探索之易智瑞知识库构建数据预处理样本标注构建自定义字典库文件分类模型训练入图谱库智能问答知识图谱应用推理基于业务模型分析知识获取输出分词词性匹配是否技术路线:NLP+深度学习深度学习模块:Python API的Learn模块文本分类:Bert实体识别:Bert关系识别:Bert意图识别:应用:基于模板和规则构建GeoSceneGeoScene知识图谱应用探索之公司知识库构建知识图谱应
8、用探索之公司知识库构建知识库中的实体与关系(4万+实体和18万+关系)知识图谱解决方案GeoScene知识图谱应用探索之易智瑞知识库构建GeoScene知识图谱产品提供关键支撑核心功能 Lucene搜索语法:模糊、范围等 全文检索(文档型数据)Cypher语句构造高级查询 图中心性分析与图最短路径查询 GIS空间分析 Lucene搜索语法:模糊、范围等 全文检索(文档型数据)Cypher语句构造高级查询 图中心性分析与图最短路径查询 GIS空间分析格网布局有机布局叶子形布局从左至右以根为中心布局地图布局(V4.0)核心能力 Lucene搜索语法:模糊、范围等 全文检索(文档型数据)基于业务规则
9、模型的分析(Cypher语句构造高级查询)图中心性分析与图最短路径查询 社区检测 GIS空间分析常规搜索Lucene搜索语法 搜索un开头的国家带关系的查询-Cypher Query 文档数据全文检索最短路径查询一键式扩展实体间的关系一键式补全实体间的关系利用GIS分析智能检索与推荐地理空间中的关系探索与分析挖掘影响力分析核心能力二次开发接口一览REST APIREST API二次开发接口使用优先级支持版本:2.0.1 主要功能:知识图谱全文检索和Cypher查询主要作用:快速数据分析和可视化展示支持版本:4.25 可以支持Knowledg Server3.1&4.0主要功能:知识图谱全文检索
10、,Cypher查询,元数据编辑,知识图谱数据编辑主要作用:用于Web开发支持版本:GeoScene Knowledge Server3.1及以上主要功能:知识图谱全文检索,Cypher查询,元数据编辑,知识图谱数据编辑缺点:需要对PBF格式结果做结构化转换主要作用:使用场景灵活JavaScript APIJavaScript APIPython APIPython API二次开发组件不足:缺少中心性分析相关接口二次开发接口一览Knowledge ServerGIS ServerKoop地图可视化以要素服务REST服务方式输出空间查询基于图分析代理要素图层矢量切片关系查询全文检索Echarts
11、D3.js sigma.js Rest API或者JavaScript APIGUID+图层联动OpenCypher语句构建和组合图谱可视化zoomchart 数据转换数据导入数据更新GUID,实体类和图层关联Web端应用开发技术方案全流程+用户友好知识图谱创建、可视化、共享协作全流程覆盖0代码+即拿即用的企业级产品UI用户友好1 1套数据,多种视图应用模式炫酷的可视化效果链接图表-高效展示实体间的联系与已有GIS数据融合显示及交互数据治理能力空间分析能力二三维融合能力建设方案可扩展性更强强大的图谱管理与分析能力实体合并与实体属性更新带关系的查询 速度远优于传统数据模型图中心性分析最短路径分析
12、空间分析轻松进行多视图联动不需要考虑数据同步、更新的问题广泛的源数据支持结构化数据(表、csv)GIS格式数据(Shapefile、要素类)一步创建实体、关系及空间属性手工创建GeoScene Knowledge业界领先的图数据库多模型数据库 ArangoDB数据模型:键值对、图谱、文档统一的数据库查询语言原生支持空间关系查询查询速率高、稳定性强依托强大平台产品特色我们每天在生产海量的三维数据AEC公安智慧城市交通应急生态公共卫生自然资源实景三维水利水利部关于印发十四五期间推进智慧水利建设实施方案的通知(一)构建水利部本级数字孪生平台8.建设水利知识图谱和预案库建设流域防洪和水资源管理与调配等
13、预案库,开发水利知识图谱,建设流域防洪和水利工程建设与管理等专家经验库。(防御司、建设司、运管司、调水司,信息中心等按职责分工负责;流域管理机构等参与;2025 年完成)(三)建设七大江河数字孪生流域1.建设数字孪生长江整合构建长江流域重点工程调度规则库、历史典型洪水库及调度方案预案库、涉河项目管理业务规则库,形成防洪调度知识图谱、涉河项目管理知识图谱,并以知识图谱为依托建立相关智能研判服务,初步构建数字孪生长江知识平台.(长江委负责;2025 年完成)2.建设数字孪生黄河研究提出流域水利管理保护决策知识库、智能算法、知识图谱,初步构建黄河知识平台(黄委负责;2025年完成)水利自然资源部信息
14、化建设总体方案2019年11月推出,明确提出一张图、一张网、一平台和三大应用体系的总体架构。国土空间基础信息平台要强化平台应用支撑服务,在实现定制服务、基础服务、数据服务和专题服务的基础上,提供智能分析服务,即扩展知识分类、多维索引、知识图谱、关联分析功能,建立指标库、模型库和知识库。因此快速构建自然资源大数据挖掘模型,加快开展智能分析服务,已经成为自然资源管理智能化的基本趋势。自然资源调查监测体系工作地理空间分析、区块链、知识图谱等技术的交叉融合,不仅可以解决资源-资产-资本信息的时空建模和一体化管理等难题,克服调查监测过程中的信息汇聚与协同处理等困难,还可以用于支撑自然资源生命共同体的分析
15、评价,揭示自然资源“格局-过程-服务”的地域分异、形成机理及演化规律,实现从调查监测成果数据到知识服务的跨越。实景三维2022年2月,自然资源部下发通知,全面推进实景三维中国建设,并将其纳入“十四五”自然资源保护和利用规划。同年3月15日,为进一步加强实景三维中国建设战略研究,提升创新驱动能力,更好服务经济社会发展和生态文明建设,自然资源部国土测绘司决定成立实景三维中国建设专家组。为了切实地组织做好这项重要工作,陈军和团队率先着手进行了实景三维中国“知识图谱”的构建。自然资源领域自然资源时空知识服务陈军在广州设立院士专家工作站,研究团队采用了“知识图谱+单点知识”相结合的模式搭建了时空知识服务
16、模型。通过对自然资源调查监测、国土空间规划实施监督、可持续发展量化评估等业务的研究,逐步形成了“数据指标知识”的知识挖掘技术路线,将指标作为知识获取的重要来源,并采用了“核心变量”概念,用于简化指标计算模型。时空知识服务平台研究已初步完成,自然资源领域和可持续发展领域的应用示范已通过项目落地实施。时空知识平台与阿尔法公司合作,初步建成了数据管理、数据计算、量化评估、知识创作、知识图谱和平台管理5个子系统自然资源领域实现从行政被动监管向 智慧自动监管、从大数据到知识、从知识到决策模式的转变,实现对自然资源多维动态感知、人地关系认知、国土空间格局解析、结构(功能和参数)问题诊断、趋势预测及态势分析
17、、方案推演与优化的一体化智能监管。来源:阿尔法公司网站知识图谱驱动的广东省自然资源大数据挖掘模型构建框架(2020年论文)广东国土资源技术中心+吉奥。文章尝试性提出了一个知识图谱驱动的自然资源大数据挖掘模型构建框架。通过知识抽取、知识融合等形成自然资源知识图谱核心是知识图谱表达的自然资源大数据分析模型库。为应对复杂综合场景,面向自然资源开发利用、保护监管的态势研判和辅助决策,业务挖掘分析模型主要包括自然资源承载力评价模型、生态安全综合评价模型、耕地适宜性评价模型、城市建设用地节约集约利用评价模型等。自然资源领域城市建设用地管理领域知识图谱构建与用地档案推送服务应用(2021年)深圳市规划和自然
18、资源局+北京国双科技有限公司。构建城市建设用地领域知识图谱,存储不规则的土地档案数据内容及其之间的各种关联信息,并为深圳规自局“业务审批系统”、“档案在线查询系统”等各种场景提供高效、便捷的支撑,包括实现历史用地管理档案推送服务、城市建设用地领域知识关联查询、基于知识图谱查询结果的多维度可视化展示等。武汉市自然资源和规划局自然资源和规划知识图谱前期研究公开招标公告(2022年6月)为基于大数据、人工智能、知识图谱等前沿技术构建新一代自然资源规划管理应用体系,打造自然资源规划创新管理模式,推动自然资源规划管理数字化转型、智能化升级,拟开展自然资源和规划知识图谱技术应用前期研究,以国土空间规划、行
19、政审批为试点,探索自然资源规划管理知识建模技术路径和方法。预算120w自然资源领域不动产登记便民化管理与应用在大数据时代,传统的地理信息正由单一静态向多源动态、精确结构化向模糊异构化转变,给地理大数据的挖掘、分析带来了新的挑战。比如,面对纷繁复杂的不动产登记信息,如何展示楼栋、楼层、单元之间的关系?权证、土地、房屋、权利人等信息千丝万缕,如何通过GIS来揭示他们之间的内在联系?在不动产登记分层分户三维模型立体化管理的基础上,利用知识图谱展示楼栋-楼层-单元之间的关联关系,人房地关联关系,房屋与电子证照关联关系,并且支持知识图谱查询检索,实现不动产登记的高效便民化管理和应用。地质知识平台在地质行
20、业,地质资料通过语料库标注、领域树构建、关系抽取、地质实体及关系精准抽取等,构建基础地质调查领域的地理知识图谱,实现大规模地质资料的时空主题及地质对象精准抽取和可视化表达,为地质大数据知识关联检索、知识计算和知识演化提供支撑。建设公安知识图谱,将公安部门多年业务中积累的技战法进行总结和可视化处理,与技术算法相互转换,以集成犯罪和预测模型,实现重点人员场所关联分析、物品关联分析、团伙关系分析、异常事件挖掘、相似案件推理等功能,提升公安信息化的智能化水平,促进公安情报研判的演进,甚至做到精准的犯罪预测预警。公安公安情报分析通过融合企业和个人银行资金交易明细、通话、出行、住宿、工商、税务等信息构建初
21、步的“资金账户-人-公司”关联知识图谱。同时从案件描述、笔录等非结构化文本中抽取人(受害人、嫌疑人、报案人)、事、物、组织、卡号、时间、地点等信息,链接并补充到原有的知识图谱中形成一个完整的证据链。辅助公安刑侦、经侦、银行进行案件线索侦查和挖掘同伙。比如银行和公安经侦监控资金账户,当有一段时间内有大量资金流动并集中到某个账户的时候很可能是非法集资,系统触发预警建设公安知识图谱,将公安部门多年业务中积累的技战法进行总结和可视化处理,与技术算法相互转换,以集成犯罪和预测模型,实现重点人员场所关联分析、物品关联分析、团伙关系分析、异常事件挖掘、相似案件推理等功能,提升公安信息化的智能化水平,促进公安
22、情报研判的演进,甚至做到精准的犯罪预测预警。公安反欺诈情报分析通过融合来自不同数据源的信息构成知识图谱,同时引入领域专家建立业务专家规则。我们通过数据不一致性检测,利用绘制出的知识图谱可以识别潜在的欺诈风险。比如借款人张xx和借款人吴x填写信息为同事,但是两个人填写的公司名却不一样,以及同一个电话号码属于两个借款人,这些不一致性很可能有欺诈行为。基于电力、石化等行业的数字化建设需求,将知识图谱技术应用到家族性缺陷智能识别、预防性检修、现场智能问答、管理规程搜索等业务场景之中,帮助企业打造知识大脑、加速智能化升级,实现人工智能与传统产业的深度融合。(金现代研究院)在电力设备运维领域,知识图谱可视
23、化开发平台将设备信息、缺陷记录、供应商、电力公司等多维数据深度融合,建立关联关系,创建知识图谱,通过人工智能算法实现对设备的家族性缺陷分析,利用机器学习聚类式及时序模型算法,进行设备的状态评估和预测,帮助电力企业精准定位易出现违章隐患的风险点,科学合理制定设备检修方案,为安全生产和高效运维提供技术支持。能源与设施 智慧交通:构建交通知识图谱,针对载具运行状态实时分析,分析设备运行数据与故障之间的关联,实现基于设备状态的智能维保 公共卫生:可用于医疗领域知识库构建,以及针对传染病进行“人、地、物”图谱关系分析与推理,追踪接触者、大流行管理和缓解等 智慧城市:可融合政务数据、互联网数据、物联网数据构建知识图谱,为数字城市建设提供数据中台+智慧应用的全方位服务 智慧应急:基于知识图谱构建应急预案;如消防知识图谱,可与消防大数据一起用于消防监督、指挥、决策 供应链管理与风险减轻:研究和减轻自然灾害对供应链的影响,推荐产品,管理供应链;知识图谱更多应用场景谢谢