1、 中国 北京 2022.08 知识图谱 !发展报告（2022）中国中文信息学会 语言与知识计算专委会 KNOWLEDGE GRAPH DEVELOPMENT REPORT 目录目录 序言序言 1 1 第一章第一章 知识表示与建模知识表示与建模 3 3 第二章第二章 知识表示学习知识表示学习 1313 第三章第三章 实体抽取实体抽取 2929 第四章第四章 实体关系抽取实体关系抽取 4141 第五章第五章 事件知识获取事件知识获取 5656 第六章第六章 知识融合知识融合 8282 第七章第七章 知识推理知识推理 9696 第八章第八章 知识图谱的存储和查询知识图谱的存储和查询 121121 第

2、九章第九章 通用和领域知识资源通用和领域知识资源 141141 第十章第十章 知识图谱质量评估与管理知识图谱质量评估与管理 163163 第十一章第十一章 基于知识的问答与对话基于知识的问答与对话 193193 第十二章第十二章 基于知识的搜索与推荐基于知识的搜索与推荐 213213 第十三章第十三章 知识图谱交叉前沿知识图谱交叉前沿 234234 1#当前人工智能正在经历从感知智能到认知智能的重要发展阶段。认知是人们获取和应用知识的过程，因此，作为人类对客观世界认知的一种表现形式，知识图谱是认知智能研究不可或缺的组成部分。知识图谱可以帮助机器积累人在解决问题中使用的知识，可以帮助组织互联网资

3、源，进而用知识赋能行业智能应用，知识图谱及其知识引擎技术已经成为人工智能系统的基础设施。知识图谱发展报告（2022）是中国中文信息学会语言与知识计算专委会邀请知识图谱领域专家结合人工智能和知识图谱技术的最新发展，在知识图谱发展报告（2018）基础上对本方向前沿技术和应用的又一次系统总结，并对未来前沿趋势进行展望。近年来，随着人工智能特别是大数据、深度学习和大规模预训练模型的快速发展，知识图谱的理论、方法和应用也有了很大进展。在知识表示和建模中，知识图谱表示形式更加多样化，从单一语言和符号表示的知识图谱，到多语言和多模态的知识图谱；从结构化知识表示发展到与半结构化和非结构化数据融合的概念-实体-

4、上下文一体化知识表示，从符号知识表示到融合符号和数值的知识表示。在知识获取方面，低资源、真实场景下的知识获取技术也有了长足进步，由传统限定领域的知识抽取，到如今开放领域的多类别知识抽取；由基于知识库的关系获取，到以知识为指导的面向大规模预训练技术的关系获取；由粗粒度有监督学习到细粒度小样本学习，以及由单一模态的概念抽取到跨模态的联合学习。在知识图谱应用方面，知识图谱领域应用越来越广泛，以多模态知识为驱动的虚拟数字人推动着人工智能走向更广阔的应用场景，“知识图谱+产业”的新范式凸显着以知识为中心的应用与现实业务的深度融合。“知识图谱+其他学科（如区块链、物联网）”的交叉研究也正在兴起和发展。知识

5、图谱未来发展趋势和面临的挑战在于，能否利用大规模预训练模型进一步促进知识表示、获取和推理技术的发展，能否基于认知推理实现具有认知能力的人工智能新架构，能否利用知识的可解释性释放更多产业潜能和应用。本发展报告的定位是深度科普，旨在向政府、企业、媒体中对知识图谱感兴趣的社会各界人士简要介绍相关领域的基本概念、基本方法和应用方向，向高等院校、科研院所和高新技术企业中从事相关工作的专业人士介绍相关领域的前沿技术和发展趋势。本报告共由 13 章组成，每一章按照 1）任务定义、目标和研究意义；2）研究内容和关键科学问题；3）技术方法和研究现状；4）技术展望与发展趋势等四部分的结构形成每一章 2 的内容。每

6、一章我们邀请了本专业领域内的专家协同撰写完成。具体结构如下：n 序言：李涓子（清华大学）、赵军（中国科学院自动化研究所）n 知识表示与建模：张文，耿玉霞，许泽众，陈华钧（浙江大学）n 知识表示学习：刘知远、汪华东（清华大学）n 实体抽取：林鸿宇、韩先培（中国科学院软件研究所）n 实体关系抽取：曾道建（湖南师范大学）、陈玉博、刘康（中国科学院自动化研究所）n 事件知识获取：丁效（哈尔滨工业大学）n 知识融合：胡伟（南京大学）、漆桂林（东南大学）n 知识推理：张小旺（天津大学）、李炜卓（南京邮电大学）、张文（浙江大学）、漆桂林（东南大学）n 知识图谱的存储和查询：彭鹏（湖南大学）n 通用和领域知识

7、资源：王昊奋（同济大学）、曹征晖（复旦大学）、林俊宇（中国科学院信息工程研究所）n 知识图谱质量评估与管理：李直旭（复旦大学）、王萌（东南大学）、漆桂林（东南大学）、阮彤（华东理工大学）n 基于知识的问答与对话：何世柱、张元哲、刘康（中国科学院自动化研究所）n 基于知识的搜索与推荐：程龚（南京大学）n 知识图谱交叉前沿：张文、毕祯，朱渝珊，李娟，陈卓，陈华钧（浙江大学）发展报告最后由刘康（中国科学院自动化研究所）、程龚（南京大学）、侯磊（清华大学）、张元哲（中国科学院自动化研究所）、吴天星（东南大学）、陆垚杰（中国科学院软件研究所）等根据反馈意见对初稿进行校对并统一成文。由于时间仓促，本报告难

8、免有疏漏甚至错误的地方，仅供有志于语言与知识计算研究和开发的同仁参考，并激发更广泛的思考和讨论。期待在我们的共同努力下，知识图谱以及语义计算技术能够取得更辉煌的成果。李涓子（清华大学）、赵军（中国科学院自动化研究所）2022 年 8 月 3$%&$%&()*+,-()*+,-张文2，耿玉霞1，许泽众1，陈华钧1 1.浙江大学 计算机科学与技术学院，浙江省 杭州市 310007；2.浙江大学 软件学院，浙江省 宁波市 315048!#$%&()*+,&#$%&()*+,&知识是人类通过观察、学习和思考有关客观世界的各种现象而获得和总结出的被广泛论证的正确的信息，知识具有三大特点：合理（Justi

9、fied）、真实（True）和被相信（Believed）。在人类社会中，知识表示将人类的认知知识以特定的形式进行描述、表达和传承，人类表示知识的形式多种多样，包括声音、文字、绘画、音乐、数学语言、物理模型以及化学公式等,这些丰富的知识表示方法让人类更准确地表达自己的认知，有力地促进了社会文明进步。对于机器而言，知识表示（Knowledge Representation,KR）将现实世界中的各类知识表达成计算机可存储和可计算的结构，使得计算机可以无障碍地理解所存储的知识。上世纪 90年代，MIT AI 实验室的 R.Davis 定义了知识表示的五大特点：l 客观事物的机器标识（A KR is a

10、 surrogate）,即知识表示首先需要定义客观实体的机器指代或指称。l 一组本体约定和概念模型（A KR is a Set of ontological commitments），即知识表示还需要定义用于描述客观事物的概念和类别体系。l 支持推理的表示基础（A KR is a Theory of Intelligent Reasoning）,即知识表示还需要提供机器推理的模型与方法。l 用于高效计算的数据结构（A KR is a medium of efficient computation），即知识表示也是一种用于高效计算的数据结构。l 人可理解的机器语言（A KR is a mediu

11、m of human expression），即知识表示需要接近人的认知，是人可理解的机器语言。自人工智能提出至今，知识表示已经探索过语义网络、专家系统、语义网、知识图谱等形态，形成了基于框架的语言、产生式规则、RDF 以及 OWL 等知识表示语言。近年来，人工智能依靠机器学习技术的进步，在数据感知方面取得了巨大的进步，可以精准地完成图像识别、语音识别等任务。但当前人工智能在语言理解、视觉场景分析、决策分析等方面依然面临巨大的挑战，其中一个关键挑战便是如何让机器掌握大量的知识，尤其是常识知识，这体现了知识表示的重要性。4-*+./0123456*+./0123456 根据知识呈现的形态和方式，

12、我们可以将知识分为不同的类型，包括本体知识、规则知识以及事件知识等。其中本体知识表达实体和关系的语义层次，用于建模领域的概念模型；规则知识表达实体和关系之间存在的推理规律，是更抽象的知识；事件知识包含多种事件要素，是更多维更复杂的知识。本章主要针对本体知识和规则知识的表示与建模展开三个方面的介绍，包括当前建模语言、建模工具以及应用实践示例。事件知识相关内容参见第五章。1.本体知识本体知识 在万维网中，我们可能会用不同的术语来表达相同的含义，或者一个术语有多个含义。因此，消除术语差异是很有必要的。目前较受欢迎的解决方案就是，对某个领域建立一个公共的本体，鼓励大家在涉及该领域的时候都使用公共本体里

13、的术语和规则。本体最先是哲学领域提出的研究概念，其作用主要是为了更好地对客观事物进行系统性的描述，即总结、提炼描述对象的共性，从而将客观事物抽象为系统化、规范化的概念或专业术语。概括而言，哲学本体关心的是客观事物的抽象本质。应用至计算机领域，本体可以在语义层次上描述知识，因此可以用于建立某个领域知识的通用概念模型，即定义组成“主题领域”的词汇表的“基本术语”及其“关系”，以及结合这些术语和关系来定义词汇表外延的“规则”Neches et al.,1991。具体来说，“领域”是指一个本体，描述的是一个特定的领域，如“大学”、“公司”等；“术语”指给定领域中的重要概念，例如大学这一领域中涉及的有教

14、工、学生、课程等概念；“基本术语之间的关系”包括类的层次结构（类比 taxonomy）等关系，比如大学师生员工中包含了教工和学生，学生又可分为本科生和研究生，教工同理，而学生和教工是两个并列的概念，该层次关系如下图 1 所示；“词汇表外延的规则”，则类似数据库中的“约束”，包括概念的属性约束（如 X 教 Y）、值约束（如只有教职人员才能授课）、不相交描述（如教职人员和普通员工不相交）以及对象间的逻辑关系规定（如一个系至少要有 10 个教职员工）等。图 1 学校领域概念及概念间层次关系 5 通过对事物所具有的概念、概念的关系、概念的属性及概念的约束等明确、清晰地描述，本体体现了客观事物内在、外在

15、的关系。从上述本体的定义中，我们可以看出本体四个重要的特点，即概念化、明确性、形式化和共享性。概念化是说本体表示的是各种客观存在的抽象模型，它并不描绘实体的具体形象而是表达出一个抽象的本质概念；明确性主要体现在描述客观事物时，利用自身概念化的表述优势和系统化的思想，准确地展示描述对象的特征；形式化则侧重使用特定的、严格规范化的、无歧义的语言对客观事物进行描述，以达到明确清晰的目的；共享性则是指本体所描述和表达的知识信息具有共享特性，希望能够被用户普遍认同并使用。而本体与知识图谱之间又有着什么样的联系呢？从逻辑结构上看，知识图谱一般可分为两层，数据层存储知识图谱中的所有三元组信息，模式层（也称

16、schema 层或本体层）位于数据层之上，对数据层知识结构进行提炼，即通过在模式层上建立约束和规则，可规范图谱中的实体、关系、实体属性、属性值之间的联系，以及完成在知识图谱上的推理。基于知识图谱，本体既可以以模式层的形式出现，表达数据层的抽象知识，也可以以数据层的形式出现，表达资源之间的约束关系，尤其是层次约束关系。2 2.规则知识规则知识 传统知识推理历史悠久，相对完备，其理论支持也比较完备，其所基于前提和规则更容易被理解，具有较好的解释性。其中，规则是传统推理中一种重要的方式，一般而言，知识图谱中的规则被表示为以下形式：head body 其中，body 表示规则的主体，head 表示规则

17、的头部，一条规则被表示为由主体推导出头部。规则头由一个二元的原子构成，而规则的主体则由一个或者多个一元原子或者二元原子所构成。原子就是包含了变量的三元组，其本身也有肯定和否定之分。如果主体中仅仅包含肯定的原子，那么这样的规则也可以被称之为霍恩规则。对于规则，其质量评价方法一般包括三种，分别为支持度（support），置信度（confidence），规则头覆盖度（head coverage）。支持度表示满足规则主体和规则头的实例的个数，即该规则在知识图谱中成立的实例数；置信度为满足规则主体的实例的个数和支持度的比值；规则头覆盖度即满足规则头部的实例数量和支持度的比值。基于以上指标，可以对规则的质

18、量有一个比较直观的判断。作为一种抽象知识，规则的典型应用是根据给定的一套规则，通过实际情况得出结论。这个结论可能是某种静态结果，也可能是需要执行的一组操作。应用规则的过程称为推理。如果一个程序处理推理过程，则该程序称为推理引擎。推理引擎是专家系统的核心模块。其 6 中，有一种推理引擎以规则知识为基础进行推理，其具有易于理解、易于获取、易于管理的特点，这样的推理引擎被称为“规则引擎”。789:;)*+=789:;)*+89?0A?89?0A?BCBC 近年来，本体知识建模利用自然语言处理、机器学习等技术从多源异构数据中进行自动化的构建取得了长足的进展。自动构建的过程中，如果数据是结构化的(例如图

19、表数据)，已知属性名称、属性间的层次结构等，构建本体相对较为容易。如果缺乏以上信息，则只能通过文本信息等非结构化数据提炼知识构建本体，技术上将面临很多挑战。整体来看，呈现以下趋势：l 多模态数据及数据的结构化工作。随着数据资源的丰富，越来越多的本体构建工作需要处理多种模态的数据，进行模态融合和语义的对齐，例如，从图片或文本中提取出结构化的知识，进行语义对齐。l 低资源场景下的本体构建。由于标记数据的缺乏或相关领域数据保密的要求，本体的自动化构建面临小样本甚至是零样本的挑战，近年来的很多工作围绕小样本和零样本利用集成学习、多任务学习、预训练模型、元学习等技术结合深度学习模型进行探索。l 大规模本

20、体构建。随着算力的不断提升，现有实用系统可以有效处理更大规模的本体数据，数据量大、种类多样、结构不同都为本体构建带来巨大的挑战。规则引擎的发展也遇到了很多问题，需要在未来进一步研究和解决。主要问题如下：l 规则可视化配置。需要设计更高级的方案，让业务人员通过界面引导配置各种规则，而不是让技术人员从后台手动配置，彻底解放技术人员。l 规则执行的效率。在规则数量不断增加，业务数据被索引并不断增长的情况下，如何快速选择规则，做出快速准确的决策，不会使规则数量成为系统的瓶颈。l 规则的维护。当规则数量增加时，如何维护这些规则？更改规则时如何保证与之前发布的规则不冲突？规则能够更好的维护将使这些规则不会

21、相互干扰，相互独立。应用方面，随着企业智能化进程的加快，知识工程与产业互联的结合更加紧密，除了在数据治理、搜索与推荐、问答等通用领域有所突破之外，在智能生产、智慧城市、智能管理、智能运维等众多领域，以及工业、金融、司法、公安、医疗、教育等众多行业也都有进一步的场景化落地的突破。但落地的热潮在应对不同领域的知识建模需求时，需要行业专家与 AI技术人才进行深度的磨合和协作。参考文献参考文献 Neches et al.,1991 Neches R,Fikes R E,Finin T,et al.Enabling technology for knowledge sharingJ.AI magazin

22、e,1991,12(3):36-36.12 陈华钧 et al.,2011 陈华钧.基于本体推理的中医药五行诊疗系统：中国，CN102156801A P.2011-08-17.荣冈 et al.,2015 荣冈.一种基于本体构建模型的化工生产过程控制方法：中国，CN104678780A P.2015-06-03.13$.&()*/0()*/0 刘知远，汪华东 清华大学 计算机科学与技术系，北京 100084!#$%&()*+,&#$%&()*+,&知识表示是知识获取与应用的基础，因此知识表示学习问题，是贯穿知识图谱的构建与应用全过程的关键问题。人们通常以网络的形式组织知识图谱中的知识，网络中每

23、个节点代表实体（人名、地名、机构名、概念等），而每条连边则代表实体间的关系。然而，直接应用符号表示的知识图谱存在计算效率低、数据稀疏等诸多挑战性难题。近年来，以深度学习为代表的表示学习Bengio et al.,2013技术得到了广泛研究，在自然语言处理、图像分析和语音识别领域取得了巨大成功。表示学习旨在将研究对象的语义信息表示为稠密低维实值向量。在该低维向量空间中，两个对象距离越近，则说明其语义相似度越高。知识表示学习，则是面向知识图谱中的实体和关系进行表示学习。知识表示学习实现了对实体和关系的分布式表示，它具有以下主要优点：（1）显著提升计算效率）显著提升计算效率。知识图谱的三元组表示实际

24、就是基于独热表示的。如前所分析的，在这种表示方式下，需要设计专门的图算法计算实体间的语义和推理关系，计算复杂度高，可扩展性差。而表示学习得到的分布式表示，则能够高效地实现语义相似度计算等操作，显著提升计算效率。（2）有效缓解数据稀疏）有效缓解数据稀疏。由于表示学习将对象投影到统一的低维空间中，使每个对象均对应一个稠密向量，从而有效缓解数据稀疏问题，这主要体现在两个方面。一方面，每个对象的向量均为稠密有值的，因此可以度量任意对象之间的语义相似度。另一方面，将大量对象投影到统一空间的过程，也能够将高频对象的语义信息用于帮助低频对象的语义表示，提高低频对象的语义表示的精确性。（3）实现异质信息融合）

25、实现异质信息融合。不同来源的异质信息需要融合为整体，才能得到有效应用。例如，人们构造了大量知识图谱，这些知识图谱的构建规范和信息来源均有不同。大量实体和关系在不同知识图谱中的名称不同。如何实现多知识图谱的有机融合，对知识图谱应用具有重要意义。通过设计合理的表示学习模型，将不同来源的对象投影到同一个语义空间中，就能够建立统一的表示空间，实现多知识图谱的信息融合。综上，由于知识表示学习能够显著提升计算效率，有效缓解数据稀疏，实现异质信息融合，因此对于知识图谱的构建、推理和应用具有重要意义，值得广受关注、深入研究。14-*+./)123456*+./)123456 知识表示学习是面向知识图谱中实体和

26、关系的表示学习。通过将实体或关系投影到低维向量空间，我们能够实现对实体和关系的语义信息的表示，可以高效地计算实体、关系及其之间的复杂语义关联。这对知识图谱的构建、推理与应用均有重要意义。目前，已经在知识图谱补全、关系抽取等任务中取得了瞩目成果。但是，知识表示学习仍然面临很多挑战。1.复杂关系建模复杂关系建模 现有知识表示学习方法无法有效地处理知识图谱中的复杂关系。这里的复杂关系定义如下。按照知识图谱中关系两端连接实体的数目，可以将关系划分为 1-1、1-N、N-1 和 N-N 四种类型。例如 N-1 类型关系指的是，该类型关系中的一个尾实体会平均对应多个头实体，即我们将 1-N、N-1 和 N

27、-N 称为复杂关系。研究发现，各种知识获取算法在处理四种类型关系时的性能差异较大，在处理复杂关系时性能显著降低。如何实现表示学习对复杂关系的建模成为知识表示学习的一个难点。2.多源信息融合多源信息融合 知识表示学习面临的另外一个重要挑战如何实现多源信息融合。现有的知识表示学习模型仅利用知识图谱的三元组结构信息进行表示学习，尚有大量与知识有关的其他信息没有得到有效利用，例如：（1）知识图谱中的其他信息，如实体和关系的描述信息、类别信息等；（2）知识图谱外的海量信息，如互联网文本蕴含了大量与知识图谱实体和关系有关的信息。如何充分融合这些多源异质信息，实现知识表示学习，具有重要意义，可以改善数据稀疏

28、问题，提高知识表示的区分能力。3.关系路径建模关系路径建模 在知识图谱中，多步的关系路径也能够反映实体之间的语义关系。Lao 等人曾提出 Path-Constraint Random Walk Lao&Cohen et al.,2010、Path Ranking Algorithm Lao et al.,2011等算法，利用两实体间的关系路径信息，预测它们的关系，取得显著效果，说明关系路径蕴含着丰富信息。如何突破知识表示学习孤立学习每个三元组的局限性，充分考虑关系路径信息是知识表示学习的关键问题。4.时序信息建模时序信息建模 当前的知识图谱的研究主要集中在事实不随时间变化的静态知识图谱上，而对

29、于知识图谱的时序动态性则很少被研究。实际上，知识图谱的大量知识具有时效性，随着时间发展是动态变化的，如：美国总统在 2010 年是“贝拉克奥巴马”，在 2020 年是“乔拜登”。因此，15 对知识图谱中的时序信息建模是十分重要的。充分建模知识图谱富含的时序信息，利用时序分析和图神经网络等技术，对于分析图谱结构随时间的变化规律和趋势，以及知识推理都具有重要意义。5.模型知识增强模型知识增强 语言模型是自然语言理解的核心能力，以预训练语言模型 BERT、GPT 为代表的最先进的深度学习方法，仍然面临鲁棒性差、可扩展性差和可解释性差等问题。此外，语义的深度理解离不开多类型知识推理，因此建立面向预训练

30、语言模型的模型知识增强机制，是知识融合的关键科学问题。知识表示学习是构建结构化符号知识到深度语言模型的桥梁，如何低成本植入结构化知识到预训练语言模型增强模型的语义理解能力，是目前知识表示学习的热点方向。7789:;)*+=89:;)*+889?0A?BC9?0A?BC 近些年，虽然面向知识图谱的知识表示学习领域发展迅速，相关基础理论及其应用技术趋于完备，但是仍然存在许多挑战问题有待进一步研究，本节将对知识表示学习的未来方向 23 进行展望。面向不同知识类型的知识表示学习面向不同知识类型的知识表示学习。已有工作将知识图谱的关系划分为 1-1、1-N、N-1和 N-N 四类，这种关系类型划分略显粗

31、糙，无法直观地解释知识的本质类型特点。根据认知科学研究Kemp&Tenenbaum,2009;Tenenbaum et al.,2011，人类知识包括以下几种结构：（1）树状关系，表示实体间的层次分类关系；（2）二维网格关系，表示现实世界的空间信息;（3）单维顺序关系，表示实体间的偏序关系；（4）有向网络关系，表示实体间的关联或因果关系。认知科学对人类知识类型的总结，有助于对知识图谱中知识类型的划分和处理。未来有必要结合人工智能和认知科学的最新研究成果，有针对性地设计知识类型划分标准，开展面向不同复杂关系类型的知识表示学习研究。面向多源信息融合的知识表示学习面向多源信息融合的知识表示学习。在多

32、源信息融合的知识表示学习方面，相关工作还比较有限，主要是考虑实体描述的知识表示学习模型，以及文本与知识图谱融合的知识表示学习，这些模型无论是信息来源，还是融合手段都非常有限。我们认为在多源信息融合的知识表示学习方面，我们还可以对下列方面进行探索:（1）融合知识图谱中实体和关系的其他信息，知识图谱中拥有关于实体和关系的丰富信息，如描述文本、层次类型等。有机融合这些信息，将显著提升知识表示学习的表示能力;（2）融合互联网文本、图像、音频、视频信息，互联网海量文本、音频、视频数据是知识图谱的重要知识来源，有效地利用这些信息进行知识表示可以极大地提升现有知识表示方法的表示能力;（3）融合多知识图谱信息

33、，人们利用不同的信息源构建了不同的知识图谱。如何对多知识图谱信息进行融合表示，对于建立统一的大规模知识图谱意义重大。考虑复杂推理模式的知识表示学习考虑复杂推理模式的知识表示学习。考虑关系路径的知识表示学习，实际上是充分利用了两实体间的关系和关系路径之间的推理模式，来为表示学习模型提供更精确的约束信息。例如，根据三元组（康熙,父亲，雍正）和（雍正,父亲，乾隆）构成的“康熙”和“乾隆”之间“父亲+父亲”的关系路径，再结合三元组（康熙,祖父，乾隆），通过构建“父亲+父亲=祖父”的推理模式，提升知识表示的精确性。此外，知识图谱中还有其他形式的推理模式，例如三元组（美国，总统，奥巴马）和（奥巴马，是，美

34、国人）之间就存在着推理关系，但是两者的头、尾实体并不完全一致。如果能将这些复杂推理模式考虑到知识表示学习中，将能更进一步提升知识表示的性能。在该问题中，如何总结和表示这些复杂推理模式，是关键难题。目前来看，一阶逻辑是对复杂推理模式的较佳表示方案。超大规模知识图谱的知识表示学习超大规模知识图谱的知识表示学习。虽然已经出现了 GraphVite、OpenKE、DGL-KE、BigGraph 等知识表示学习开源工具，但这些工具还主要针对百万级实体规模以内的知识图谱，处理的最大知识知识图谱规模，这限制了大规模知识图谱的应用潜力。目前知识图谱的 24 规模越来越大，如 Wikidata 已经含有了超过

35、9 千万实体、14.7 亿的关系，而且这种规模仍然呈现快速增长趋势。如何将现有知识表示学习方法适配到千万级以上实体规模的图谱上仍然是一个挑战，需要解决在优化过程中大规模知识图谱的高质量负采样、模型多维并行训练机制（如数据并行、模型并行、流水并行等）以及并行训练中高效内存和通信管理等关键问题。大规模知识图谱的在线知识表示学习大规模知识图谱的在线知识表示学习。在实际中，知识图谱的规模不断扩大的，且知识信息也随着时间不短更新，如 DBpedia 每天提取维基百科的更新流，以保持其知识图谱包含最新信息，阿里的产品知识图谱需要相当频繁地更新，由于其电商平台每天都有大量的新产品上线。但是，现有的知识表示学

36、习方法主要是聚焦在静态的知识图谱忽略了知识图谱的动态性。此外，大规模知识图谱稀疏性很强，初步实验表明，已有表示学习模型在大规模知识图谱上性能堪忧，特别是对低频实体和关系的表示效果较差，根据知识图谱动态更新实体和关系表示突破该问题的重要途径。因此，我们需要设计高效的在线学习方案。除了充分融合多源信息降低稀疏性之外，我们还可以探索如何优化表示学习的方式，借鉴课程学习和迁移学习等算法思想，进一步改善知识表示的效果。参考文献参考文献 CIPS2018 中国中文信息学会语言与知识计算专委会.知识图谱发展报告(2018)第二章 知识表示学习C.2018:22-30.Ali et al.,2021 Ali

37、M,Berrendorf M,Hoyt C T,et al.PyKEEN 1.0:a Python library for training and evaluating knowledge graph embeddingsJ.Journal of Machine Learning Research,2021,22(82):1-6.Bengio et al.,2013 Bengio Y,Courville A,Vincent P.Representation learning:A review and new perspectivesJ.IEEE transactions on PAMI,20

38、13,35(8):1798-1828.Bordes et al.,2013 Bordes A,Usunier N,et al.Translating embeddings for modeling multi-relational dataC,in Proceedings of NIPS 2013,2787-2795.Boutouhami et al.,2019 Boutouhami K,Zhang J,Qi G,et al.Uncertain ontology-aware knowledge graph embeddingsC.Joint International Semantic Tec

39、hnology Conference.Springer,Singapore,2019:129-136.Chen et al.,2017 Chen M,Tian Y,et al.Multilingual knowledge graph embeddings for cross-lingual knowledge alignmentC,in Proceedings of IJCAI 2017:1511-1517.Chen et al.,2019 Chen X,Chen M,et al.Embedding uncertain knowledge graphsC,in 25 Proceedings o

40、f the AAAI.2019,33(01):3363-3370.Dasgupta et al.,2018 Dasgupta S S,et al.Hyte:Hyperplane-based temporally aware knowledge graph embeddingC,in Proceedings of EMNLP,2018:2001-2011.Dettmers et al.,2018 Dettmers T,Minervini P,Stenetorp P,et al.Convolutional 2d knowledge graph embeddingsC,in Proceedings

41、of AAAI.2018,32(1):1811-1818.Ding et al.,2020 Ding M,Zhou C,Yang H,et al.Cogltx:Applying bert to long textsJ,in Proceedings of NeurIPS,2020,33:12792-12804.Garca-Durn et al.,2018 Garca-Durn A,Dumancic S,Niepert M.Learning Sequence Encoders for Temporal Knowledge Graph CompletionC,in Proceedings of EM

42、NLP.2018.Gu et al.,2018 Gu Y,Yan J,Zhu H,et al.Language Modeling with Sparse Product of Sememe ExpertsC,in Proceedings of EMNLP 2018:4642-4651.Gu et al.,2015 Guo S,Wang Q,Wang B,et al.Semantically smooth knowledge graph embeddingC,in Proceedings of ACL-IJNLP 2015:84-94.Guo et al.,2016 Guo S,Wang Q,W

43、ang L,et al.Jointly embedding knowledge graphs and logical rulesC,in Proceedings of EMNLP 2016:192-202.Guo et al.,2018 Guo S,Wang Q,Wang L,et al.Knowledge graph embedding with iterative guidance from soft rulesC,in Proceedings of AAAI,2018,32(1):4816-4823.Guo et al.,2019 Guo L,Sun Z,Hu W.Learning to

44、 exploit long-term relational dependencies in knowledge graphsC,in Proceedings of ICML 2019:2505-2514.Guu et al.,2020 Guu K,Lee K,Tung Z,et al.Retrieval augmented language model pre-trainingC,in Proceedings of ICML 2020:3929-3938.Han et al.,2018a Han X,Cao S,Lv X,et al.Openke:An open toolkit for kno

45、wledge embeddingC,in Proceedings of EMNLP:system demonstrations.2018:139-144.Han et al.,2018b Han X,Liu Z,Sun M.Neural knowledge acquisition via mutual attention between knowledge graph and textC,in Proceedings of AAAI 2018.Han et al.,2021 Han X,Zhang Z,Liu Z.Knowledgeable machine learning for natur

46、al language processingJ.Communications of the ACM,2021,64(11):50-51.Ji et al.,2021 Ji S,Pan S,et al.A survey on knowledge graphs:Representation,acquisition,and applicationsJ.IEEE Transactions on Neural Networks and Learning Systems,2021.Jin et al.,2019 Jin W,Qu M,Jin X,et al.Recurrent event network:

47、Autoregressive structure inference over temporal knowledge graphsJ.arXiv preprint arXiv:1904.05530,2019.26 Kemp&Tenenbaum,2009 Kemp C,Tenenbaum J B.Structured statistical models of inductive reasoningJ.Psychological review,2009,116(1):20.Lao&Cohen et al.,2010 Lao N,Cohen W W.Relational retrieval usi

48、ng a combination of path-constrained random walksJ.Machine learning,2010,81(1):53-67.Lao et al.,2011 Lao N,Mitchell T,Cohen W.Random walk inference and learning in a large scale knowledge baseC,in Proceedings of EMNLP 2011:529-539.Lerer et al.,2019 Lerer A,Wu L,Shen J,et al.Pytorch-biggraph:A large-

49、scale graph embedding systemJ.arXiv preprint arXiv:1903.12287,2019.Leblay&Chekol,2018 Leblay J,Chekol M W.Deriving validity time in knowledge graphC/Companion Proceedings of the The Web Conference.2018:1771-1776.Lin et al.,2015a Lin Y,Liu Z,et al.Modeling Relation Paths for Representation Learning o

50、f Knowledge BasesC,in Proceedings of EMNLP 2015:705-714.Lin et al.,2015b Lin Y,Liu Z,Sun M,et al.Learning entity and relation embeddings for knowledge graph completionC,in Proceedings of AAAI 2015.Liao et al.,2021 Liao S,Liang S,Meng Z,et al.Learning dynamic embeddings for temporal knowledge graphsC

51、,in Proceedings of WSDM.2021:535-543.Mousselly-Sergieh et al.,2018 Mousselly-Sergieh H,Botschen T,Gurevych I,et al.A multimodal translation-based approach for knowledge graph representation learningC,in Proceedings of SEM.2018:225-234.Niu et al.,2020a Niu G,et al.AutoETER:Automated Entity Type Repre

52、sentation for Knowledge Graph EmbeddingJ.arXiv preprint arXiv:2009.12030,2020.Niu et al.,2020b Niu G,Zhang Y,Li B,et al.Rule-guided compositional representation learning on knowledge graphsC,in Proceedings of AAAI 2020,34(03):2950-2958.Nathani et al.,2019 Nathani D,Chauhan J,Sharma C,et al.Learning

53、Attention-based Embeddings for Relation Prediction in Knowledge GraphsC,in Proceedings of ACL 2019:4710-4723.Qian et al.,2018 Qian W,Fu C,Zhu Y,et al.Translating embeddings for knowledge graph completion with relation attention mechanismC,in Proceedings of IJCAI 2018:4286-4292.Sadeghian et al.,2021

54、Sadeghian A,Armandpour M,Colas A,et al.ChronoR:Rotation Based Temporal Knowledge Graph EmbeddingC,in Proceedings of AAAI 2021,35(7):6471-6479.Sun et al.,2018 Sun Z,Hu W,Zhang Q,et al.Bootstrapping entity alignment with knowledge graph embeddingC,in Proceedings of IJCAI 2018:4396-4402.27 Schlichtkrul

55、l et al,2018 Schlichtkrull M,Kipf T N,Bloem P,et al.Modeling relational data with graph convolutional networksC.European semantic web conference.Springer,2018:593-607.Sun et al.,2020a Sun T,Shao Y,Qiu X,et al.CoLAKE:Contextualized Language and Knowledge EmbeddingC,in Proceedings of ACL 2020:3660-367

56、0.Tenenbaum et al.,2011 Tenenbaum J B,Kemp C,Griffiths T L,et al.How to grow a mind:Statistics,structure,and abstractionJ.science,2011,331(6022):1279-1285.Trouillon et al.,2016 Trouillon T,Welbl J,Riedel S,et al.Complex embeddings for simple link predictionC,in Proceedings of ICML 2016:2071-2080.Tri

57、vedi et al.,2017 Trivedi R,Dai H,Wang Y,et al.Know-evolve:Deep temporal reasoning for dynamic knowledge graphsC,in Proceedings of ICML.PMLR,2017:3462-3471.Wang et al.,2014a Wang Z,Zhang J,Feng J,et al.Knowledge graph and text jointly embeddingC,in Proceedings of EMNLP.2014:1591-1601.Wang et al.,2014

58、b Wang Z,Zhang J,Feng J,et al.Knowledge graph embedding by translating on hyperplanesC,in Proceedings of AAAI 2014,28(1).Wang et al.,2019 Wang Z,Li L,Li Q,et al.Multimodal data enhanced representation learning for knowledge graphsC,in Proceedings of IJCNN 2019:1-8.Wang et al.,2019b Wang Q,Huang P,Wa

59、ng H,et al.CoKE:Contextualized knowledge graph embeddingJ.arXiv preprint arXiv:1911.02168,2019.Wang et al.,2021 Wang X,Gao T,et al.,KEPLER:A unified model for knowledge embedding and pre-trained language representationJ.TACL,2021,9:176-194.Xiao et al.,2016a Xiao H,et al.From one point to a manifold:

60、knowledge graph embedding for precise link predictionC,in Proceedings of IJCAI 2016:1315-1321.Xie et al.,2016a Xie R,Liu Z,Jia J,et al.Representation learning of knowledge graphs with entity descriptionsC,in Proceedings of AAAI 2016,30(1).Xie et al.,2016b Xie R,Liu Z,Luan H,et al.Image-embodied Know

61、ledge Representation LearningC,arXiv preprint arXiv:1609.07028,2016.Xie et al,2016c Xie R,Liu Z,Sun M.Representation learning of knowledge graphs with hierarchical typesC,in Proceedings of IJCAI.2016:2965-2971.Xin et al.,2018 Xin J,Lin Y,Liu Z,et al.Improving neural fine-grained entity typing with k

62、nowledge attentionC,in Proceedings of AAAI 2018.Xiong et al.,2019 Xiong W,Du J et al.,Pretrained Encyclopedia:Weakly Supervised Knowledge-28 Pretrained Language ModelC,in Proceedings of ICLR 2019.Xu et al.,2020 Xu C,Nayyeri M,Alkhoury F,et al.Temporal Knowledge Graph completion based on time series

63、Gaussian embeddingC,International Semantic Web Conference.Springer,Cham,2020:654-671.Yang et al.,2019 Yang S,Tian J,Zhang H,et al.TransMS:Knowledge Graph Embedding for Complex Relations by Multidirectional SemanticsC,in Proceedings of IJCAI.2019:1935-1942.Yang et al.,2021 Yang J,Xiao G,Shen Y,et al.

64、A Survey of Knowledge Enhanced Pre-trained ModelsJ.arXiv preprint arXiv:2110.00269,2021.Zhang et al.,2018 Zhang Z,Zhuang F,Qu M,et al.Knowledge graph embedding with hierarchical relation structureC,in Proceedings of EMNLP 2018:3198-3207.Zhang et al.,2019c Zhang Z,Han X,Liu Z,et al.ERNIE:Enhanced Lan

65、guage Representation with Informative EntitiesC,in Proceedings of ACL 2019:1441-1451.Zhang et al.,2020a Zhang Y,Fang Q,Qian S,et al.Multi-modal Multi-relational Feature Aggregation Network for Medical Knowledge Representation LearningC,in Proceedings of ACM Multimedia.2020:3956-3965.Zhang et al.,202

66、0b Zhang Y,Yao Q,Chen L.Interstellar:Searching Recurrent Architecture for Knowledge Graph EmbeddingJ,in Proceedings of NeurIPS 2020,33:10030-10040.Zhang et al.,2020c Zhang Z,Cai J,et al.Learning hierarchy-aware knowledge graph embeddings for link predictionC,in Proceedings of AAAI 2020.Zhang et al.,

67、2021 Zhang J,Wu T,Qi G.Gaussian Metric Learning for Few-Shot Uncertain Knowledge Graph CompletionC,DASFAA.Springer,2021:256-271.Zheng et al.,2020 Zheng D,Song X,Ma C,et al.DGL-KE:Training knowledge graph embeddings at scaleC,in Proceedings of SIGIR.2020:739-748.Zhou et al.,2017 Zhou X,Zhu Q,Liu P,et

68、 al.Learning knowledge embeddings by combining limit-based scoring lossC,in Proceedings of CIKM 2017:1009-1018.Zhu et al.,2019 Zhu Z,Xu S,Tang J,et al.Graphvite:A high-performance cpu-gpu hybrid system for node embeddingC,in Proceedings of WWW 2019:2494-2504.29$1&$1&23452345 林鸿宇，韩先培 中国科学院软件研究所 中文信息处

69、理实验室，100190!#$%&(0*+,&#$%&(0*+,&实体是世界构成的基本单元，文本中的实体是承载着文本信息的重要基本单位。一段文本中所蕴含的信息通常可以被表述为其所包含的实体以及实体之间的相互联系。例如，“美国白宫首席副新闻秘书卡琳让皮埃尔新冠检测结果呈阳性”中所包含的信息可以由句子中所提及的实体“美国”、“白宫”、“卡琳让皮埃尔”、“新冠”以及它们之间的相互关联所构成。而一个知识图谱通常是一个以实体为节点的巨大知识网络，包括实体、实体属性以及实体之间的关系。因此，上述文本中所蕴含的实体以及实体间关联信息是知识图谱中知识的最重要来源。实体抽取的主要目标是识别文本当中的实体提及，并将

70、其划分到指定的给定类别 Chinchor&Robinson,1998。常用实体类别包括人名、地名、机构名、日期等。例如，给定“美国白宫首席副新闻秘书卡琳让皮埃尔新冠检测结果呈阳性”以及待抽取的实体类别“人名”与“地名”，实体抽取模型需要识别出“卡琳让皮埃尔”是一个人名实体提及，“美国”是一个地名实体提及等。实体抽取是海量文本分析和知识图谱构建的核心技术，也是文本语义理解的基础，为解决信息过载提供了有效手段。互联网海量的文本数据中蕴含大量有价值的信息，针对性地挖掘并剔除无关与冗余的信息，可以帮助人类高效获取信息。通过以实体为核心建立海量信息的表示、关联和结构，实体抽取可以为互联网信息的挖掘提供高

71、效手段，为用户信息需求的精准满足提供基础支撑。实体抽取技术通过将文本结构化为以实体为中心的语义表示，为分析非结构化文本提供了核心技术手段，是实现大数据资源化、知识化和普适化的核心技术，已被广泛应用于舆情监控、网络搜索、智能问答等多个重要领域。-*+./0DE*+./0DE 实体抽取的主要研究对象是如何从文本中识别指定类别的实体。一个实体抽取系统通常包含两个部分：实体边界识别和实体分类，其中实体边界识别判断一个字符串是否组成一个完整实体，而实体分类将识别出的实体划分到预先给定的不同类别中去。实体抽取是一项自然语言处理的基础技术，目前中英文上通用的特定领域（人名、地名、机构名）实体抽取性能 F1

72、值都能达到 90%以上。然而，对于实体抽取而言，当下最核心的挑战是如何能够将限定领域上的优良表现迁移至开放领域，从而在众多不同的领域与类别上均实现较好的性 30 能。相比于传统的限定领域实体抽取，开放领域实体抽取面临以下几个核心挑战：1）类别开放类别开放：限定领域实体抽取通常只关注于非常稀少的特定实体类别。然而，开放域实体抽取需要处理为数众多、粒度不一的各种实体类别。为满足各领域的实体识别需求，命名实体的类别范围不断扩大。例如，语言数据协会根据华尔街日报的文章构建了包括了 64 个实体类别的 BBN 数据集，随后又构建了包括 87 个实体类别的 OntoNotes 数据集。Ling 等人从 F

73、reebase 中选取了 112 个实体类别作为识别目标并构建了一个细粒度实体抽取数据集 Ling&Weld,2012。Choi 等提出的极细粒度实体抽取，利用 WordNet 将实体扩充到了 10331 个粒度不一的开放类别 Choi et al.,2018。除了通用领域的命名实体识别，还有许多研究者针对特定领域进行了实体类别扩展。针对计算机科学领域，Jain 等提出了 SciREX 数据集，其中涵盖数据集、评价指标、任务和方法等四大类实体 Jain et al.,2020。针对生物领域，Li 等人根据 PubMed 的文章构造了 BC5CDR 数据集，重点关注疾病和化学药物实体 Li et

74、 al.,2016。众多的开放类别不仅数量不固定、粒度参差不齐，类别之间还具有上下位和共现关系等复杂关联。因此，传统的限定域实体抽取中孤立地考虑每个实体类别的方法是低效且不切实际的。2）实体结构复杂实体结构复杂：传统的限定领域实体抽取通常关注于平实体抽取(Flat NER)，即不考虑实体提及中存在的嵌套、重叠以及不连续的情况。然而，对于开放领域的实体抽取而言，实体提及间存在复杂结构是非常常见的现象。例如“中华人民共和国教育部”中包含有“中华人民共和国教育部”和“中华人民共和国”两个不同的实体提及，而“心、肺功能异常”中则包含着“心功能异常”与“肺功能异常”两个不同的症状实体。这类复杂结构在开放

75、领域的实体抽取问题中分布非常广泛，而以 CRF 为代表的传统的实体抽取模型表达能力不足，很难建模上述复杂结构。3）标注资源缺乏标注资源缺乏：由于类别开放以及实体结构复杂的特点，我们很难为所有待抽取的实体类别构建足够数量的标注资源。因此，在开放实体抽取中有大量的实体类别仅有极少量的标注数据，只能提供极少量的信息。同时，虽然现在存在一定数量的外部标注/半标注实体抽取资源，但是这些资源通常标注质量较差，带有噪声，并且外部资源与任务目标可能存在知识不匹配的问题。因此，如何利用极少量的标注资源获得一个有效的实体抽取模型是开放领域实体抽取的又一大重要挑战。上述三个挑战是限制了实体抽取从限定域迈向开放域的核

76、心因素。近年来，实体抽取领域的研究工作大多围绕着解决上述三个挑战来进行的，而深度神经网络以及预训练语言模型的兴起为解决上述挑战带来了新的机遇。下面我们将简要介绍目前实体抽取领域的研究现状与发展趋势。31 77*+=0A?BC*+FGA?FGA?=实体抽取是自然语言处理最基本的技术之一。近年来，国内外众多著名人工智能厂商纷纷构建自己的人工智能开放平台和相应的开源工具，为其他行业提供人工智能服务。绝大多数相关的人工智能开放平台均对外提供有实体抽取的服务与接口，国内具有代表性的平台包括有百度 AI 开放平台、阿里灵杰、华为 AI 开放平台和腾讯 AI 开放平台等。除了在常见类别的限定域实体上，这些人

77、工智能开放平台还根据不同的业务场景，提供了法律、金融、医疗等诸多领域的领域特定实体抽取服务，帮助相关领域企业实现数字化、智能化转型。在开源工具方面，哈工大研发的 LTP 语言技术平台、复旦大学研发的 FudanNLP、斯坦福大学研发的 CoreNLP 和 Stanza、清华大学研发的 THULAC、HanNLP 以及 spaCy 工具包等在学术界和产业界均有着较大的影响力，这些开源工具一般都内置命名实体识别模型，但是通常仅支持对基本实体类型的识别，例如人名、地名、机构名等。因此，这些开源工具对于开放领域的实体抽取的支撑仍略显不足。由于实体抽取的基础性和重要性，实体抽取技术在众多领域都有着广泛的

78、应用。在新闻媒体领域，实体抽取技术能够帮助新闻采编工作更加高效。在法律服务领域，实体抽取技术通过识别法律文书中的法律术语等相关信息，构建法律领域知识图谱，对类案文书、法律规则、相应法条进行自动推荐，从而帮助法官从繁重的文书工作中解脱出来。在电商领域，实体抽取技术能够提取快递单据中的文本信息，并输出包含姓名、电话、地址等的结构化信息，帮助快递或电商企业提高单据处理效率。在医疗领域，实体抽取技术能识别电子病案中的医学实体，进而辅助医生及时发现病历书写中的缺陷，全面提升病历质量，帮助医院优化诊疗流程、提高诊疗效率和全面提高医疗质量。此外，实体抽取技术也是构建行业知识图谱的关键技术。例如，在汽车领域，

79、针对汽车这种属性较多的 35 实体领域，汽车知识图谱可以将不同品牌、不同型号的汽车产品信息整合，为消费者提供全面的导购服务；在政务领域，利用实体抽取技术构建知识图谱可以聚合政策信息，提供统一的数据访问视图，支撑高效政务搜索和问答，提升政务处理效率；在油气勘探领域，基于勘探知识图谱可以提供丰富的油气应用，例如语义搜索、油气知识推荐等，支撑油气勘探开发、降本增效等；在各行业的客服领域，构建基于知识图谱的多轮对话系统，可以分析用户对话中的实体和关系，根据实体和关系进行知识图谱的查询和推理，从而选择相应的对话策略，减少人工成本，提高工作效率等。HHIJ0?IJ0?实体抽取是自然语言处理与知识图谱领域的

80、基础性技术。近年来，实体抽取领域逐渐从限定领域迈向开放领域，由此面临着类别开放、实体结构复杂、标注资源缺乏等的重要挑战。近年来，深度学习和大规模预训练语言模型的兴起已经为实体抽取领域带来了范式级别的改变。这种深刻的改变体现在模型架构、学习算法与模态融合等多个层面，并显著地改变了实体抽取领域的技术发展路线。然而在当下，开放领域的实体抽取仍然面临着诸多挑战，大模型对于实体抽取领域的影响还远远没有完全展现出来。在未来，如何设计出更通用、有效、高速的模型架构，如何更充分地利用现有资源，使得实体抽取模型具有更快速的跨类别泛化能力，如何更好的实现多模态多语言的打通融合，都将是实体抽取领域在大模型时代所面临

81、的重要挑战。参考文献参考文献 Abhishek et al.,2017 Abhishek Abhishek,Ashish Anand,Amit Awekar.Fine-grained entity type classification by jointly learning representations and label embeddings.In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics:Volume 1,Long

82、 Papers,pages 797807,Valencia,Spain,2017.Chinchor&Robinson,1998 N.Chinchor,P.Robinson.MUC-7 named entity task definition(version 3.5).In Seventh Message Understanding Conference(MUC-7):Proceedings of a Conference Held in Fairfax,Virginia,April 29-May 1,1998,1998.Choi et al.,2018 Eunsol Choi,Omer Lev

83、y,Yejin Choi,Luke Zettlemoyer.Ultra-fine entity typing.In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics(Volume 1:Long Papers),pages 8796,Melbourne,Australia,2018.Dai et al.,2019 Hongliang Dai,Donghong Du,Xin Li,Yangqiu Song.Improving fine-grained 36 entity t

84、yping with entity linking.In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing(EMNLP-IJCNLP),pages 62106215,Hong Kong,China,2019.Dai et al.,2020 Xiang Dai,Sarvnaz Karimi,Ben Hachey,Cecile P

85、aris.An effective transition-based model for discontinuous NER.In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics,pages 58605870,Online,2020.Dhamecha et al.,2021 Tejas Dhamecha,Rudra Murthy,Samarth Bharadwaj,Karthik Sankaranarayanan,Pushpak Bhattacharyya.Role

86、of Language Relatedness in Multilingual Fine-tuning of Language Models:A Case Study in Indo-Aryan Languages.In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing,pages 85848595,Online and Punta Cana,Dominican Republic,2021.Ding et al.,2021 Ning Ding,Yulin Chen,Xu

87、Han,Guangwei Xu,Pengjun Xie,Haitao Zheng,Zhiyuan Liu,Juan-Zi Li,Hong-Gee Kim.Prompt-learning for fine-grained entity typing.ArXiv,abs/2108.10604,2021.Fan et al.,2021 Yimin Fan,Yaobo Liang,Alexandre Muzio,Hany Hassan,Houqiang Li,Ming Zhou,Nan Duan.Discovering representation sprachbund for multilingua

88、l pre-training.In Findings of the Association for Computational Linguistics:EMNLP 2021,pages 881894,Punta Cana,Dominican Republic,2021.Finkel&Manning,2009 Jenny Rose Finkel,Christopher D.Manning.Nested named entity recognition.In Proceedings of the 2009 Conference on Empirical Methods in Natural Lan

89、guage Processing,pages 141150,Singapore,2009.Geng et al.,2019 Ruiying Geng,Binhua Li,Yongbin Li,Xiaodan Zhu,Ping Jian,Jian Sun.Induction networks for few-shot text classification.In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint

90、 Conference on Natural Language Processing(EMNLP-IJCNLP),pages 39043913,Hong Kong,China,2019.Ghaddar&Langlais,2017 Abbas Ghaddar,Phillippe Langlais.WiNER:A Wikipedia annotated corpus for named entity recognition.In Proceedings of the Eighth International Joint Conference on Natural Language Processi

91、ng(Volume 1:Long Papers),pages 413422,Taipei,Taiwan,2017.Huang et al.,2021 Jiaxin Huang,Chunyuan Li,Krishan Subudhi,Damien Jose,Shobana Balakrishnan,Weizhu Chen,Baolin Peng,Jianfeng Gao,Jiawei Han.Few-shot namedentity recognition:An empirical baseline study.In Proceedings of the 2021 Conference on E

92、mpirical 37 Methods in Natural Language Processing,pages 1040810423,Online and Punta Cana,Dominican Republic,2021.Jain et al.,2020 Sarthak Jain,Madeleine van Zuylen,Hannaneh Hajishirzi,Iz Beltagy.SciREX:A challenge dataset for document-level information extraction.In Proceedings of the 58th Annual M

93、eeting of the Association for Computational Linguistics,pages 7506 7516,Online,2020.Lafferty et al.,2001 John D.Lafferty,Andrew McCallum,Fernando C.N.Pereira.Conditional random fields:Probabilistic models for segmenting and labeling sequence data.In Proceedings of the Eighteenth International Confer

94、ence on Machine Learning,ICML 01,page 282289,San Francisco,CA,USA,2001.Li et al.,2016 Jiao Li,Yueping Sun,Robin J.Johnson,Daniela Sciaky,Chih-Hsuan Wei,Robert Leaman,Allan Peter Davis,Carolyn J.Mattingly,Thomas C.Wiegers,Zhiyong Lu.Biocreative v cdr task corpus:a resource for chemical disease relati

95、on extraction.Database:The Journal of Biological Databases and Curation,2016,2016.Li et al.,2020 Xiaoya Li,Jingrong Feng,Yuxian Meng,Qinghong Han,Fei Wu,Jiwei Li.A unified MRC framework for named entity recognition.In Proceedings of the 58th Annual Meeting of the Association for Computational Lingui

96、stics,pages 58495859,Online,2020.Lin et al.,2019 Hongyu Lin,Yaojie Lu,Xianpei Han,Le Sun.Sequence-to-nuggets:Nested entity mention detection via anchor-region networks.In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics,pages 51825192,Florence,Italy,2019.Ling&W

97、eld,2012 Xiao Ling,Daniel S.Weld.Fine-grained entity recognition.In Proceedings of the Twenty-Sixth AAAI Conference on Artificial Intelligence,AAAI12,page 94 100,2012.Liu et al.,2021a Linlin Liu,Bosheng Ding,Lidong Bing,Shafiq Joty,Luo Si,Chunyan Miao.MulDA:A multilingual data augmentation framework

98、 for low-resource cross-lingual NER.In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing(Volume 1:Long Papers),pages 58345846,Online,2021a.Liu et al.,2021b Qing Liu,Hongyu Lin,Xinyan Xiao

99、,Xianpei Han,Le Sun,Hua Wu.Fine-grained entity typing via label reasoning.In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing,pages 46114622,Online and Punta Cana,Dominican Republic,2021b.Lu et al.,2022 Yaojie Lu,Qing Liu,Dai Dai,Xinyan Xiao,Hongyu Lin,Xianpei H

100、an,Le Sun,38 Hua Wu.Unified structure generation for universal information extraction.In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics(Volume 1:Long Papers),pages 57555772,Dublin,Ireland,2022.Onoe et al.,2021 Yasumasa Onoe,Michael Boratko,Andrew McCallum,Gre

101、g Durrett.Modeling fine-grained entity types with box embeddings.In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing(Volume 1:Long Papers),pages 20512064,Online,2021.Rahimi et al.,2019 A

102、fshin Rahimi,Yuan Li,Trevor Cohn.Multilingual ner transfer for low-resource languages.CoRR,abs/1902.00193,2019.Ravi&Larochelle,2017 Sachin Ravi,H.Larochelle.Optimization as a model for few-shot learning.In International Conference on Learning Representations,2017.Ren et al.,2016 Xiang Ren,Wenqi He,M

103、eng Qu,Lifu Huang,Heng Ji,Jiawei Han.AFET:Automatic fine-grained entity typing by hierarchical partial-label embedding.In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing,pages 1369 1378,Austin,Texas,2016.Shaffer,2021 Kyle Shaffer.Language clustering for multili

104、ngual named entity recognition.In Findings of the Association for Computational Linguistics:EMNLP 2021,pages 4045,Punta Cana,Dominican Republic,2021.Snell et al.,2017 Jake Snell,Kevin Swersky,Richard Zemel.Prototypical networks for few-shot learning.In I.Guyon,U.Von Luxburg,S.Bengio,H.Wallach,R.Ferg

105、us,S.Vishwanathan,R.Garnett,editors,Advances in Neural Information Processing Systems,volume 30,2017.Sui et al.,2021 Dianbo Sui,Zhengkun Tian,Yubo Chen,Kang Liu,Jun Zhao.A large-scale Chinese multimodal NER dataset with speech clues.In Proceedings of the 59th Annual Meeting of the Association for Co

106、mputational Linguistics and the 11th International Joint Conference on Natural Language Processing(Volume 1:Long Papers),pages 28072818,Online,2021.Tedeschi et al.,2021 Simone Tedeschi,Valentino Maiorca,Niccol Campolungo,Francesco Cecconi,Roberto Navigli.WikiNEuRal:Combined neural and knowledge-base

107、d silver data creation for multilingual NER.In Findings of the Association for Computational Linguistics:EMNLP 2021,pages 25212533,Punta Cana,Dominican Republic,2021.Tian et al.,2020 Yonglong Tian,Yue Wang,Dilip Krishnan,Joshua B.Tenenbaum,Phillip Isola.Rethinking few-shot image classification:A goo

108、d embedding is all you need?In Andrea Vedaldi,39 Horst Bischof,Thomas Brox,Jan-Michael Frahm,editors,Computer Vision ECCV 2020,pages 266282,Cham,2020.Wang&Lu,2018 Bailin Wang,Wei Lu.Neural segmental hypergraphs for overlapping mention recognition.In Proceedings of the 2018 Conference on Empirical Me

109、thods in Natural Language Processing,pages 204214,Brussels,Belgium,2018.Wang et al.,2018 Bailin Wang,Wei Lu,Yu Wang,Hongxia Jin.A neural transition-based model for nested mention recognition.In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing,pages 10111017,Brus

110、sels,Belgium,2018.Wang et al.,2020 Xinyu Wang,Yong Jiang,Nguyen Bach,Tao Wang,Fei Huang,Kewei Tu.Structure-level knowledge distillation for multilingual sequence labeling.In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics,pages 33173330,Online,2020.Xie et al.,

111、2020 Qizhe Xie,Eduard H.Hovy,Minh-Thang Luong,Quoc V.Le.Self-training with noisy student improves imagenet classification.In 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR),pages 1068410695,2020.Xin et al.,2018 Ji Xin,Yankai Lin,Zhiyuan Liu,Maosong Sun.Improving neural fine

112、-grained entity typing with knowledge attention.In Proceedings of the Thirty-Second AAAI Conference on Artificial Intelligence and Thirtieth Innovative Applications of Artificial Intelligence Conference and Eighth AAAI Symposium on Educational Advances in Artificial Intelligence,AAAI18/IAAI18/EAAI18

113、,2018.Xu&Barbosa,2018 Peng Xu,Denilson Barbosa.Neural fine-grained entity type classification with hierarchy-aware loss.In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics:Human Language Technologies,Volume 1(Long Papers),pages 1625,Ne

114、w Orleans,Louisiana,2018.Yan et al.,2021 Hang Yan,Tao Gui,Junqi Dai,Qipeng Guo,Zheng Zhang,Xipeng Qiu.A unified generative framework for various NER subtasks.In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natu

115、ral Language Processing(Volume 1:Long Papers),pages 58085822,Online,2021.Yu et al.,2021 Bowen Yu,Zhenyu Zhang,Jiawei Sheng,Tingwen Liu,Yubin Wang,Yucheng Wang,Bin Wang.Semi-open information extraction.In Proceedings of the Web Conference 2021,WWW 21,page 16611672,New York,NY,USA,2021.Zhang et al.,20

116、21 Dong Zhang,Suzhong Wei,Shoushan Li,Hanqian Wu,Qiaoming Zhu,40 Guodong Zhou.Multi-modal graph fusion for named entity recognition with targeted visual guidance.Proceedings of the AAAI Conference on Artificial Intelligence,35(16):14347 14355,2021.41$6&$6&237845237845 曾道建1 陈玉博2 刘康2 1.湖南师范大学 信息科学与工程学

117、院，长沙 410081 2.中国科学院自动化研究所 模式识别国家重点实验室，北京 100190!#$%&()*+,&#$%&()*+,&关系定义为两个或多实体之间的某种联系，实体关系抽取是检测和识别出实体之间具有的某种语义关系，并将结果以结构化的形式存储 Martinez-Rodriguez et al.,2020。例如：给定文本“华扬联众数字技术股份有限公司于 2017 年 8 月 2 日在上海证券交易所上市。”，通过实体关系抽取可以得到三元组，。实体关系抽取是信息抽取中的一个关键环节，具有重要的理论意义和广阔的应用前景。在理论方面，实体关系抽取涉及到自然语言处理、机器学习、逻辑推理、数据挖

118、掘等多个学科的理论和方法，实体关系抽取不仅能得到结构化知识，而且对相关学科理论的完善和发展也将产生积极的促进作用；在应用方面，实体关系抽取可以为大规模知识图谱的构建提供核心技术，是实现文本从语法分析到语义分析的关键环节，同时也是智能信息服务的关键支撑，将促进以知识为核心的信息检索、智能问答、人机交互和海量数据管理等多个研究方向的快速发展，进而推进互联网相关产业的进一步发展。-*+./0DE*+./0DE 实体关系抽取是信息抽取领域的一个经典任务，根据抽取数据来源，主要可以分为结构化、半结构化、非结构实体关系抽取三类。目前研究工作主要针对抽取难度较大的非结构化文本展开，研究内容主要涉及语义关系表

119、征、抽取数据处理、复杂关系建模等三方面，以下分别介绍具体研究内容：语义关系表征：语义关系表征：主要研究如何用特征来表示实体之间的语义关系，具体研究内容包括基于规则的方法和统计机器学习方法，统计方法又可分为特征向量、核函数、深度学习自动特征学习等。抽取数据处理：抽取数据处理：主要研究如何处理不同类型的关系抽取数据，具体研究内容包括远程监督标注数据噪声处理、小样本关系抽取、数据隐私保护以及如何从预训练语言模型中抽取知识等。42 复杂关系建模：复杂关系建模：主要研究如何处理实际应用场景中的复杂关系，具体研究内容包括文档、对话、多模态等复杂场景下的关系抽取、多元关系抽取、自动发现实体间的新型关系等。实

120、体关系抽取目前主要面临如下三个挑战：1）自然语言表达的多样性：关系抽取的核心是将自然语言表达的关系知识映射到关系三元组上。然而，自然语言表达具有多样性和隐含性，导致关系抽取任务极具挑战性。自然语言表达的多样性指的是同一种关系可以有多种表达方式，例如“总部位置”这个语义关系可以用“X 的总部位于 Y”，“X 总部坐落于 Y”，“作为 X 的总部所在地，Y”等等不同的文本表达方式。自然语言表达的多样性是关系抽取的一大挑战。2）关系表达的隐含性：关系表达的隐含性是指关系有时候在文本中找不到任何明确的标识，关系隐含在文本中。例如：蒂姆库克与中国移动董事长奚国华会面商谈“合作事宜”，透露出了他将带领苹果

121、公司进一步开拓中国市场的讯号。在这一段文本中，并没有直接给出蒂姆库克和苹果公司的关系，但是从“带领苹果公司”的表达，我们可以推断出蒂姆库克是苹果公司的首席执行官(CEO)。关系表达的隐含性是关系抽取的一大挑战。3）实体关系的复杂性：关系抽取的目标是抽取实体之间的语义关系，然而，真实世界中同一对实体之间可能有多个关系，而且有的关系可以同时存在，而有的关系是具有时间特性的。比如：中国和北京的关系有多个，北京坐落于中国，北京是中国的首都，北京是中国的政治中心，北京是中国的文化中心。这些关系是可以同时存在的。但是如果两个人本来是夫妻关系，后来离婚了，他们就不是夫妻关系了，是前妻或者前夫的关系，这个类关

122、系具有时空性，不能单独存在，实体关系的复杂性是关系抽取的又一挑战。789:;789:;)*+=)*+A?BCA?BC 实体关系抽取技术研究蓬勃发展，已经成为了信息抽取和自然语言处理的重要分支。这一方面得益于系列国际权威评测和会议的推动，如消息理解系列会议（MUC，Message Understanding Conference），自动内容抽取评测（ACE，Automatic Content Extraction）和文本 47 分析会议系列评测（TAC，Text Analysis Conference）。另一方面也是因为实体关系抽取技术的重要性和实用性，使其同时得到了研究界和工业界的广泛关注。实

123、体关系抽取技术自身的发展也大幅度推进了中文信息处理研究的发展，迫使研究人员面向实际应用需求，开始重视之前未被发现的研究难点和重点。纵观实体关系抽取研究发展的态势和技术现状，本文认为实体关系抽取的发展方向如下：1.新类别新类别/开放类别上的小样本学习能力开放类别上的小样本学习能力 目前的小样本学习设定需要用一个巨大的训练集训练的，测试时只给出 N-way K-shot，在这 N*K 个样本上学习并预测，真实场景下的小样本学习不存在巨大的训练集。此外，真实应用中还需要考虑如何自动发现新类别，迫切需要利用小样本实现模型在新类别关系上的快速训练模型。从 GPT3 开始，预训练-提示(Prompt)学习

124、范式受到研究者的关注，该范式将下游任务也建模成语言模型任务，在只给出几条或几十条样本作为训练集，借助与大规模预训练语言模型中蕴含的大量知识，取得了不错的小样本学习效果。此外，相对于传统的Pretrain+Finetune 范式，Prompt 可以摆脱指数级的预训练参数量对巨大计算资源的需求，高效的利用预训练模型。基于上述分析，本文认为实体关系抽取发展方向之一是利用预训练提示学习范式进行高效的新类别/开放类别上的小样本学习。具体包括：1）开放类别语义标签自动生成与新类别的挂载；2）提示学习中关系抽取任务模板的设计与自动学习；3）预训练-提示学习范式进行实体关系抽取的理论分析。2.数据隐私保护下的

125、关系可信抽取数据隐私保护下的关系可信抽取 目前性能较好的实体关系抽取模型主要是基于有监督学习或者远程监督学习的。此类模型需要将大规模的标注数据集中暴露给模型。但是在金融、医疗、安全、军事等应用场景中，数据管理与隐私保护的要求日益严格，因此如何实现数据隐私保护下的实体关系抽取模型高效训练是目前技术在真实应用场景中落地的主要挑战之一。基于上述分析，本文认为实体关系抽取的发展方向之一是数据隐私保护下的关系可信抽取。具体包括：1）数据隐私保护下的大规模实体关系抽取数据自动生成；2）含噪数据下的实体关系抽取模型鲁棒性训练；3）数据隐私保护下的实体关系抽取模型高效训练。3.多模态关系抽取多模态关系抽取 目

126、前实体关系抽取主要针对的是纯文本数据，而常见的文档具有多样的布局且包含丰富的信息，以富文本文档的形式呈现包含大量的多模态信息。从认知科学的角度来说，人脑的感知和认知过程是跨越多种感官信息的融合处理，如人可以同时利用视觉和听觉信息理解说话人的情感、可以通过视觉信息补全文本中的缺失信息等，实体关系抽取技术的进一步发展 48 也应该是针对多模态的富文档。基于上述分析，本文认为实体关系抽取的发展方向之一是多模态信息的融合。具体包括：1）面向关系的多模态预训练模型的设计；2）多模态信息抽取框架中跨模态对齐任务设计；3）多模态信息的提取和表示。4.数据驱动和知识驱动融合数据驱动和知识驱动融合 现有的神经网

127、络实体关系抽取方法依靠深度学习以数据驱动的方式得到各种语义关系的统计模式，其优势在于能从大量的原始数据中学习相关特征，比较容易利用证据和事实，但是忽略了怎样融合专家知识。单纯依靠神经网络进行实体关系抽取，到一定准确率之后，就很难再改进。从人类进行知识获取来看，很多决策的时候同时要使用先验知识以及证据。数据驱动和知识驱动结合是模拟人脑进行信息抽取的关键挑战。基于上述分析，本文认为信息抽取的发展方向之一是构建数据驱动和知识驱动融合抽取技术。具体包括：1）神经符号学习信息抽取框架的构建；2）学习神经网络到逻辑符号的对应关系；3）神经网络对于符号计算过程进行模拟。参考文献参考文献 Adel&Schtz

128、e,2017 Heike Adel,Hinrich Schtze.Global normalization of convolutional neural networks for joint entity and relation classification.In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing,pages 17231729,Copenhagen,Denmark,2017.Baldini Soares et al.,2019 Livio Baldin

129、i Soares,Nicholas FitzGerald,Jeffrey Ling,Tom Kwiatkowski.Matching the blanks:Distributional similarity for relation learning.In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics,pages 28952905,Florence,Italy,2019.Bekoulis et al.,2018 Giannis Bekoulis,Johannes D

130、eleu,Thomas Demeester,Chris Develder.Joint entity recognition and relation extraction as a multi-head selection problem.Expert Systems with Applications,114,2018.Chen et al.,2021 Tao Chen,Haizhou Shi,Siliang Tang,Zhigang Chen,Fei Wu,Yueting Zhuang.CIL:Contrastive instance learning framework for dist

131、antly supervised relation extraction.In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing(Volume 1:Long Papers),pages 61916200,Online,2021.Christopoulou et al.,2019 Fenia Christopoulou,Ma

132、koto Miwa,Sophia Ananiadou.Connecting 49 the dots:Document-level neural relation extraction with edge-oriented graphs.In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing(EMNLP-IJCNLP),page

133、s 49254936,Hong Kong,China,2019.Cui et al.,2021 Li Cui,Deqing Yang,Jiaxin Yu,Chengwei Hu,Jiayang Cheng,Jingjie Yi,Yanghua Xiao.Refining sample embeddings with relation prototypes to enhance continual relation extraction.In Proceedings of the 59th Annual Meeting of the Association for Computational L

134、inguistics and the 11th International Joint Conference on Natural Language Processing(Volume 1:Long Papers),pages 232243,Online,2021.Devlin et al.,2019 Jacob Devlin,Ming-Wei Chang,Kenton Lee,Kristina Toutanova.Bert:Pre-training of deep bidirectional transformers for language understanding.In Proceed

135、ings of NAACL-HLT,pages 41714186,2019.Fu et al.,2019 Tsu-Jui Fu,Peng-Hsuan Li,Wei-Yun Ma.GraphRel:Modeling text as relational graphs for joint entity and relation extraction.In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics,pages 14091418,Florence,Italy,2019.

136、Gao et al.,2019a Tianyu Gao,Xu Han,Zhiyuan Liu,Maosong Sun.Hybrid attention-based prototypical networks for noisy few-shot relation classification.In Proceedings of the Thirty-Third AAAI Conference on Artificial Intelligence and Thirty-First Innovative Applications of Artificial Intelligence Confere

137、nce and Ninth AAAI Symposium on Educational Advances in Artificial Intelligence,AAAI19/IAAI19/EAAI19,2019a.Gao et al.,2019b Tianyu Gao,Xu Han,Hao Zhu,Zhiyuan Liu,Peng Li,Maosong Sun,Jie Zhou.FewRel 2.0:Towards more challenging few-shot relation classification.In Proceedings of the 2019 Conference on

138、 Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing(EMNLP-IJCNLP),pages 62506255,Hong Kong,China,2019b.Gupta et al.,2016 Pankaj Gupta,Hinrich Schtze,Bernt Andrassy.Table filling multi-task recurrent neural network for joint enti

139、ty and relation extraction.In Proceedings of COLING 2016,the 26th International Conference on Computational Linguistics:Technical Papers,pages 25372547,Osaka,Japan,2016.Han et al.,2018 Xu Han,Hao Zhu,Pengfei Yu,Ziyun Wang,Yuan Yao,Zhiyuan Liu,Maosong Sun.FewRel:A large-scale supervised few-shot rela

140、tion classification dataset with state-of-the-art 50 evaluation.In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing,pages 48034809,Brussels,Belgium,2018.Jia et al.,2019 Robin Jia,Cliff Wong,Hoifung Poon.Document-level n-ary relation extraction with multiscale re

141、presentation learning.In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics:Human Language Technologies,Volume 1(Long and Short Papers),pages 36933704,Minneapolis,Minnesota,2019.Jiang et al.,2016 Xiaotian Jiang,Quan Wang,Peng Li,Bin Wang

142、.Relation extraction with multi-instance multi-label convolutional neural networks.In Proceedings of COLING 2016,the 26th International Conference on Computational Linguistics:Technical Papers,pages 14711480,Osaka,Japan,2016.Jiang et al.,2021 Zhengbao Jiang,Jun Araki,Haibo Ding,Graham Neubig.How can

143、 we know when language models know?on the calibration of language models for question answering.Transactions of the Association for Computational Linguistics,9:962977,2021.Katiyar&Cardie,2017 Arzoo Katiyar,Claire Cardie.Going out on a limb:Joint extraction of entity mentions and relations without de

144、pendency trees.In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics(Volume 1:Long Papers),pages 917928,Vancouver,Canada,2017.Li&Ji,2014 Qi Li,Heng Ji.Incremental joint extraction of entity mentions and relations.In ACL(1),pages 402412,2014.Lin et al.,2016 Yankai

145、 Lin,Shiqi Shen,Zhiyuan Liu,Huanbo Luan,Maosong Sun.Neural relation extraction with selective attention over instances.In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics(Volume 1:Long Papers),pages 21242133,Berlin,Germany,2016.Ma et al.,2021 Ruotian Ma,Tao Gui

146、,Linyang Li,Qi Zhang,Xuanjing Huang,Yaqian Zhou.SENT:Sentence-level distant relation extraction via negative training.In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing(Volume 1:Long Pa

147、pers),pages 62016213,Online,2021.Martinez-Rodriguez et al.,2020 Jose L Martinez-Rodriguez,Aidan Hogan,Ivan LopezArevalo.Information extraction meets the semantic web:a survey.Semantic Web,11(2):255335,2020.Miwa&Bansal,2016 Makoto Miwa,Mohit Bansal.End-to-end relation extraction using LSTMs 51 on seq

148、uences and tree structures.In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics(Volume 1:Long Papers),pages 11051116,Berlin,Germany,2016.Miwa&Sasaki,2014 Makoto Miwa,Yutaka Sasaki.Modeling joint entity and relation extraction with table representation.In Proceed

149、ings of the 2014 Conference on Empirical Methods in Natural Language Processing(EMNLP),pages 18581869,Doha,Qatar,2014.Nan et al.,2020 Guoshun Nan,Zhijiang Guo,Ivan Sekulic,Wei Lu.Reasoning with latent structure refinement for document-level relation extraction.In Proceedings of the 58th Annual Meeti

150、ng of the Association for Computational Linguistics,pages 15461557,Online,2020.Nayak&Ng,2020 Tapas Nayak,Hwee Tou Ng.Effective modeling of encoder-decoder architecture for joint entity and relation extraction.Proceedings of the AAAI Conference on Artificial Intelligence,34:85288535,2020.Petroni et a

151、l.,2019 Fabio Petroni,Tim Rocktschel,Sebastian Riedel,Patrick Lewis,Anton Bakhtin,Yuxiang Wu,Alexander Miller.Language models as knowledge bases?In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Pr

152、ocessing(EMNLP-IJCNLP),pages 24632473,Hong Kong,China,2019.Qu et al.,2020 Meng Qu,Tianyu Gao,Louis-Pascal AC Xhonneux,Jian Tang.Few-shot relation extraction via bayesian meta-learning on relation graphs.In International Conference on Machine Learning,2020.Radford et al.,2018 Alec Radford,Karthik Nar

153、asimhan,Tim Salimans,Ilya Sutskever,2018.Improving language understanding by generative pre-training(2018).Roberts et al.,2020 Adam Roberts,Colin Raffel,Noam Shazeer.How much knowledge can you pack into the parameters of a language model?In Proceedings of the 2020 Conference on Empirical Methods in

154、Natural Language Processing(EMNLP),pages 54185426,Online,2020.Song et al.,2018 Linfeng Song,Yue Zhang,Zhiguo Wang,Daniel Gildea.N-ary relation extraction using graph-state LSTM.In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing,pages 22262235,Brussels,Belgium,2

155、018.Sui et al.,2020a Dianbo Sui,Yubo Chen,Kang Liu,Jun Zhao.Distantly supervised relation extraction in federated settings.arXiv preprint arXiv:2008.05049,2020a.Sui et al.,2020b Dianbo Sui,Yubo Chen,Jun Zhao,Yantao Jia,Yuantao Xie,Weijian Sun.Feded:Federated learning via ensemble distillation for me

156、dical relation extraction.In Proceedings of the 52 2020 conference on empirical methods in natural language processing(EMNLP),pages 21182128,2020b.Sui et al.,2021 Dianbo Sui,Chenhao Wang,Yubo Chen,Kang Liu,Jun Zhao,Wei Bi.Set generation networks for end-to-end knowledge base population.In Proceeding

157、s of the 2021 Conference on Empirical Methods in Natural Language Processing,pages 96509660,Online and Punta Cana,Dominican Republic,2021.Takanobu et al.,2019 Ryuichi Takanobu,Tianyang Zhang,Jiexi Liu,Minlie Huang.A hierarchical framework for relation extraction with reinforcement learning.In Procee

158、dings of the Thirty-Third AAAI Conference on Artificial Intelligence and Thirty-First Innovative Applications of Artificial Intelligence Conference and Ninth AAAI Symposium on Educational Advances in Artificial Intelligence,AAAI19/IAAI19/EAAI19,2019.Verga et al.,2021 Pat Verga,Haitian Sun,Livio Bald

159、ini Soares,William Cohen.Adaptable and interpretable neural MemoryOver symbolic knowledge.In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics:Human Language Technologies,pages 36783691,Online,2021.Wan et al.,2021 Hai Wan,Manrong Zhang,

160、Jianfeng Du,Ziling Huang,Yufei Yang,Jeff Z Pan.Fl-msre:A few-shot learning based approach to multimodal social relation extraction.In Proceedings of the AAAI Conference on Artificial Intelligence,volume 35,pages 13916 13923,2021.Wang et al.,2020 Yucheng Wang,Bowen Yu,Yueyang Zhang,Tingwen Liu,Hongso

161、ng Zhu,Limin Sun.TPLinker:Single-stage joint extraction of entities and relations through token pair linking.In Proceedings of the 28th International Conference on Computational Linguistics,pages 15721582,Barcelona,Spain(Online),2020.Wei et al.,2020 Zhepei Wei,Jianlin Su,Yue Wang,Yuan Tian,Yi Chang.

162、A novel cascade binary tagging framework for relational triple extraction.In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics,pages 14761488,Online,2020.Xie et al.,2021 Chenhao Xie,Jiaqing Liang,Jingping Liu,Chengsong Huang,Wenhao Huang,Yanghua Xiao.Revisiting

163、the negative data of distantly supervised relation extraction.In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing(Volume 1:Long Papers),pages 35723581,Online,2021.53 Yang et al.,2019 Kai

164、jia Yang,Liang He,Xin-yu Dai,Shujian Huang,Jiajun Chen.Exploiting noisy data in distant supervision relation classification.In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguis-tics:Human Language Technologies,Volume 1(Long and Short Papers

165、),pages 32163225,Minneapolis,Minnesota,2019.Yao et al.,2021 Yuan Yao,Jiaju Du,Yankai Lin,Peng Li,Zhiyuan Liu,Jie Zhou,Maosong Sun.CodRED:A cross-document relation extraction dataset for acquiring knowledge in the wild.In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Pro

166、cessing,pages 44524472,Online and Punta Cana,Dominican Republic,2021.Yao et al.,2019 Yuan Yao,Deming Ye,Peng Li,Xu Han,Yankai Lin,Zhenghao Liu,Zhiyuan Liu,Lixin Huang,Jie Zhou,Maosong Sun.DocRED:A large-scale document-level relation extraction dataset.In Proceedings of the 57th Annual Meeting of the

167、 Association for Computational Linguistics,pages 764777,Florence,Italy,2019.Ye et al.,2020 Hongbin Ye,Ningyu Zhang,Shumin Deng,Mosha Chen,Chuanqi Tan,Fei Huang,Huajun Chen.Contrastive triple extraction with generative transformer.In Proceedings of the AAAI Conference on Artificial Intelligence,pages

168、 1425714265,2020.Ye&Ling,2019 Zhi-Xiu Ye,Zhen-Hua Ling.Multi-level matching and aggregation network for few-shot relation classification.In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics,pages 28722881,Florence,Italy,2019.Zeng et al.,2015 Daojian Zeng,Kang Li

169、u,Yubo Chen,Jun Zhao.Distant supervision for relation extraction via piecewise convolutional neural networks.In Proceedings of EMNLP,pages 17531762,2015.Zeng et al.,2014 Daojian Zeng,Kang Liu,Siwei Lai,Guangyou Zhou,Jun Zhao.Relation classification via convolutional deep neural network.In Proceeding

170、s of COLING 2014,the 25th international conference on computational linguistics:technical papers,pages 2335 2344,2014.Zeng et al.,2020a Daojian Zeng,Ranran Haoran Zhang,Qianying Liu.Copymtl:Copy mechanism for joint extraction of entities and relations with multi-task learning.Proceedings of the AAAI

171、 Conference on Artificial Intelligence,34:95079514,2020.Zeng et al.,2020b Shuang Zeng,Runxin Xu,Baobao Chang,Lei Li.Double graph based reasoning for document-level relation extraction.In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing(EMNLP),pages 16301640,Onli

172、ne,2020b.Zeng et al.,2018a Xiangrong Zeng,Shizhu He,Kang Liu,Jun Zhao.Large scaled relation 54 extraction with reinforcement learning.In Proceedings of the Thirty-Second AAAI Conference on Artificial Intelligence,(AAAI-18),the 30th innovative Applications of Artificial Intelligence(IAAI-18),and the

173、8th AAAI Symposium on Educational Advances in Artificial Intelligence(EAAI-18),New Orleans,Louisiana,USA,February 2-7,2018,pages 56585665,2018a.Zeng et al.,2018b Xiangrong Zeng,Daojian Zeng,Shizhu He,Kang Liu,Jun Zhao.Extracting relational facts by an end-to-end neural model with copy mechanism.In P

174、roceedings of the 56th Annual Meeting of the Association for Computational Linguistics(Volume 1:Long Papers),pages 506514,Melbourne,Australia,2018b.Zhang et al.,2017 Meishan Zhang,Yue Zhang,Guohong Fu.End-to-end neural relation extraction with global optimization.In Proceedings of the 2017 Conferenc

175、e on Empirical Methods in Natural Language Processing,pages 17301740,Copenhagen,Denmark,2017.Zhang et al.,2020a Ranran Haoran Zhang,Qianying Liu,Aysa Xuemo Fan,Heng Ji,Daojian Zeng,Fei Cheng,Daisuke Kawahara,Sadao Kurohashi.Minimize exposure bias of Seq2Seq models in joint entity and relation extrac

176、tion.In Findings of the Association for Computational Linguistics:EMNLP 2020,pages 236246,Online,2020a.Zhang et al.,2020b Yuanzhe Zhang,Zhongtao Jiang,Tao Zhang,Shiwan Liu,Jiarun Cao,Kang Liu,Shengping Liu,Jun Zhao.MIE:A medical information extractor towards medical dialogues.In Proceedings of the 5

177、8th Annual Meeting of the Association for Computational Linguistics,pages 64606469,Online,2020b.Zhao et al.,2021 Jun Zhao,Tao Gui,Qi Zhang,Yaqian Zhou.A relation-oriented clustering method for open relation extraction.In Proceedings of the 2021 Conference on Empiri-cal Methods in Natural Language Pr

178、ocessing,pages 97079718,Online and Punta Cana,Dominican Republic,2021.Zheng et al.,2017 Suncong Zheng,Feng Wang,Hongyun Bao,Yuexing Hao,Peng Zhou,Bo Xu.Joint extraction of entities and relations based on a novel tagging scheme.In Proceedings of the 55th Annual Meeting of the Association for Computat

179、ional Linguistics(Volume 1:Long Papers),pages 12271236,Vancouver,Canada,2017.Zhong&Chen,2021 Zexuan Zhong,Danqi Chen.A frustratingly easy approach for entity and relation extraction.In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics:H

180、uman Language Technologies,pages 5061,Online,2021.55 Zhou et al.,2021 Wenxuan Zhou,Kevin Huang,Tengyu Ma,Jing Huang.Document-level relation extraction with adaptive thresholding and localized context pooling.In Proceedings of the AAAI Conference on Artificial Intelligence,volume 35,pages 1461214620,

181、2021.56$9&$9&:;(5:;(5 丁效 哈尔滨工业大学 计算学部，哈尔滨 150001!#$%&()*+,&!#$%&()*+,&信息抽取任务随着互联网信息爆炸式的增长越来越凸显其重要性，而事件抽取又是信息抽取中至关重要的一个研究点。它旨在将无结构化文本中人们感兴趣的事件以及事件所涉及到的时间、地点、人物等元素准确地抽取出来并以结构化的形式存储下来，以供自动文摘、人机对话、情感分析、话题检测等自然语言处理上层技术的使用和用户方便的查看。本章重点介绍事件抽取、事件表示学习及事理图谱构建的相关研究工作。1.任务定义任务定义 根据美国国家标准技术研究所组织 ACE（Automatic Co

182、ntent Extraction）的定义Doddington et al.2004，事件由事件触发词（Trigger）和描述事件结构的元素（Argument）构成，因此事件抽取任务主要包括以下两个步骤：（1）事件类型识别：触发词是能够触动事件发生的词，是决定事件类型的最重要特征词。一般情况下，事件类型识别任务需要预先给定待抽取的事件类型。对于每一个检测到的事件还需要给其一个统一的标签以标识出它的事件类型。ACE 2005/2007 定义了 8 种事件类别以及 33 种子类别，如表 1 所示。（2）事件元素识别：事件的元素是指事件的参与者，ACE 为每种类型的事件制定了模板，模板的每个槽值对应着

183、事件的元素。表 1 ACE 事件的类别 Types Subtypes Life Be-Born,Marry,Divorce,Injure,Die Movement Transport Transaction Transfer-Ownership,Transfer-Money Business Start-Org,Merge-Org,Declare-Bankruptcy,End-Org Conflict Attack,Demonstrate Contact Meet,Phone-Write Personnel Start-Position,End-Position,Nominate,Elect

184、Justice Arrest-Jail,Release-Parole,Trial-Hearing,Charge-Indict,Sue,Convict,Sentence,Fine,Execute,Extradite,Acquit,Appeal,Pardon 57 图 1 给出了 ACE 2005 中定义的 Business 大类，Merge-Org 子类事件的一个详细描述的例子，“购并”是这类事件的一个触发词。该事件由三个元素组成，“雅虎公司”、“9 号”、“奇摩网站”分别对应着该类（Business/Merge-Org）事件模板中的三个角色标签，即：Org、Time-Within 以及 Org

185、。图 1“购并”事件的基本组成要素 1）公开评测和数据集）公开评测和数据集 l 国际评测和相关语料资源 最早开始信息抽取评测的是由美国国防高级研究计划委员会资助的 MUC(Message Understanding Conference)会议（19871998）连续举办七届，MUC 会议不仅举办论文宣读，poster 展示等形式的学术交流活动，还额外组织多国参加消息理解评测比赛。正是有了这一会议的大力支持，信息抽取的研究达到了高潮。随后 MUC 会议停办，两年后美国国家标准技术研究所组织 ACE（Automatic Content Extraction）会议，目前该会议已经成功举办八次信息抽取

186、评测（20002008）。值得一提的是，从 ACE 2003 开始引入中文事件抽取的相关评测，至今已经举行了四次评测。但是很可惜，从 ACE 2008 年开始中文事件抽取评测不再是其中的一项评测。这个很可能是因为目前的 ACE 事件抽取语料并不规范且任务过于复杂，很难有大的突破所致。MUC 会议和 ACE 会议定义了信息抽取研究中应有的各项任务，以及对这些任务的性能评测方法。并且还组织大量人力标注语料供参赛者进行训练和测试。每一届 MUC 会议都会针对某个特定的场景提供训练语料和测试语料。在最开始的四届评测中（MUC-1 到 MUC-4）只提供英文语料。随着非英语系国家的加入，MUC 会议逐渐

187、认识到多国语言的重要性，在第五届评测会议（MUC-5）中增加了对日文的评测。作为全世界使用人数最多的汉语未能入选 MUC 会议应该算是一种遗憾，因此第六届评测会议（MUC-6）中增加了中文的评测。从已发表的研究来看，MUC-6 语料使用的最多，一方面是因为中文语料的引入，另一方面也是因为有了前五届的积累，语料的标注愈发正规和成熟。两年后 ACE 会议接力 MUC 会议，继续组织信息抽取的评测。ACE 会议从早期只有英 Org:雅虎公司 Time:9号 Org:奇摩网站 雅虎公司 9号 宣布 购并购并 奇摩 网站。58 语、阿拉伯语和中文的语料发展到现在融合了西班牙语系的评测语料。虽有补充，但每

188、年补充的语料幅度不大，ACE 2005 年的中文评测语料仅有 633 篇文章，共计 30 万词左右。而ACE 2007 语料并没有任何的增加，基本上是沿用 2005 的语料。MUC 会议和 ACE 会议所提供的语料基本上是针对通用领域，还有一些特定域的语料也引起了学术界的重视。卡耐基梅隆大学标注了 485 个电子板报构成的学术报告通知数据集：其中包含报告人、时间、地点等相关信息。国内的北京语言大学也标注了 4 类突发事件（地震、火灾、中毒、恐怖袭击）文本，每类事件标注 20 篇文本，共计 80 篇突发性事件语料。l 评价方法 MUC 会议，对系统总体性能的评价是通过衡量该系统的各个子任务的抽取

189、结果来反映的。MUC 的评价指标总结如下：准确率(Precision，P)、召回率(Recall，R)和 F 值（F-Measure）。F 值是综合考虑准确率和召回率后对系统性能的综合评价指数。具体的准确率、召回率和 F-Measure 计算公式如下面公式（1）、（2）和（3）所示。!1 （2）（3）MUC 会议的评价标准相对而言比较简单、直观、透明、易于理解。ACE 在此基础上采用了基于错误代价的评价策略，对系统的各部分错误赋予一定的权重分值，且不同的错误对应不同的权重分值，然后从最大分值中减去错误的分值。通过对各个子任务分值的叠加得到系统整体性能的分值，因此系统的各个子任务都会影响最后的得

190、分。例如：事件识别与跟踪（VDR，Event Detection and Recognition）的评价体系中，ACE 官方认为事件元素识别的还会对系统的影响最大，因此，赋予，事件元素识别错误的惩罚分值也最高。该评价体系还可以单独看评价当前测试模块的结果，不考虑其他模块的影响。下面介绍一下 ACE 中 VDR 子任务的具体评价方法。（4）其中，VDR_Value即为系统的最终得分，是系统关于事件抽取任务的得分，标注语料给出的总分，起到归一化因子的作用。其中，由公式（5）计算得到。(5)由此可以看出，系统的得分有两部分计算所得，一部分取决于事件属性的识别，另一部P=系统正确抽取结果的数目系统抽取

191、结果的总数R=系统正确抽取结果的数目语料中标注结果的总数2PRF-Measure=P+R_(_)/(_)ijijVDR ValueValue systokenValue reftoken=(_)iiValue systoken(_)jjValue reftoken(_)iValue sys token(_)_(_)_(_)iiiValue sys tokenElement Value sys tokenArguments Value sys token=59 分取决于事件元素的识别，只是这两部分所占最后总分的权重会有所不同。-*+./)123456-*+./)123456 事件知识获取是自然语

192、言处理领域一项非常具有挑战性的工作，当前的研究热点已经不局限于对于句子级事件类型的识别以及元素的抽取，其研究内容变得越来越丰富，包括但不限于篇章级事件抽取、事件表示学习、事件/事理知识库构建、事件预测等研究任务。789:;)*+=789:;)*+=1.事件模式归纳事件模式归纳 通常情况下，事件抽取任务的事件类型以及每种事件类型对应的事件论元角色是预先定义好的，如 ACE（Automatic Content Extraction）2005 评测Doddington et al.2004共包括了8 大类 33 小类事件，每类事件都定义了一定数量的事件论元角色。然而通过人工归纳并定义事件类型及其所含

193、事件论元角色不仅需要各个领域的专家知识，还需要耗费非常大的时间和人力成本。因此，如何自动发现新的事件类型以及定义相应的事件论元角色有着重大的社会价值和巨大的挑战性。本章介绍自动归纳事件类型及事件论元角色的研究，包括任务定义以及相关解决方法。这种任务一般被称为事件模式自动归纳（Event Schema Induction）。1）事件模式自动归纳概述）事件模式自动归纳概述 事件模式自动归纳，简称事件模式归纳（Event Schema Induction），事件模式归纳指从无标注的文本中学习复杂事件及其实体角色的高级表示任务 Chambers 2013。表 2 事件模式实例 事件类型 交通 威胁 句

194、子 1 法庭官员称 2008 年 3 月 18 日梁女士对法官说她被一名不认识的人用 15000 美元雇来向澳大利亚运输海洛因。哥伦比亚政府感到震惊，因为铀是生产大规模毁灭性武器的主要基础。事件 1 运输 震惊 事件 1 元素 不认识的人（施事）澳大利亚（目的地）海洛因（受事）哥伦比亚政府（当事人）句子 2 官方媒体没有确认扎赫丹被绞死的 2 名罪犯的身份，但表示他们犯有运输 5.25 公斤海洛因的罪名。人权组织批评集束炸弹，是因为它们的无差别危害性，而且未爆炸的炸弹对平民构成了类似于地雷的威胁。事件 2 运输 威胁 事件 2 元素 他们（施事）海洛因（受事）炸弹（原因）平民（当事人）60 现

195、有的事件模式自动归纳研究可以分为两大类：模板型事件模式自动归纳和叙述型事件模式自动归纳。模板型事件模式自动归纳主要建模事件的类型及对应的事件论元角色，归纳出的事件模式可用于指导事件抽取；叙述型事件模式主要建模事件之间的关系。本章主要介绍的是模板型事件模式自动归纳。狭义上讲，模板型事件模式即描述某类事件的通用模板，包括该类事件的事件类型及其对应的事件论元角色。例如，对于“选举”事件的事件模式来说，事件类型为“选举”，相应的事件论元角色包括：“日期”、“地点”、“胜者”、“败者”、“职位”。事件模式中的事件类型名称及事件论元角色名称是人为定义，然而新闻中关于事件的描述往往并不包含具体的事件类型名称

196、及事件论元角色名称，由新闻文本直接精确归纳出这些名称较为困难，但新闻中往往会包含可以描述事件类型及事件论元角色的隐含信息，如语料中与事件相关的动词集合可以描述事件类型，事件论元对应的实体集合及其上下文中的语义句法信息等可以描述事件论元角色。因此，目前学术界在事件模式归纳研究中对事件模式的定义并不是简单的“事件类型名称+事件论元角色名称”的形式，而是“事件类型表示+事件论元角色表示”的形式。具体的，事件类型的表示形式主要包括：事件类型对应的事件触发词集合、事件类型的隐向量表示等；事件论元角色的表示形式主要包括：事件论元角色对应的实体集合、事件论元角色语义语法表达式、事件论元角色的隐向量表示等。目

197、前，事件模式自动归纳仍然是一个极具挑战性的任务。归纳得到的事件模式与一些自然语言处理研究有很多关联，如框架（Frame）、脚本（Script）以及信息抽取（Information Extraction）等。此外，事件模式还可以帮助事件抽取任务定义待抽取的事件类型和相应的事件论元角色集合，以及作为技术基础来辅助构建以结构化事件为节点的事理图谱。自动归纳的事件模式可以无需大量领域专家知识以及不需要耗费大量的人力物力，从文字信息中自动归纳得到若干包括事件类型及相应的事件论元角色集合的事件模式，如表 2 所示，相比于人工构建事件模式，自动归纳的事件模式能快速地迁移到新领域。（1）基于概率图的事件模式归

198、纳 概率图模型（Probabilistic Graphical Model）是指利用图表达概率相关关系的一类模型方法来表示模型相关的一些变量的联合概率分布，是一种比较通用的对于不确定性知识的表示和处理方法，贝叶斯网络、马尔科夫模型、主题模型等基于概率图的方法也应用于各种自然语言处理问题中。概率图模型的研究方法基于端到端的概率模型，可以对隐含的事件结构进行建模，将事件类型及事件论元角色建模并表示为概率模型的隐变量，进一步对事件类型的隐含表示进行较好的建模可以得出不同类型事件的聚类。在解决事件模式归纳任务时，很多学者借鉴了主题模型的方法，加以利用和改进后应用到这一任务上。主题模型（Topic Mo

199、del），61 是以无监督学习的方式对文章的隐含语义结构进行聚类的统计方法，其常被用于文本收集、文本分类与聚类、降维等研究中，其中，隐含狄利克雷分布（Latent Dirichlet Allocation，LDA）是一种常见的主题模型。图 2 隐含狄利克雷分布的图模型表示 主题模型主要探索语料中主题与词分布的关系，隐含狄利克雷分布采用贝叶斯流派的思想，认为模型中需要估计的参数即主题分布以及词分布不是常数，而是服从狄利克雷分布的随机变量，在观测语料库中的样本后再对先验的狄利克雷先验分布的参数加以修正进而得到后验分布，图 2 展示的是隐含狄利克雷分布的图模型表示。整个语料库的生成过程可以看为对语料

200、库中的每一篇文档获取到主题分布和词分布，然后从主题分布和词分布中对主题和词进行采样，隐含狄利克雷分布方法需要求得主题分布和词分布的期望，所以可以通过吉布斯采样等方法不断迭代计算获得主题分布和词分布的期望值。在给定主题数量这个超参数的前提下，主题模型背景下的文档聚类可以很好地根据文章主题将文档分成不同的类型。简单来说，主题模型假设语料库中每个文档的主题服从一定的分布，而对于每个主题，每个词语也服从一定的分布，因而可以通过文章中词语出现的概率计算其属于某种主题的概率。类似地，对于事件模式，可以类比认为语料库中文本所包含的事件类型也服从一定的分布，每个事件类型中，每个事件论元同样服从一定的分布，由此

201、，事件模式归纳任务可以看为对事件类型、事件论元词等分布的期望计算过程。受启发于上述主题模型，Chambers 等人 Chambers&Jurafsky 2011 在 2011 年尝试将朴素的隐含狄利克雷分布方法用于聚类事件，尽管在其研究工作中证明基于词汇距离的层次聚类在聚合事件的效果上会更佳，但这种尝试为事件模式归纳工作打开了思路。而后，2013年 Cheung 等人Cheung et al.2013将隐马尔科夫模型引入框架归纳（frame induction）研究工作，将框架、事件、事件参与者看做隐变量并学习其中的转移过程。同年，Chambers Chambers 2013首次将基于概率图生

202、成模型的方法应用于事件模式归纳，通过实体的共指将 62 事件论元链条化，并同时考虑语料中词汇的词法与句法关系，使生成模型首先选择谓词而后预测其他的事件论元，实现了比隐马尔科夫更好的性能并且只需要更少的训练数据，但是其上述工作，只采用了实体的核心词（head word）来代表实体，然而忽略了同样会传递重要信息的对实体修饰限制的形容词等词，所以 Nguyen 等人 Nguyen et al.2015 在其 2015 年的工作中认为，前人工作仅仅依靠实体核心词进行事件类型或事件论元角色聚类的方法会导致一些语义不明确的词汇所对应类型难以区分，如“士兵”在“袭击”事件中，可能存在“士兵”是施事者也有可能

203、是受事者的上下文，因此引入实体核心词周围的上下文来实现对实体的消歧。近年来，深度神经网络的广泛应用也同样吸引了事件模式归纳工作的学者，Liu 等人 Liu et al.2019 在 2019 年将基于神经网络的方法引入概率图模型，利用预训练语言模型和神经变分推断，并同时考量了新闻数据集中天然存在的冗余报道，提升了事件模式自动归纳的连贯性和模式匹配指标。（2）基于表示学习的事件模式归纳 上一节介绍了基于概率图模型的事件模式自动归纳方法，在聚合同类事件时除了基于概率图的类主题模型方法外，在深度学习被广泛应用的当下，神经网络拥有强大的表示能力，可以表示任意的文本。因此，通过神经网络可以对词语、事件或

204、文本进行稠密的向量表示，基于词语、事件或文本等的表示可以实现事件类型和事件论元角色的聚类（自动归纳）。在向量化表示前，早期的一些研究基于词语共现的统计学方法，例如在2013年Balasubramanian等人 Balasubramanian et al.2013 通过 Open IEv5 工具抽取得到关系三元组（元素 1，关系，元素 2）并通过共现统计得到事件模式。在向量化表示被提出后，自然语言的向量化表示在比较文本之间的相似度、计算文本间的相关性的效果上相比独热编码（One-hot Vector）有着显著提升，而对于聚类同类事件，将事件和事件论元通过向量表示后计算事件或者是事件论元之间的相似

205、度是很直观的想法，同时，同一事件中的各种论元在这一事件中共现，不同事件中同一论元也可能多次存在，因此，所有论元作为节点，若在同一事件共现则可形成节点间的边，进而可以组成一张图，如对上述图结构进行分割，每个分割后结构可视为一个事件模式，在这样的思路下，Sha 等人 Sha et al.2016 于 2016 年借用图像分割的归一化分割的方法实现对事件论元节点的聚类，此外模型通过词嵌入以及点互信息计算实体间的内部相关性，并通过句中的存在性约束同时抽取模式和槽信息。在自然语言处理的多年发展过程中，语言学家等领域专家对自然语言建立了相对完备的知识库，如 FrameNet、PropBank 等，其中包括

206、了谓词的各种语义角色信息，Huang 等人 Huang et al.2016 也在 2016 年利用流水线式的方法结合上述外部知识库和自然语言处理工具等，实现触发词与事件论元的联合聚类，并通过距离度量选择中心词作为事件类型名并从外部信息中选择事件论元角色名。63（3）事件图模式归纳 图 3 事件图模式归纳 事件图模式是在 2020 年由 Li 等人 Li et al.2020 提出的一个新研究任务，既往的事件模式归纳仅仅关心同一个事件类型下的事件模式，然而在实际的文字信息尤其是新闻信息会包括多于一种类型的事件，而同篇文章中的不同类型的事件会共享一些事件论元，事件图模式即针对两种事件类型构建一篇

207、文档的事件模式路径的有向无环图，图中存在两个事件类型节点和若干事件论元节点，两事件类型节点分别指向其事件中存在的事件论元节点，事件论元节点之间通过一些关系连接，继而从一个事件类型节点出发，到另一个事件类型节点停止，可以得到若干路径。如图 3 所示，(a)和(b)是两个事件实例图，是分别从两个不同的文档中获取到的，每个图都包含了 2 个类型的事件：“运输”和“攻击”，每个事件都有一系列的事件论元角色以及对应的值，例如“攻击”事件的论元角色“武器”的值是“坦克”。由于“运输”类型事件和“攻击”类型的事件在同一篇文章中会有事件论元的联系，比如“运输”事件的目的地是“攻击”事件的目标，所以两个事件类型

208、会形成一个有向无环图的结构，通过“运输”事件类型和“攻击”事件类型组成的多个图，希望能归纳出一个(c)所示的事件图模式，事件图模式中包含了 2 种事件类型以及它们的事件论元角色。Li 等人Li et al.2020首先使用现有的信息抽取工具或者是人工标注的方式，得到实体、实体间的关系，事件以及事件论元，进行实例图的构建，然后经过处理得到显著的且连贯的路径，接着训练一个路径语言模型(Path Language Model)实现对某一路径进行打分，某一路径的得分构成是自身得分和邻居路径得分的加权，最后对于两个不同的事件类型，他们选取路径得分前 K%的路径来构成两个事件类型之间的图模式。Li 等人

209、Li et al.2021 在 2021 年进一步提出时间复杂事件模式(Temporal Complex Event Schema)的新概念：一种基于图的模式表示，!#$%(Graph SchemaInduction)&()!(EventInstanceGraphs)!(PER)!(troops)#$#$(Transport)#$(deploy)%&%&(Attack)%&(attack)(WEA)(tank)*)*(FAC)*+,-.(Sevastopol)+,-./0+,-./0(GPE)/(0(Ukraine)+,-./0+,-./0(GPE)12+(Russia)345(destina

210、tion)67-89(part-whole)3:(target);?(agent)A(origin)%&?(attacker)BC(affiliation)D9(artifact)D9(artifact)#$#$(Transport)EF(carry)!(PER)GH?(protesters)%&%&(Attack)&I(hit)!(PER)JK(police)+,-./0+,-./0(GPE)LM(Kyiv)(WEA)NO(stone)+,-./0+,-./0(GPE)/(0(Ukraine)*)*(FAC)PQRS(MaidenSquare)345(destination)TU(locat

211、ed_in)%&?(attacker);(instrument)TV(place)3:(target)67-89(part-whole)67-89(part-whole)67-89(part-whole)TU(located_in)#$#$(Transport)*)*(FAC)!(PER)%&%&(Attack)(WEA)+,-./0+,-./0(GPE)+1+1(LOC)2323(ORG)D9(artifact)%&?(attacker);?(?胡伟1,漆桂林2 1.南京大学 计算机软件新技术国家重点实验室，南京 210023 2.东南大学 计算机科学与工程学院，南京 211189!#$%&

212、()*+,&#$%&()*+,&知识图谱以符号化的方式描述真实世界中的实体及其属性和相互关系，并将它们组织成事实三元组的结构。时至今日，知识图谱已成为各类知识驱动人工智能方法的重要资源，涵盖了包括社交网络、生物医学、地理信息、电子商务、电影音乐等众多领域，支撑语义搜索、智能问答、推荐系统、大数据分析等智能应用。知识图谱可能由不同的机构和个人构建，同时，构建知识图谱的数据可能有各种来源，导致不同的知识图谱之间存在多样性和异构性。例如，对于不同的相关领域（甚至是相同领域），通常会存在多个不同的实体指称真实世界中的相同事物。知识融合旨在将不同知识图谱融合为一个统一、一致、简洁的形式，为使用不同知识图

213、谱的应用间的交互建立互操作性。知识融合常见的研究内容包括：本体匹配（也称为本体映射）、实体对齐（也称为实例匹配、实体消解）、真值发现（也称为真值推断）以及实体链接等，面临的核心挑战主要包括大规模、异构性、低资源等问题。知识融合是知识图谱研究中的一个核心问题。知识融合研究有助于提升基于知识图谱的信息服务水平和智能化程度，推动人工智能、自然语言处理、语义网、数据库等相关领域的技术进步，具有重要的理论价值和广泛的应用前景，可以创造巨大的社会和经济效益。-*+./)123456*+./)123456 图 1 展示了一个知识融合的常见流程，下面将分别概述主要研究内容和近期发展趋势。图 1 知识融合的常见

214、流程 输入知识图谱预处理配置本体匹配输出结果外部资源人机交互实体对齐真值发现实体链接匹配 83 l 预处理主要包括预先对输入的知识图谱进行清洗和后续步骤的准备。清洗主要为了解决输入的质量问题，而后续步骤的准备通常使用分块（blocking）技术，通过对索引的设计，可以避免在匹配环节达到知识图谱规模的平方级复杂度。这里的一个关键问题是对分块大小和数量的权衡，在尽量不丢失可能结果的情况下使分块尽可能的小。l 根据匹配对象的不同，匹配一般分为本体匹配、实体对齐以及实体链接等方面。本体匹配侧重发现知识图谱模式层的等价或相似的类、属性或关系，实体对齐侧重发现指称真实世界相同个体的实例，而实体链接则将自然

215、语言文本中的实体提及（mention）链接到知识图谱中的实体节点。如何从语义上消解对象之间的异构性是匹配环节待解决的关键科学问题。l 在匹配的基础上，真值推断的主要目标是从不一致的数据中推测出真值，以实现多源异构知识的关联与合并，最终形成一个一致的结果。研究的关键在于如何综合判断数据源的可靠性和数据值的可信度。7789:;)*+=89:;)*+89?89?在过去的几年里，表示学习技术被广泛运用于知识融合相关研究，未来可能的研究方向包括：l 预训练语言模型在自然语言处理领域中取得了巨大成功。受此启发，针对大规模知识图谱进行预训练成为了未来的一个潜在研究方向，预训练得到的知识同样可以迁移至下游诸多

216、任务。例如在实体对齐中，大规模知识图谱的表示学习可以得到实体的通用知识信息，一定程度缓解了下游实体对齐中知识不充分的问题，如实体缺失部分模态信息。同样地，在多语言实体链接中，预训练得到的高资源语言知识可以间接帮助低资源语言的实体链接。然而相关技术的探索也存在一定挑战，例如如何利用知识融合技术对异构的知识图谱进行融合从而在更大规模的知识图谱上开展预训练很值得研究。l 知识融合的研究问题近年来也有了一些新设定。例如，知识可能会随着时间变化，未来的工作可以考虑面向流式数据的动态实体对齐和真值发现技术，得到更多准确的事实，用来补充动态知识图谱。又如，也可以考虑利用动态知识图谱表示学习技术为动态真值发现

217、提供真值的先验知识，以提高真值发现的准确性。92 l 在评测数据集方面，现有的研究工作主要基于一些小规模数据集进行评测，比如实体对齐的 DBP15K 数据集、实体链接的 TAC KBP 数据集等。然而，这些数据集的构建已有一段时间，已经显现出一定的滞后性；同时数据集的规模较小，覆盖面较窄，与真实世界存在一定的差别。因此，未来需要考虑如何结合现阶段的研究进展，针对诸如多模态实体对齐、复杂事实真值推断、跨语言实体链接等新任务，开发出规模更大、质量更高的大规模评测数据集，从而更专业、更全面地评测知识融合领域的工作。参考文献参考文献 Akbik et al.,2018 Alan Akbik,Dunca

218、n Blythe,Roland Vollgraf.Contextual string embeddings for sequence labeling.In:COLING,1638-1649,2018 Aydin et al.,2014 Bahadir Ismail Aydin,Yavuz Selim Yilmaz,Yaliang Li,Qi Li,Jing Gao,Murat Demirbas.Crowdsourcing for multiple-choice question answering.In:AAAI,2946-2953,2014 Cao et al.,2020 Ermei Ca

219、o,Difeng Wang,Jiacheng Huang,Wei Hu.Open knowledge enrichment for long-tail entities.In:WWW,384-394,2020 Ceccarelli et al.,2013 Diego Ceccarelli,Claudio Lucchese,Raffaele Perego,Salvatore Orlando,Salvatore Trani.Dexter:An open source framework for entity linking.In:ESAIR,17-20,2013 Chai et al.,2018

220、Chengliang Chai,Guoliang Li,Jian Li,Dong Deng,Jianhua Feng.A partial-order-based framework for cost-effective crowdsourced entity resolution.Proceedings of the VLDB Endowment,27(6):745-770,2018 Chen et al.,2020 Liyi Chen,Zhi Li,Yijun Wang,Tong Xu,Zhefeng Wang,Enhong Chen.MMEA:Entity alignment for mu

221、lti-modal knowledge graph.In:KSEM,134-147,2020 Chen et al.,2021 Jiaoyan Chen,Ernesto Jimnez-Ruiz,Ian Horrocks,Denvar Antonyrajah,Ali Hadian,Jaehun Lee.Augmenting ontology alignment by semantic embedding and distant supervision.In:ESWC,392-408,2021 Dong et al.,2009 Xin Luna Dong,Laure Berti-Equille,D

222、ivesh Srivastava.Integrating conflicting data:The role of source dependence.Proceedings of the VLDB Endowment,2(1):550-561,2009 Euzenat&Shvaiko,2013 Jrme EuzenatPavel Shvaiko.Ontology matching.Springer,2013 Ferragina&Scaiella,2010 Paolo Ferragina,Ugo Scaiella.TAGME:On-the-fly annotation of short tex

223、t fragments(by wikipedia Entities).In:CIKM,1625-1628,2010 Hu&Qu,2008 Wei Hu,Yuzhong Qu.Falcon-AO:A pratical ontology matching system.Journal 93 of Web Semantics,6(3):237-239,2008 Huang et al.,2020 Jiacheng Huang,Wei Hu,Zhifeng Bao,Yuzhong Qu.Crowdsourced collective entity resolution with relational

224、match propagation.In:ICDE,37-48,2020.Jimnez-Ruiz&Grau,2011 Ernesto Jimnez-Ruiz,Bernardo Cuenca Grau.LogMap:Logic-based and scalable ontology matching.In:ISWC,273-288,2011 Kasai et al.,2019 Jungo Kasai,Kun Qian,Sairam Gurajada,Yunyao Li,Lucian Popa.Low-resource deep entity resolution with transfer an

225、d active learning.In:ACL,5851-5861,2019 Li et al.,2008 Juanzi Li,Jie Tang,Yi Li,Qiong Luo.RiMOM:A dynamic multistrategy ontology alignment framework.IEEE Transactions on Knowledge and Data Engineering,21(8):1218-1232,2008 Li et al.,2014a Qi Li,Yaliang Li,Jing Gao,Lu Su,Bo Zhao,Murat Demirbas,Wei Fan

226、,Jiawei Han.A confidence-aware approach for truth discovery on long-tail data.Proceedings of the VLDB Endowment,8(4):425-436,2014 Li et al.,2014b Qi Li,Yaliang Li,Jing Gao,Bo Zhao,Wei Fan,Jiawei Han.Resolving conflicts in heterogeneous data by truth discovery and source reliability estimation.In:SIG

227、MOD,1187-1198,2014 Li et al.,2015 Yaliang Li,Jing Gao,Chuishi Meng,Qi Li,Lu Su,Bo Zhao,Wei Fan,Jiawei Han.A survey of truth discovery.ACM SIGKDD Explorations Newsletter,17(2):1-16,2015 Liu et al.,2021a Bing Liu,Harrisen Scells,Guido Zuccon,Wen Hua,Genghong Zhao.ActiveEA:Active learning for neural en

228、tity alignment.In:EMNLP,3364-3374,2021 Liu et al.,2021b Fangyu Liu,Muhao Chen,Dan Roth,Nigel Collier.Visual pivoting for(unsupervised)entity alignment.In:AAAI,4257-4266,2021 Liu et al.,2021c Jiacheng Liu,Feilong Tang,Jielong Huang.Truth inference with bipartite attention graph neural network from a

229、comprehensive view.In:ICME,1-6,2021 Liu et al.,2022 Xiao Liu,Haoyun Hong,Xinghao Wang,Zeyi Chen,Evgeny Kharlamov,Yuxiao Dong,Jie Tang.SelfKG:Self-supervised entity alignment in knowledge graphs.In:WWW,860-870,2022 Lyu et al.,2019 Shanshan Lyu,Wentao Ouyang,Yongqing Wang,Huawei Shen,Xueqi Cheng.Truth

230、 discovery by claim and source embedding.IEEE Transactions on Knowledge and Data Engineering,33(3):1264-1275,2019 Mao et al.,2021 Xin Mao,Wenting Wang,Yuanbin Wu,Man Lan.Boosting the speed of entity 94 alignment 10:Dual attention matching network with normalized hard sample mining.In:WWW,821-832,202

231、1 Pasternack&Roth,2010 Jeff Pasternack,Dan Roth.Knowing what to believe(when you already know something).In:COLING,877-885,2010 Pasternack&Roth,2013 Jeff Pasternack,Dan Roth.Latent credibility analysis.In:WWW,1009-1020,2013 Ravi et al.,2021 Manoj Prabhakar Kannan Ravi,Kuldeep Singh,Isaiah Onando Mul

232、ang,Saeedeh Shekarpour,Johannes Hoffart,Jens Lehmann.CHOLAN:A modular approach for neural entity linking on Wikipedia and Wikidata.In:EACL,504-514,2021 Sakor et al.,2019 Ahmad Sakor,Isaiah Onando Mulang,Kuldeep Singh,Saeedeh Shekarpour,Maria Esther Vidal,Jens Lehmann,Sren Auer.Old is gold:Linguistic

233、 driven approach for entity and relation linking of short text.In:NAACL,2336-2346,2019 Shen et al.,2014 Wei Shen,Jianyong Wang,Jiawei Han.Entity Linking with a knowledge base:Issues,techniques,and solutions.IEEE Transactions on Knowledge and Data Engineering,27(2):443-460,2014 Sun et al.,2020 Zequn

234、Sun,Qingheng Zhang,Wei Hu,Chengming Wang,Muhao Chen,Farahnaz Akrami,Chengkai Li.A benchmarking study of embedding-based entity alignment for knowledge graphs.Proceedings of the VLDB Endowment,13(11):2326-2340,2020 Sun et al.,2021 Zequn Sun,Muhao Chen,Wei Hu.Knowing the no-match:Entity alignment with

235、 dangling cases.In:ACL,3582-3593,2021 Usbeck et al.,2014 Ricardo Usbeck,Axel-Cyrille Ngonga Ngomo,Michael Rder,Daniel Gerber,Sandro Athaide Coelho,Sren Auer,Andreas Both.AGDISTIS-Graph-based disambiguation of named entities using linked data.In:ISWC,457-471,2014 van Hulst et al.,2020 Johannes M.van

236、Hulst,Faegheh Hasibi,Koen Dercksen,Krisztian Balog,Arjen P.de Vries.REL:An entity linker standing on the shoulders of giants.In:SIGIR,2197-2200,2020 Wu et al.,2020 Ledell Wu,Fabio Petroni,Martin Josifoski,Sebastian Riedel,Luke Zettlemoyer.Scalable zero-shot entity linking with dense entity retrieval

237、.In:EMNLP,6397-6407,2020 Xu et al.,2021 Chengjin Xu,Fenglong Su,Jens Lehmann.Time-aware graph neural network for entity alignment between temporal knowledge graphs.In:EMNLP,8999-9010,2021 Yan et al.,2021 Yuchen Yan,Lihui Liu,Yikun Ban,Baoyu Jing,Hanghang Tong.Dynamic 95 knowledge graph alignment.In:

238、AAAI,4564-4572,2021 Yang et al.,2019a Hsiu-Wei Yang,Yanyan Zou,Peng Shi,Wei Lu,Jimmy Lin,Xu Sun.Aligning cross-lingual entities with multi-aspect information.In:EMNLP,4430-4440,2019 Yang et al.,2019b Xiyuan Yang,Xiaotao Gu,Sheng Lin,Siliang Tang,Yueting Zhuang,Fei Wu,Zhigang Chen,Guoping Hu,Xiang Re

239、n.Learning dynamic context augmentation for global entity linking.In:EMNLP-IJCNLP,271-281,2019 Yin et al.,2008 Xiaoxin Yin,Jiawei Han,Philip S.Yu.Truth discovery with multiple conflicting information providers on the Web.IEEE Transactions on Knowledge and Data Engineering,20(6):796-808,2008 Zeng et

240、al.,2021 Weixin Zeng,Xiang Zhao,Jiuyang Tang,Changjun Fan.Reinforced active entity alignment.In:CIKM,2477-2486,2021 Zhang et al.,2022 Wenzheng Zhang,Wenyue Hua,Karl Stratos.EntQA:Entity linking as question answering.In:ICLR,2022 Zhao et al.,2020 Xiang Zhao,Weixin Zeng,Jiuyang Tang,Wei Wang,Fabian Su

241、chanek.An experimental study of state-of-the-art entity alignment approaches.IEEE Transactions on Knowledge and Data Engineering,early access,2020 Zhi et al.,2018 Shi Zhi,Fan Yang,Zheyi Zhu,Qi Li,Zhaoran Wang,Jiawei Han.Dynamic truth discovery on numerical data.In:ICDM,817-826,2018 96$&$&(AB(AB 张小旺1

242、、李炜卓2、张文3、漆桂林4 1.天津大学 智能与计算学部，天津市 300350 2.南京邮电大学 现代邮政学院，江苏省 南京市 210003 3.浙江大学 软件学院，浙江省 宁波市 315048 4.东南大学 计算机科学与工程学院，江苏省 南京市 211189!#$%&()*+K,&#$%&()*+K,&知识图谱推理在每个知识图谱的发展演变过程中有重要的作用。随着知识图谱研究的深入，人们发现图谱在实际应用中仍存在两类主要的问题：一类是知识图谱的不完备性问题，即知识图谱中有些关系会缺失或者有些属性缺少值，比如说一个人的职业信息缺失。这类问题可能是因为构建知识图谱的数据本身就是不完备的，也可能是

243、信息抽取算法无法识别到一些关系或者抽取到属性值。另一类则是知识图谱中存在噪声问题，即错误的事实声明，比如人物知识图谱中可能包含错误的人物关系。这类问题可能是因为构建知识图谱的数据存在错误，也可能是因为知识图谱构建时采用了基于统计的方法，而统计方法很难保证学习的知识是绝对正确的。这两类问题对于智能问答等应用有较大影响，对于问答来说，前者会导致提出的问题没有答案,而后者会导致系统给出的答案是错误的。知识图谱之所以被认为是实现人工智能的一个重要研究方向，是因为知识图谱上的推理使之能够支撑人工智能的很多应用，而这也是知识图谱区别于传统关系数据模型的关键所在。知识图谱推理指的是从给定知识图谱推导出新知识

244、或者检测知识图谱的逻辑冲突。它的核心技术手段主要可分为两大类，即：演绎系列，如：基于描述逻辑语言、逻辑规则的符号推理；归纳系列，如：基于嵌入表示学习、规则学习的统计推理。基于符号的推理技术被广泛用于生物医学中术语定义和概念分类、电商数据的不一致检测和查询重写等应用，有助于消除知识图谱中的噪声。基于统计的推理技术则对知识图谱进行补全，有效地缓解知识图谱中存在的不完备问题。近期研究表明，两类技术的相互融合可以有效地提升知识图谱推理方法的鲁棒性、可迁移性、可解释性、可应用性等，进一步支持智能问答等图谱应用。97-89A?LM)N?89A?LM)N?1.基础知识基础知识 描述逻辑描述逻辑：描述逻辑（D

245、escription logics,简称 DLs）是一类被广泛研究和应用于知识表示和推理的逻辑。DLs 是标准 Web 本体语言 OWL 和 OWL 2 的基础。在 DLs 中，域中的元素被编译成概念(对应于一阶语言中的一元谓词)，它们的属性通过角色的方式被结构化(对应于一阶语言中的二元谓词)。复杂的概念和角色表达式由原子概念名和原子角色名组成。这些名称由合适的构造符连接起来。可用构造符的集合取决于特定描述逻辑的语义。描述逻辑包含的构造符越丰富，描述逻辑可以捕获的语义就越复杂。描述逻辑知识库由 TBox()和 ABox()组成。TBox 由一系列公理组成，描述概念和角色间的包含关系。TBox

246、的语义受构造符的影响。在 ABox 中，可以表达对象的概念和对象间的角色关系1。逻辑规则逻辑规则：逻辑规则的形式是 H B1 B2.Bn其中，H 代表规则的头部（Rule Head），B1B2.Bn是规则的体（Rule Body），它是带有原子（atom）的合取范式。一种典型的逻辑规则是路径规则，其中规则的体是从规则的头部的头变量到尾部变量的路径；比如 r(X，Z)r1(X，Y)r2(Y，Z)是以从变量 X 到 Z 的路径为主体的路径规则，这里规则体中原子数量也称为规则的长度。在知识推理中，我们熟知的三元组(h,r,t)均可以转换为规则原子实例化后的形式即 r(h,t)用于激活规则来进行推理。

247、2.研究内容研究内容 1）基于本体物化的推理）基于本体物化的推理 本体物化算法是一种基于前向链的本体推理算法。物化算法根据本体对原始数据集进行演绎推理，将隐含的本体信息表达为显式推理得到的新知识，扩充原始输入数据集。本体物化的目标是使用高表达性的本体语言尽可能地丰富原有数据集，从而在后续基于本体的查询问答技术中得到更完整的答案。不同的本体语言，如 OWL，相较于 RDFS 等语言拥有更强的知识表达能力，更适合于复杂域的描述。因为知识表达语言的表达能力不同，导致基于不同语言的物化算法的物化效率不同。一般地，随着语言表达能力的增强，物化的时间复杂度会显著增加，因此如何在完备性与高效率之间达到平衡是

248、目前面临的较大挑战；除此之外，当本体中表达循环依赖关系时，1 对于一个知识图谱的而言，可以将其数据分为术语层 TBox 和实例层 ABox，其中术语层(Schema)包含了当前知识图谱中的概念层次以及关系约束等抽象知识，用于指导实例层数据的构建，实例层包含了描述了用三元组表示的实体和实体之间关系，其中实体则对应概念的实例。98 基于物化算法计算得到的 RDF 数据集可能是无穷的。查询改写Calvanese et al.2017通过使用虚拟 RDF 图谱技术来避免无穷物化，但是查询重写方法需要线上的查询改写时间，并且查询改写中的映射输入需要人工干预；gOWLMeng et al.2018提出了一

249、种部分物化方法避免无穷物化。但 gOWL 只解决不包含循环结构的非布尔合取查询，不支持实际应用中广泛存在的布尔查询和循环查询,并且具有较高的时间和空间复杂度。因此如何提出高效的物化算法来处理无穷物化问题也是一个较大的挑战。2）基于神经网络和本体表示学习的知识推理）基于神经网络和本体表示学习的知识推理 基于神经网络和本体表示学习的知识图谱可以分为作用于实例层的神经网络推理以及作用于本体层的本体表示学习推理，其中基于神经网络的推理又可分为基于图神经网络的知识图谱推理以及基于知识图谱嵌入和预训练的推理。下面简单介绍一下这三类研究技术的问题定义：l 基于知识图谱嵌入与预训练的推理：给定知识图谱的实例层

250、=,，其中,和分别表示实体、关系和三元组的集合，知识图谱嵌入与预训练的目标是通过学习实体和关系嵌入矩阵和，通过设定的打分函数对三元组进行真值打分，同时使得和在向量空间中捕捉潜在的不同实体和关系之间的相似性和逻辑蕴含性。知识图谱嵌入方法多用于知识图谱补全，而预训练方法则多用于知识图谱相关的下游任务 l 基于图神经网络的知识图谱推理：给定一个三元组(,)以及实体的邻居信息-/.，基于图神经网络的知识图谱推理方法通过聚合函数基于实体的邻居信息得到实体的表示/，然后基于聚合得到的实体表示和关系表示，通过打分函数对当前的三元组进行真值打分，从而完成对未知三元组的真值判断。由于考虑了实体周围的邻居信息，基

251、于图神经网络的推理方法比基于嵌入和预训练的方法往往具有更好的可解释性潜力。l 基于本体表示学习的知识图谱推理：给定知识图谱的实例层和术语层，可以表示为一个本体=,，本体表示学习对本体中包含的概念、关系、属性等进行表示学习，使得表示学习结果不仅需要满足 ABox 中的三元组真值判断，还满足 TBox 中定义的该概念层次以及公理约束。因此本体表示学习方法的逻辑表达能力要求比基于嵌入和预训练的推理方法以及基于图神经网络的推理方法更高。3）基于符号逻辑与嵌入表示的混合推理）基于符号逻辑与嵌入表示的混合推理 符号逻辑推理与嵌入表示推理一直是知识图谱推理的主流技术。前者将问题形式化为语义框架，通过一些预定

252、义的规则推出图谱中潜在的知识，后者则设计合适的统计模型来适配 99 已有的数据，通过训练得到的参数模型来预测出知识图谱中实体之间的潜在关系。两者在实际的知识图谱应用中各具优缺点。符号逻辑推理依赖于规则和本体这类难获取的知识，嵌入表示推理这种数据驱动的方法无法得到精确的预测同时无法提供良好的解释。为此，基于知识图谱的混合推理应运而生，致力于让两种方法优势互补Li et al.,2020 Chen et al.,2020 Zhang et al.,2022。本节将基于知识图谱混合推理的研究技术大致分为以下三类:l 嵌入表示模型中融入逻辑规则的混合推理：这类方法是将符号知识（如：规则、路径等）约束融

253、入到嵌入表示模型中，以此来增强嵌入表示模型在知识图谱中推理的效果。l 逻辑推理中融入嵌入表示的混合推理：这类方法是将嵌入模型训练得到的实体与关系向量表示应用到符号推理过程中，将符号推理的过程进行“软化”，以此来缓解知识图谱自身不完备所导致的推理链中断问题。l 其他知识图谱混合推理：这类方法主要汇总了多跳推理(Multi-hop reasoning)、模式归纳(Schematic induction)、流推理(Streaming reasoning)等相关混合推理技术，它们更多是将广义符号推理与统计推理的方法进行融合，为下游任务提高性能的同时，也为推理结果提供有效的解释。不同的符号逻辑推理方法与

254、嵌入表示推理方法在近年来的知识图谱推理发展中呈逐渐融合的趋势。而基于知识图谱的符号推理主要采用的是开放世界假设，而嵌入表示推理的方法则主要是依赖（半）封闭世界假设。如何在保证方法融合过程中精度提升的同时，使其具备更好的鲁棒性、可迁移性、可解释性则是当下知识图谱混合推理的重要挑战。7789:;)*+=89:;)*+=1.基于本体物化的推理基于本体物化的推理 1）基于）基于部分物化算法的查询问答系统部分物化算法的查询问答系统-SUMA 部分物化算法是一种为了解决物化算法中结果可能无穷尽的问题，通过计算多步通用模型得到有穷尽结果集的本体推理算法。但是，部分物化算法限制查询必须包含自由变量并且不能包含

255、循环结构，因此不能支持包含循环结构的根查询和不包含自由变量的布尔查询。然而，根查询和布尔查询对于查询图中的循环结构和可满足性十分重要。Qin 等人Qin et al.2021提出了一种基于查询分析算法的扩展部分物化算法。该扩展部分物化算法能在DL Lite-/013中可靠完备地支持根合取查询和包含循环结构或者叉形结构的布尔合取查询。另外，该工作还通过应用改写和近似技术可靠地扩展部分物化算法支持高 100 表达性的本体语言 OWL 2 DL，并通过等价角色和逆角色改写算法，进一步优化物化效率和物化空间消耗。该物化算法和角色改写算法最终集成于查询问答系统 SUMA 中，如图 1 所示。该系统效果与

256、 Pellet 齐平，并在部分测试数据上优于 PAGOdA。特别地，SUMA 是高度可扩展的。其物化流程如图 2 所示。图 1 SUMA 系统架构图 图 2 SUMA 物化流程图 2）基于查询改写的本体推理）基于查询改写的本体推理 查询重写Xiao et al.2019,Han et al.2022是一种解决物化算法结果无穷化问题的常用方法，一般基于虚拟知识图谱（VKG）实现，如图 3 所示。虚拟知识图谱的核心思想为：底层一般采用现有的商用关系型数据库对数据进行存储，顶层则为本体描述。二者通过映射层来 101 连接。其“虚拟”表现在，并没有实际存储如 RDF 等形式的图数据，而是通过本体和数据

257、源之间的映射来描述图数据。因此在本体推理中，可以通过 VKG 来避免物化，取而代之的推理运算步骤如下：在本体层应用有本体推理能力的 OWL 2 QL 作为其本体语言，并通过本体层对 SPARQL 查询进行重写，继而利用映射层将查询转换为数据层支持的查询语言。得到结果后，通过映射层转换为 SPARQL 查询结果返回。即采用查询改写算法并不根据本体显式计算出所有隐含知识，而是通过本体和映射对查询进行重写，使得查询显式包含本体中的隐含信息。但是，查询重写方法需要线上的查询改写时间，并且查询改写中的映射输入需要人工干预。特别地，重写的查询可能是原始查询的指数级别大小。图 3 虚拟知识图谱系统实例 3）

258、基于本体推理的本体中介查询回答技术）基于本体推理的本体中介查询回答技术 本体中介查询回答(OMQA-Ontology-Mediated Query Answering)是人工智能、数据库和语义 Web 领域的数据管理发展趋势，旨在回答知识库上的数据库查询。因为它是自动化推理和数据库查询评估的复杂组合，因此主要带来了性能上的挑战。本体介导的查询回答Bienvenu et al.2016(OMQA)相当于回答知识库(KB)上的数据库查询，即由建模应用程序领域背景知识的本体所描述的数据。它超越了数据库查询回答，后者只从数据中生成答案，通过在本体的帮助下对数据进行推理来识别额外的答案。OMQA 最近已

259、经成为人工智能、数据库和语义 Web 社区的一个热门话题，特别是在连接查询（用描述逻辑表示的 KB 上的核心项目-连接数据库查询），在此基础上构建了 W3C 的 Web 本体语言（OWL 2），以及密切相关的数据日志与存在规则。OMAQ三种常见技术：三种常见技术：通过重新制定或重写Chortaras et al.2011,Thomazo et al.2013,Bursztyn et al.2016在查询中编译本体知识，通过饱和化或物化Leone et al.2019，或通过组合或混合方法（如：Kontchakov et al.2010）将 OMQA 简化为标准的关系数据库查询评估。102 基于

260、查询重构的 OMQA 技术是迄今为止研究最多和使用最多的一种技术。它被引入Calvanese et al.2007并包括使用 KB 的本体将每个传入的联合查询(CQ)q 重新构造为联合查询(UCQ)q，以便评估对(SQLized)q的标准数据库在 KB 存储的数据上在关系数据库中产生对 q 的正确答案。至关重要的是，这样一个重构的查询 q 在它的并集中列举了 q 相对于所有（最坏情况下成倍增加）专业本体论的知识。在实践中，重构查询的可能性很大，在这种情况下，关系数据库管理系统(RDBMS)，即使是现代的，也无法有效地回答它们（UCQ 中的所有 CQ 都被评估）。线性时序逻辑中本体中介查询的一阶

261、可重写性线性时序逻辑中本体中介查询的一阶可重写性Xiao et al.2021：研究基于本体的数据访问时间数据，考虑在离散时间上解释的线性时间逻辑 LTL(Liner Temporal Logic)中给出的时间本体(,)。查询以 LTL 或 MFO()，具有内置线性顺序的一元一阶逻辑给出。关注由时间本体和查询组成的本体中介查询（OMQ）的一阶可重写性。考虑本体中使用的时间运算符并区分完整 LTL 及其核心、Krom 和 Horn 片段中给出的本体，证明可重写为 FO()，一阶具有内置线性顺序逻辑，或 FO()，使用标准算数谓词 x0(mod n)，扩展了 FO(1，或 FO(RPR)，它扩展了

262、 FO()与关系原语递归。在复杂性方面，FO(，)-和 FO(RPR)-可重写性保证 OMQ 在4和#的查询应答中统一。4）基于本体物化推理的高效可扩展引擎）基于本体物化推理的高效可扩展引擎-PAGOdA PAGOdAZhou et al.2015是目前采用物化方式的推理引擎中的佼佼者，由牛津大学研发，使用 JAVA 语言开发。系统架构图如图 4 所示。图 4 PAGOdA 系统架构图 103 为解决完全 OWL 2 DL Horrocks et al.2006推理机可扩展性差的缺点，PAGOdA 采用了一种组合方式进行高效可扩展的本体推理。该引擎整合了 Datalog 推理机 RDFox N

263、enov et al.2015和完全成熟的 OWL 2 推理机 HermiT Motik et al.2009，使之成为“黑盒子”为PAGOdA 提供功能支持实现细节对用户透明。PAGOdA 提升本体推理效率的主要核心思想是将大量的计算负载委托给高可扩展的Datalog引擎并且只有特定关键情况才会求助于运行代价较高的 OWL 2 推理机。PAGOdA 完成整个查询问答的过程可以分为 5 个步骤:加载本体和数据、物化处理、计算查询边界、提取子集以及完全推理。图中的每个框表示 PAGOdA 的一个组件，任何外部系统都可以调用该组件。原则上，PAGOdA 可以使用任何基于物化的 Datalog 推理

264、器来完成CQ 评估和事实的增量添加，以及使用任何完全成熟的 OWL 2 DL 推理器来支持事实蕴涵，也就是说，RDFox 和 HermiT 并非是唯一的选择。给定知识库和查询q的前提下，PAGOdA 按照以下算法进行查询回答：第一步通过 Datalog 推理机计算给定查询 q 的答案的一个下界，这个下界是可靠的但可能是不完备的，和一个上界完备的但可能不可靠。第二步如果上界和下界都返回不满足，则推理机返回不满足。如果上界和下界推理机都返回查询可满足，并且上界和下界推理机返回答案一致，则推理机返回最终结果。其它情况，进入下一步处理。第三步针对在上界中存在的而不在下界中存在的答案，通过 Datalo

265、g 推理机抽取相关知识库数据。第四步对第三步中的每一个答案，通过 OWL 推理机来检测是否可满足。为了减少 OWL 推理机的计算负载，采用摘要技术(Summarization)有效减少备选答案数。最终返回所有可满足答案。5）本体物化推理的其他应用）本体物化推理的其他应用 Ahmetaj 等人Ahmetaj et al.2021采用来自语义 Web 社区和数据交换社区的方法和技术，开发了一个灵活的、开源的框架，用于关系数据库上的查询回答，使用来自数据交换社区的物化过程来实现一个通用的解决方案，可用于回答企业医疗数据库上的查询。在此过程中，确定了一类新的行为良好的无环 EL 本体，并扩展了角色层次

266、结构、适当限制的功能角色和域/范围限制，它们涵盖了这篇工作的用例。证明了这样的本体物化过程在多项式时间内终止。104 Li 等人Li et al.2022提出了一种协同提升框架(CBF)，以迭代方式将数据驱动的深度学习模块和知识引导的本体推理模块结合起来。深度学习模块采用 DSSN 架构，将原始图像和推断通道的整合作为 DSSN 的输入。此外，本体推理模块由分类内推理和分类外推理组成。万物互联和语义网可以通过为普遍系统提供更多智能来加入。为此，即使是资源非常有限的嵌入式设备也应该具有启用推理的能力。Ruta 等人Ruta et al.2022提出了 Tiny-ME（Tiny Matchmaki

267、ng Engine），它是一种用于 Web 本体语言(OWL)的匹配和推理引擎，采用紧凑且可移植的 C 内核设计和实现。主要特点是高资源效率和多平台支持，涵盖容器化微服务、桌面、移动设备和嵌入式板。OWLlink 接口已扩展为在 Web、云和边缘计算中启用非标准推理服务以进行匹配。提出了原型评估，包括对 Pixhawk 无人机(UAV)自动驾驶仪和性能亮点的案例研究。2.基于神经网络和本体表示学习的知识推理基于神经网络和本体表示学习的知识推理 在本小节中，我们将从不同方法欲解决的推理问题角度对三类推理方法在近些年的进展进行展开介绍。基于知识图谱嵌入与预训练的推理基于知识图谱嵌入与预训练的推理

268、与词向量的思想类似，知识图谱嵌入推理将实体和关系映射到向量空间，称为实体或关系的嵌入表示，嵌入表示支持通过计算获得实体或关系的语义信息，例如，实体的相似度、关系的性质以及实体和实体之间的关系等。作为最早的知识图谱嵌入表示学习方法之一TransEBordes et al.,2013将头实体到尾实体的映射看作向量的平移翻译，模型简单有效，但对复杂的关系表达能力不足，例如，关系的自反性、可逆性、传递性以及组合性等，随后众多可编码关系多样语义的模型被提出Wang et al.,2014Tho et al.,2016，改善了嵌入模型对关系的多对多关系、关系的对称型、关系的非对称性、关系的传递性等语义的表

269、达能力。近年来，学者提出了一些表达能力更强的嵌入表示模型，探索了更加多样和丰富的关系语义。这里介绍两个代表方法 RotatE Sun et al.,2019和 BoxERalph et al.,2020。RotatE 将知识图谱嵌入到复数空间，并将实体表示为复数向量，将关系表示为对实体复数向量的空间旋转操作，将头实体向量旋转至尾实体的表示。BoxE 用两个向量表示实体，一个基本向量和一个平移向量，将关系表示为一个矩形，并假设如果三元组成立，那么基于头尾实体基本和平移向量的组合表示应落在关系矩形内。下表中展示了不同嵌入模型对不同推理模式的表达能力。105 表 1.不同嵌入模型对不同推理模式的表达

270、能力 从表中可以看出，目前常被考虑的推理模型有关系的对称性、关系的非对称性、逆关系对、关系的组合性、关系的上下位、关系的交集推理以及关系的互斥性。同时可以看出，目前的尚无模型可以覆盖所有的推理模式，因此尽管嵌入模型具有较好的推理能力，但就表达能力而言，依然弱于符号表示，表达能力有待进一步提升。近年来，大规模预训练语言模型在自然语言处理领域取得卓越的进步，在文本分类、情感分析、关系抽取等任务均实现了突破性提升。其核心理念是在大规模数据上进行自监督的预训练，并在少量下游任务数据上进行微调，即可实现良好的下游任务效果。类似的，大规模知识图谱场常常被用于各种不同的下游任务。例如，金融知识图谱会广泛被用

271、于智能客服、金融产品推荐、金融趋势分析等任务，因此，基于“预训练+服务”理念的知识图谱预训练模型被提出Zhang et al.,2021，其核心思想是在大规模知识图谱上进行嵌入学习，使得预训练模型具有知识图谱补全的能力，并在下游任务中为每个实体提供多个可以反映其关系和属性的服务向量，并设计了统一的在多种在下游任务中融合服务向量的方法，使得知识图谱的信息可以轻松融入并增强下游任务，实现了知识图谱嵌入推理方法的实用化，基于其补全和推理的能力为下游知识图谱应用任务提供更好的知识服务。2）基于图神经网络的知识图谱推理）基于图神经网络的知识图谱推理 受到图神经网络在同构网络研究上的启发，应用于知识图谱推

272、理的图神经网络主要基于知识图谱的图结构进行学习。与之不同的是，知识图谱推理还需要考虑节点和边的语义类型信息以支持更复杂的逻辑推理。对比可以隐含地捕获图结构的基于图谱嵌入的推理，基于图神经网络的推理会显式地对图结构以及节点特征进行编码，因而可以有效地利用实体的邻居实体信息和连接关系进行推理。此类典型的算法有 R-GCNSchlichtkrull et al.,2018以及CompGCNVashishth et al.,2020等。其中 R-GCN 为每个关系学习了一个聚合函数，用不同关系连接的邻居通过不同的聚合函数得到实体表示并融合为一个实体表示，R-GCN 采用编码解码器结构，将聚合邻居信息得

273、到实体表示的过程看作是实体编码过程，解码器通常根据任务进行设定。例如，对于实体分类，解码器是一个以实体向量为输入的多分类器，对于链接预测，解码器是一个知识图谱嵌入模型。为了解决模型 R-GCN 过参的问题，CompGCN 106 设计了实体和关系的组合表示算子，在邻居聚合过程中允许各种实体和关系的交互，从而通过同样的聚合函数完成不同关系类型的邻居实体聚合，具有参数少但灵活的特点。图 5 R-GCN 和 CompGCN 模型聚合过程示例 由于图神经网络可以通过实体的邻居得到实体的表示，具有一定的对零样本实体进行推理的能力，因此近年来被广泛应用于零样本实体的知识外推任务中。传统的链接预测假设测试时

274、的实体在训练过程中都是见过的，但这个设定过于理想化，在实际应用中，随着时间的推移，知识图谱在不断变化和扩增，总是有新的实体被加入知识图谱中，也会有进行不同知识图谱间的知识迁移的需求，因此 inductive 关系推理任务近年来被广泛研究，致力于研究如何对训练过程中从未见过的实体进行关系预测。其中的代表性工作有 GraILKomal et al.,2020和 CoMPILESijie et al.,2021。其核心思路分为三步，首先是子图抽取，根据要预测的实体对，抽取其在知识图谱中子图。其次是对实体进行特征表示，通过图上的特征，例如，距离头实体和尾实体的最短距离，为每个子图中的每个实体节点赋予一

275、个特征向量。最后，通过图神经网络，根据子图节点的特征表示聚合得到实体和关系的表示并进行打分。CoMPILE是GraIL模型的改进工作，在子图抽取过程中进一步考虑了被预测关系的方向性，并在子图聚合过程中也融合了目标关系的嵌入表示以及方向信息。图 6 GraIL 和 CoMPILE 处理 inductive 关系推理的思路 107 基于图神经网络的知识图谱推理已广泛应用于长尾关系抽取、实体对齐、零样本图像识别、对话生成以及推荐系统等应用中。随着知识图谱规模不断扩大，大图数据的处理，也就是基于大数据的计算引擎的图计算也是需要深入研究和考虑的技术问题。3）基于本体表示学习的知识图谱推理）基于本体表示学

276、习的知识图谱推理 三元组和图结构信息能较好地支持简单直接的知识图谱推理，而复杂的推理往往依赖于知识框架，又称为本体，其中的实体以概念与属性为主。本体嵌入表示主要侧重于将概念层次体系、概念之间的逻辑组合关系、属性的层次体系、概念和属性之间的逻辑组合以及属性自身的性质（如：传递性、对称性、自反性）等这类抽象的知识编码到稠密、连续的语义空间中，即如何将本体语义和逻辑表达进行向量化表示。典型的本体嵌入模型是 EL EmbeddingKulmanov et al.,2019，该模型将轻量级的 EL 本体利用高维的球形空间来表示，用球心之间的位置来编码概念之间的关系。现有的本体表示学习研究较多的是概念之间

277、的层次关系以及连接关系，对于更复杂的逻辑表达包括组合语义（或/且/非）、存在量词和全称量词涉及较少。图 7 EL Embedding 可视化的概念表示 从上图中我们可以看出，本体表示学习结果可以捕捉到概念层次之间的关系，例如作为一级概念，又可细分出,和等的子概念，并且又是的子概念，是的子概念，与和均有交集。近年来，受益于近些年来复杂知识库问句查询的研究Ren et al.,2020a，本体表示学习Chen et al.,2021在向量空间的逻辑表达能力得到了进一步的探索。3.基于符号逻辑与嵌入表示的混合推理基于符号逻辑与嵌入表示的混合推理 1）嵌入表示中融入逻辑规则的混合推理）嵌入表示中融入逻

278、辑规则的混合推理 尽管嵌入表示方法在一些下游的推理任务中取得了巨大的成功，但它们在复杂语义表示与稀疏数据的表现上仍存在不足。在嵌入表示的模型中融入逻辑规则的混合推理，不仅可以 108 增强模型在知识推理上表现，还可以有效地缓解知识图谱存在的数据稀疏等问题Niu et al.,2020。根据规则融合的时间可以分成三个阶段。1)模型训练之前：即在学习嵌入模型之前进行规则推理进行一定的知识补全。这样的逻辑规则推理通常会影响嵌入表示学习中训练样本，如：正确三元组与错误的三元组。2)在模型训练之中：即在嵌入学习时注入逻辑规则。该方式会影响到嵌入模型自身损失函数定义，形成相应的逻辑约束，如：对具有逻辑性质

279、的关系加上规则或关系语义性质约束。3）在模型训练之后：即在嵌入学习完成模型之后，将规则作为错误事实验证的过滤器，来进一步优化推理结果。下面我们主要对模型训练之中融入逻辑规则的方式进行介绍。逻辑规则通常表示为 horn 子句，例如，x，y(x，首都，y)(x，位于，y)声明由关系“首都”链接的任何两个实体也应该满足关系“位于”。Guo 等人Guo et al.,2016提出了一个联合模型 KALE，它将事实知识和逻辑规则嵌入到统一的框架，其中逻辑规则被解释为通过将基础原子与逻辑连接词(如：“”和“”)相结合而构建的复杂公式，并采用 t-范数的模糊逻辑来度量每一个基础原子和规则实例化原子的真值分数

280、。在此基础上，他们进一步改进了该模型，新提出的模型 RUGE Guo et al.,2018可以更好地对知识图谱中已有的三元组、带权重的逻辑规则以及借助规则推理出的三元组进行联合建模，并形成迭代。Zhang 等人Zhang et al.,2019针对知识图谱中存在数据稀疏现象提出了一种新型的迭代嵌入学习框架 IterE。它采用迭代方式使得模型通过实例化规则得到较多出未标记三元组，从而可以有效地缓解训练数据中实体与关系关联不足的问题。图 8 IterE 中详细的推理过程 除了规则的满足约束，Wang 等人Wang et al.,2018提出的 TARE 模型则更强调规则中 109 的传递性和不对

281、称性，这使得模型中规则之间关系的顺序变得十分重要，作者通过分量式不等式对逻辑规则中关系类型的顺序进行了有效建模。2）逻辑推理中融入嵌入表示的混合推理）逻辑推理中融入嵌入表示的混合推理 尽管符号逻辑推理经过了多年的研究，具有较为广泛应用，它自身仍然存在一些局限。一方面，逻辑的构造通常依赖于领域专家，会耗费大量的时间和人力，加之真实的数据往往存在固有的噪声与不确定性，因此，大多数逻辑应用程序在实际推理的覆盖度上会存在一定的限制。另一方面，逻辑表达过于复杂化则会导致较高的推理复杂度，因此其推理的规模上也会面临可扩展性的问题。相对而言，基于嵌入表示的推理的特点是将实体与关系映射在连续、稠密的向量空间，

282、且无需预定义的归纳推理逻辑，因此，将嵌入表示模型融入到逻辑推理中可以较好地弥补逻辑推理中不确定性、泛化性等不足的问题。目前将嵌入表示融入逻辑推理的方法，主要有两种策略。1)在逻辑推理之前：即在逻辑推理任务之前将嵌入模型相应的预测结果加入。2)在逻辑推理之中：即在逻辑推理过程加入嵌入表示模型，来学习逻辑中的推理模式并优化推理的效率，以此更好地完成推理任务。查询问答与定理证明是逻辑中常见的两项推理任务。在查询问答方面，最初研究者仅考虑最简单的查询问句类型。Guu 等人Guu et al.,2015基于 TransE 和随机游走的策略实现了对软边遍历算子的向量表示，并递归地将其应用于预测合成路径查询

283、。受益于嵌入表示思想，学者们对更多复杂的查询问句形式（如：合取逻辑查询，含存在量词的一阶问句）进行了深入的研究。Hamilton 等人Hamilton et al.,2018基于知识图谱嵌入表示的思想对逻辑问句进行了建模，提出了 GQE 模型。GQE 将实体作为向量嵌入，将关系看作实体嵌入的投影算子，同时将合取逻辑查询中的“”作为交集算子。模型将每个查询编码成一个向量，并根据查询和候选实体嵌入之间的相似性给出答案。Ren 等人提出的模型 Query2boxRen et al.,2020b可以通过将查询中的析取()转换成析取范式(DNF)来进一步支撑知识图谱的查询推理，并且它为每种量化类型定义了

284、向量空间运算符以达到更好的查询效果。Arakelyan 等人提出的模型 CQD Arakelyan et al.,2021采用嵌入表示模型ComplEx Trouillon et al.,2016来定义投影算子，同时作者借助 t-范数的模糊逻辑来量化查询问句中的量词，以此来支持常用的一阶逻辑运算，包括合取()、析取()和求反()。近期，Kotnis 等人提出的模型 BiQEKotnis et al.,2021能够将连接查询翻译成序列，并通过双向的 Transformer Encoder 对其进行编码，这种双向注意力机制的嵌入表示可以有效地捕捉查询中所有元素之间的交互。刘等人Liu et al.

285、,2021通过嵌入表示模型进一步支持了逻辑运算不等于()的查询，在支持更多复杂的查询问题种类的同时可以保证较高的推理效率。此外，也有部分学者尝试用嵌入表示学习来提高逻辑推理的查询效率。例如，Wei 等人Wei et 110 al.,2015提出的 INS-ES 模型主要是采用数据驱动的推理算法 INS 与马尔科夫逻辑网进行符号推理，在此基础上通过 TransE 模型能够进一步缩小查询的候选集。图 9 GQE 的算法框架概览 在定理证明方面，使用嵌入表示模型在一定程度克服了可微定理证明中符号证明器在推广到问句相似但符号不相同的查询限制。例如，Rocktaschel 与 Riedel 提出的模型N

286、TPRocktaschel and Riedel,2017可以使 Prolog 能够学习知识图谱中实体和关系的嵌入表示以及它们之间的相似性。它使变量绑定的符号遵循 Prolog 的推理语法，同时支持实体符号能够用与嵌入表示向量相似的实体进行替代。因此，NTP 可以在没有预定义的情况下学习特定于领域的规则，并进行无缝推理。为了提升 NTP 推理过程中枚举与评分所产生的效率问题。Minervini 等人则进一步提出了 GNTP 模型Minervini et al.,2020a，模型基于学习得到的事实的嵌入表示来选择用于证明子目标的顶部最近邻事实声明，并使用关系的嵌入向量表示来选择需要扩展的顶部规则

287、。此外，他们还提出了另一种建模方法 CTPMinervini et al.,2020b。该模型是使用键-值记忆网络，将证明的目标、关系和常数的嵌入向量作为条件，在每一轮推理步骤中考虑动态地生成的极小规则集来提高推理效率。图 10 基于 NTP 计算图的示例性构造案例 111 3）其他知识图谱混合推理）其他知识图谱混合推理 本节主要对多跳推理、模式归纳、流推理等相关的混合推理技术进行汇总，它们更多是将广义符号推理与统计推理的方法进行融合，为下游任务提高性能的同时，也为推理结果提供有效的解释。由于为问答定制的语义解析模型Abujabal et al.,2017和嵌入表示模型Hao et al.,2

288、017均受限于数据标注和推理效率等局限，仍不足以解决多跳推理的任务场景。为此，不少学者尝试借助混合推理的来提高性能，并使这些结果可以解释。Zhang 等Zhang et al.,2018提出了一种多跳问答的概率建模框架，模型可以处理不确定的主题实体，并实现问答的多跳推理。作者在知识图谱上引入了一种新的传播体系结构，使得逻辑推理可以在概率模型中执行。Zhou 等人设计了一个可解释的推理网络 IRNZhou et al.,2018。它可以动态地决定在每一跳应该分析输入问题的哪一部分，并预测出对应于解析结果的关系。因此，IRN 在推理预测的中间实体和关系可以构建可追踪的推理路径为答案提供解释。Vak

289、ulenko 等人Vakulenko et al.,2019为复杂问答设计了一种基于无监督消息传递的方法。该方法通过利用一系列的稀疏矩阵乘法来模拟局部子图上的连接与消息的传递，通过解析输入问题，并将知识图谱中的术语与一组可能答案进行匹配来传播置信度得分，因此，它可以应用于 DBpedia 这种大型的知识图谱。此外，Saxena 等人提出了 EmbedKGQA 模型Saxena et al.,2020用于在稀疏知识图谱上回答多跳问答。模型的基本思想为：主题实体向量+关系路径向量主题实体向量+问题向量，即表示问题的语义在问答方法中，与关系路径的语义是大体一致的。基于该思想，作者引入嵌入表示模型 C

290、omplEx Trouillon et al.,2016将知识图谱中的实体和关系投射到复数空间，并基于预训练模型 RoBERTaLiu et al.,2021建立前馈神经网络对问题进行编码。EmbedKGQA 通过将主题实体向量和问题向量相加，并在复数空间寻找与该向量最接近的实体向量，并将该实体为预测答案进行输出。图 11 EmbedKGQA 的框架概览 112 模式归纳方法是从知识图谱中学习模式或者规则，并发现发现潜在的(概率的)逻辑。例如，AMIE Galarraga et al.,2015和 Any-BURL Meilicke et al.,2019则是基于符号的典型模式归纳方法。然而，

291、仅从显式三元组中学习较多高质量的模式与规则是存在一定困难的。嵌入表示模型的引入，可以有效地帮助传统模式归纳方法跳出图谱存在噪声以及自身不完全性的困境。Ho 等人采用嵌入表示方法的基础上提出了 RuLES 模型Ho et al.,2018。模型在原有知识图谱的基础上，扩展了带有一定可信度的三元组，并采用迭代方式从原始的知识图谱三元组与扩展带有可信度的三元组归纳出更多的规则。另一种方式则是通过在向量空间中，采用端到端可微的方式进行规则挖掘，该类方法使用知识图谱中“关系”的嵌入表示模块来学习使用规则中每个操作算子的权重Sadeghian et al.,2019。Yang 等人提出的模型 Neural

292、LP Yang et al.,2017将一阶逻辑规则的参数和结构学习共同建模在端到端可微分的模型中。作者设计了一种学习组合这些操作的神经控制器系统来将推理任务编译成可微操作的序列，以此实现一阶逻辑规则的规则学习。Cohen 等人提出的概率逻辑 TensorlogCohen et al.,2020则是将一阶规则的推理和稀疏矩阵乘法之间建立了联系。模型将某些类型的逻辑推理任务编码成一系列可微的数字矩阵运算，从而进一步学习到带概率的规则。Wang 等人Wang et al.,2020则围绕知识图谱定义了一种可微分的知识框架，该框架能挖掘具有数值特征的规则。此外，嵌入表示模型还可以进一步提升规则学习的

293、效率。例如，Omran 等人提出的模型RLvLROmran et al.,2018利用嵌入表示模型 RESCALNickel et al.,2011在模式归纳的过程中起到了空间搜索剪枝的作用。图 12 RuLES 的框架概览 为了解决概念漂移中学习和预测问题，Chen 等人Chen et al.,2017将嵌入表示模型生成的向量重新建模为语义特征(如：一致性向量与蕴涵向量)。这种嵌入表示模型生成的向量可以在监督流学习的环境中被利用来学习统计模型，对于概念漂移具备一定鲁棒性。此外，他们探索了一种基于本体的知识表示和推理框架Chen et al.,2018，用于迁移学习的解释。框架可以用表达力丰富

294、的 OWL 本体对迁移学习中的学习域进行建模，并对学习域中的常识知识进行补充。作者设计了一个相关的推理算法来推断三种解释证据，以解释一个学习领域的 113 积极特征或消极迁移。Lcuet 等人则讨论了迁移学习表达中语义设置等问题Lcuet al.,2019。针对现有的基于实例的迁移学习方法，作者通过利用语义可变性、可迁移性以及一致性来处理迁移的对象以及迁移的时机。图 13 基于本体的迁移学习增强框架 89?0A?BC89?0A?BC 近十年，大数据和人工智能得到了快速发展，知识图谱和本体等知识表达模式逐渐在复杂语句问答、查询问答等研究领域被广泛应用。本章从知识图谱推理的应用层面出发，对基于本体

295、物化推理、基于神经网络和本体表示学习的知识推理以及基于符号逻辑与嵌入表示的混合推理进行了介绍。虽然，这些知识图谱上的推理技术已经取得了很多进展，但是总体来说大部分推理技术离实际应用还有一段距离，存在一些问题需要完善解决。1本体物化推理技术的展望与发展趋势本体物化推理技术的展望与发展趋势 在本体物化推理方法层面，部分物化算法和查询重写是解决物化过程中本体推理得到的结果集无穷问题的常用方法。通过查询应用改写和近似技术可靠地扩展部分物化算法支持表达性的本体语言。再通过等价角色和逆角色改写算法，提升物化效率。此外，查询分析算法扩展物化算法在保证物化方法的可靠完备性问题也是未来的研究热点。在本体物化推理

296、应用层面，将数据驱动的深度学习模块和知识引导的本体推理模块结合提升本体推理能力将是此类研究的热点问题。此外，在物联网边缘传感器中嵌入具有推理能力的感应器能大大提升设备感知能力，推进人工智能从感知阶段迈向认知阶段。2基于神经网络和本体表示学习的知识推理的展望与发展趋势基于神经网络和本体表示学习的知识推理的展望与发展趋势 从推理方法来说，知识图谱嵌入与预训练模型可以学习实体和关系的表示，本体嵌入表示可以学习类的层次关系以及各种公理和规则，图神经网络方法可以充分捕获图的邻接信息以及子图结构，这些仍将是当前知识图谱推理的研究热点。同时为了完成更高层次的推理，114 多种方法需要同时运用，进一步深挖更复

297、杂的逻辑规则结构，因此，将神经网络方法与逻辑表示集成的混合推理方法也将是未来的研究热点。从应用角度分析，目前的知识图谱推理方法在中等规模的标准数据集上取得了不错的效果和明显的进步，但面对超大规模、低资源以及人机协作的应用依然面临众多挑战。例如，在超大规模应用上提升推理方法的易用性和推理效率，在低资源应用中提升推理方法的鲁棒性和可迁移性，在人机协作应用中提升可解释性和人可介入性都是在把知识图谱推理实用化的道路上需要重点关注的问题。而在工业应用中，如何将不同的推理进行有效的融合，以此实现知识图谱中缺失知识补全、错误的信息矫正、高质量的规则挖掘，从而提升意图识别、实体链接、实体推荐等任务的实际效果，

298、仍是诸多工业界关注的核心问题。3基于符号逻辑与嵌入表示的混合推理的展望与发展趋势基于符号逻辑与嵌入表示的混合推理的展望与发展趋势 从推理方法来说，逻辑和嵌入表示集成的一个关键挑战在于符号逻辑的多样性。目前的大多数混合推理模型只考虑特定种类的逻辑规则与查询语句，因此，未来研究的热点一方面仍是探索更多的逻辑形式与嵌入表示进行混合推理。例如，探究如何利用嵌入表示模型来支撑常数的规则、全称量词()、逻辑不一致检测的推理任务。另一方面，如何利用符号逻辑的表示与推理来增强嵌入表示模型的可解释性仍是未来研究的重点。只有当这些嵌入表示向量的含义被正确解释时，系统才具有更高的安全性、可信性和公平性，才能使得知识

299、图谱推理方法在未来得到更广泛的应用。从推理应用层面来看，相应算法的平台化和工具化也是未来知识图谱推理亟需完善的方向。即便现今存在较多前沿的工作，但我们发现部分工作仍缺少类似于 OpenKG 这样友好的平台来进行推广。例如，大多模式归纳算法的实现缺少友好的用户界面，也缺少相应的平台将其他的相似功能的方法进行整合，因此，期待有更多的团队能将这些知识图谱推理算法进行集成、维护，形成友好的项目工具，为知识图谱推理算法的应用与普及做出贡献。参考文献参考文献 Calvanese et al.2017 Calvanese D,Cogrel B,Komla-Ebri S,et al.Ontop:answeri

300、ng SPARQL queries over relational databases.Semantic Web,8(3):471487(2017)Meng et al.2018 Meng C,Zhang X,Xiao G,et al.gOWL:a fast Ontology-Mediated Query answeringC.In ISWC(poster),2018.Qin et al.2021 Qin X,Zhang X,Yasin M Q,et al.SUMA:A Partial Materialization-Based Scalable Query Answering in OWL

301、2 DL.Data Science and Engineering,6(2):229-245(2021)Xiao et al.2019 Xiao G,Ding L,Cogrel B,et al.Virtual Knowledge Graphs:An Overview of 115 Systems and Use Cases,Data Intelligence,1(3):23(2019)Han et al.2022 Han X,DellAglio D,Grubenmann T,et al.A framework for differentially-private knowledge graph

302、 embeddings.Journal of Web Semantics,72:100696(2022)Bienvenu et al.2016 Bienvenu,M.:Ontology-mediated query answering:Harnessing knowledge to get more from data.In IJCAI,2016:4058-4061.Chortaras et al.2011 Chortaras,A.,Trivela,D.,Stamou,G.Optimized query rewriting for OWL2QL.In CADE,2011:192-206.Tho

303、mazo et al.2013 Thomazo,M.Compact rewritings for existential rules.In IJCAI,2013:1125-1131.Bursztyn et al.2016 Bursztyn,D.,Goasdoue,F.,Manolescu,I.Teaching an RDBMS about ontological constraints.In:VLDB Endowment 9(12):1161-1172(2016)Leone et al.2019 Leone,N.,Manna,M.,Terracina,G.,Veltri,P.:Fast que

304、ry answering over existential rules.ACM Transactions on Computational Logic,20(2):12:1-12:48(2019)Kontchakov et al.2010 Kontchakov,R.,Lutz,C.,Toman,D.,Wolter,F.,Zakharyaschev,M.:The combined approach to query answering in dl-lite.In KR,2010.Calvanese et al.2007 Calvanese,D.,De Giacomo,G.,Lembo,D.,Le

305、nzerini,M.,Rosati,R.:Tractable reasoning and efficient query answering in description logics:The DL-Lite family.Journal of Automated Reasoning.39(3):385-429(2007)Xiao et al.2021 Guohui Xiao,Julien Corman,Ontology-Mediated SPARQL Query Answering over Knowledge Graphs,Big Data Research,23:100177(2021)

306、Zhou et al.2015 Zhou Y,Grau B C,Nenov Y,et al.PAGOdA:Pay-As-You-Go ontology query answering using a datalog reasoner.Journal of Artificial Intelligence Research,54:309367(2015)Horrocks et al.2006 Horrocks I,Kutz O,Sattler U.The even more irresistible SROIQC.In KR,2006:5767.Nenov et al.2015 Nenov Y,P

307、iro R,Motik B,et al.RDFox:a highly-scalable RDF storeC.In ISWC,2015:320.Motik et al.2009 Motik B,Shearer R,Horrocks I.Hypertableau reasoning for description logicsJ.Journal of Artificial Intelligence Research,36:165228(2009)Ahmetaj et al.2021 Ahmetaj S,Efthymiou V,Fagin R,et al.Ontology-enriched que

308、ry answering on relational databases.In AAAI,2021:15247-15254.Li et al.2022 Li Y,Ouyang S,Zhang Y.Combining deep learning and ontology reasoning for 116 remote sensing image semantic segmentation.Knowledge-Based Systems,243:108469(2022)Ruta et al.2022 Ruta M,Scioscia F,Bilenchi I,et al.A multi-platf

309、orm reasoning engine for the Semantic Web of Everything.Journal of Web Semantics,73:100709(2022)Li et al.,2020 Weizhuo Li,Guilin Qi,and Qiu Ji.Hybrid reasoning in knowledge graphs:Combing symbolic reasoning and statistical reasoning.Semantic Web,11(1):53-62(2020).Chen et al.,2020 Xiaojun Chen,Shengb

310、in Jia,and Yang Xiang.A review:Knowledge reasoning over knowledge graph.Expert Systems with Applications 141:112948(2020).Zhang et al.,2022 Wen Zhang,Jiaoyan Chen,Juan Li,Zezhong Xu,Pan Jeff Z.,and Huajun Chen.Knowledge Graph Reasoning with Logics and Embeddings:Survey and Perspective.arXiv preprint

311、 arXiv:2202.07412(2022).Niu et al.,2020 Guanglin Niu,Yongfei Zhang,Bo Li,Peng Cui,Si Liu,Jingyang Li,Xiaowei Zhang:Rule-Guided Compositional Representation Learning on Knowledge Graphs.AAAI 2020:2950-2958.Guo et al.,2016 Shu Guo,Quan Wang,Lihong Wang,Bin Wang,and Li Guo.Jointly embedding knowledge g

312、raphs and logical rules.In EMNLP,2016:192-202.Guo et al.,2018 Shu Guo,Quan Wang,Lihong Wang,Bin Wang,and Li Guo.Knowledge graph embedding with iterative guidance from soft rules.In AAAI,2018:4816-4823.Zhang et al.,2019 Wen Zhang,Bibek Paudel,Liang Wang,Jiaoyan Chen,Hai Zhu,Wei Zhang,Abraham Bernstei

313、n,Huajun Chen:Iteratively Learning Embeddings and Rules for Knowledge Graph Reasoning.WWW 2019:2366-2377.Wang et al.,2018b Mengya.Wang,Erhu Rong,Hankui Zhuo,and Huiling Zhu.Embedding knowledge graphs based on transitivity and asymmetry of rules.In PAKDD,2018:141-153.Guu et al.,2015 K.Guu,J.Miller,an

314、d P.Liang.Traversing knowledge graphs in vector space.In EMNLP,2015:318-327.Hamilton et al.,2018 William L.Hamilton,Payal Bajaj,Marinka Zitnik,Dan Jurafsky,and Jure Leskovec.Embedding logical queries on knowledge graphs.Advances in neural information processing systems 31(2018).Ren et al.,2020a Hong

315、yu Ren,Jure Leskovec:Beta Embeddings for Multi-Hop Logical Reasoning in Knowledge Graphs.NeurIPS 2020.Ren et al.,2020b Hongyu Ren,Weihua Hu,and Jure Leskovec.Query2box:Reasoning over knowledge graphs in vector space using box embeddings.In ICLR,2020.117 Arakelyan et al.,2021 Erik Arakelyan,Daniel Da

316、za,Pasquale Minervini,and Michael Cochez.Complex query answering with neural link predictors.In ICLR,2021.Trouillon et al.,2016 T.Trouillon,J.Welbl,S.Riedel,E.,and G.Bouchard.Complex embeddings for simple link prediction.In ICML,2016.Kotnis et al.,2021 B.Kotnis,C.Lawrence,and M.Niepert.Answering com

317、plex queries in knowledge graphs with bidirectional sequence encoders.In AAAI,2021:4968-4977.Liu et al.,2021 Lihui Liu,Boxin Du,Heng Ji,ChengXiang Zhai,and Hanghang Tong.Neural-answering logical queries on knowledge graphs.In KDD,2021:1087-1097.Wei et al.,2015 Zhuoyu Wei,Jun Zhao,Kang Liu,Zhenyu Qi,

318、Zhengya Sun,and Guanhua Tian.Large-scale knowledge base completion:Inferring via grounding network sampling over selected instances.In CIKM,2015:1331-1340.Rocktaschel and Riedel,2017 T.Rocktaschel and S.Riedel.End-to-end differentiable proving.In NIPS,2017:3788-3800.Minervini et al.,2020a Pasquale M

319、inervini,Matko Bosnjak,Tim Rocktaschel,Sebastian Riedel,and Edward Grefenstette.Differentiable reasoning on large knowledge bases and natural language.In AAAI,2020:5182-5190.Minervini et al.,2020b Pasquale Minervini,Sebastian Riedel,Pontus Stenetorp,Edward Grefenstette,and Tim Rocktaschel.Learning r

320、easoning strategies in end-to-end differentiable proving.In ICML,2020:6938-6949.Abujabal et al.,2017 Abdalghani,Abujabal,Rishiraj Saha Roy,Mohamed Yahya,and Gerhard Weikum,QUINT:Interpretable Question Answering over Knowledge Bases,In EMNLP,2017:61-66.Hao et al.,2017 Yanchao Hao,Yuanzhe Zhang,Kang L

321、iu,Shizhu He,Zhanyi Liu,Hua Wu,and Jun Zhao.An End-to-End Model for Question Answering over Knowledge Base with Cross-Attention Combining Global Knowledge,In ACL,2017:221-231.Zhang et al.,2018 Yuyu Zhang,Hanjun Dai,Zornitsa Kozareva,Alexander J.Smola,and Le Song.Variational Reasoning for Question An

322、swering with Knowledge Graph,In AAAI,2018:6069-6076.Zhou et al.,2018 Mantong Zhou,Minlie Huang,and Xiaoyan Zhu,An Interpretable Reasoning Network for Multi-Relation Question Answering,In:ACL,2018:2010-2022.Vakulenko et al.,2019 Svitlana Vakulenko,Javier David Fernandez Garcia,Axel Polleres,Maarten d

323、e Rijke,and Michael Cochez Message Passing for Complex Question Answering over 118 Knowledge Graphs,In CIKM,2019:1431-1440.Saxena et al.,2020 Apoorv Saxena,Aditay Tripathi,and Partha Talukdar.Improving multi-hop question answering over knowledge graphs using knowledge base embeddings.In ACL,2020:449

324、8-4507.Liu et al.,2021 Zhuang,Liu,Lin Wayne,Shi Ya,and Zhao Jun.A Robustly Optimized BERT Pre-training Approach with Post-training.In CCL,2021:471-484.Galarraga et al.,2015 Luis Galrraga,Christina Teflioudi,Katja Hose,and Fabian M.Suchanek.Fast rule mining in ontological knowledge bases with AMIE+.V

325、LDB Journal.24(6):707-730(2015).Meilicke et al.,2019 Christian Meilicke,Melisachew Wudage Chekol,Daniel Ruffinelli,and Heiner Stuckenschmidt.Anytime bottom-up rule learning for knowledge graph completion.In IJCAI,2019:3137-3143.Ho et al.,2018 Vinh Thinh Ho,Daria Stepanova,Mohamed H.Gad-Elrab,Evgeny

326、Kharlamov,and Gerhard Weikum.Rule learning from knowledge graphs guided by embedding models.In ISWC,2018:72-90.Sadeghian et al.,2019 Ali,Sadeghian,Mohammadreza Armandpour,Patrick Ding,and Daisy Zhe Wang.DRUM:end-to-end differentiable rule mining on knowledge graphs.In NeurIPS,2019:15321-15331.Yang e

327、t al.,2017 Fan Yang,Zhilin Yang,and William W.Cohen.Differentiable learning of logical rules for knowledge base reasoning.In NIPS,2017:2319-2328.Cohen et al.,2020 William Cohen,Fan Yang,and Kathryn Rivard Mazaitis.Tensorlog:A probabilistic database implemented using deep-learning infrastructure.Jour

328、nal of Artificial Intelligence Research.67:285-325(2020)Wang et al.,2020 Po-Wei Wang,Daria Stepanova,Csaba Domokos,and J.Zico Kolter.Differentiable learning of numerical rules in knowledge graphs.In ICLR,2020.Omran et al.,2018 Pouya Ghiasnezhad Omran,Kewen Wang,and Zhe Wang.Scalable rule learning vi

329、a learning representation.In IJCAI,2018:2149-2155.Nickel et al.,2011 Maximilian Nickel,Volker Tresp,and Hans-Peter Kriegel.A three-way model for collective learning on multi-relational data.In ICML,2011:809-816.Chen et al.,2017 Jiaoyan Chen,Freddy Lcu,Jeff Pan,and Huajun Chen.Learning from Ontology

330、Streams with Semantic Concept Drift,In AAAI,2017:957-963.119 Chen et al.,2018 Chen,Jiaoyan,Freddy Lcu,Jeff Z.Pan,Ian Horrocks,and Huajun Chen.Knowledge-Based Transfer Learning Explanation,In KR,2018:349-358.Lcuet al.,2019 Freddy Lcu,Jiaoyan Chen,Jeff Z.Pan,and Huajun Chen.Augmenting transfer learnin

331、g with semantic reasoning.In IJCAI,2019:1779-1785.Bordes et al.,2013 Antoine Bordes,Nicolas Usunier,Alberto Garca-Durn,Jason Weston,Oksana Yakhnenko:Translating Embeddings for Modeling Multi-relational Data.In NIPS,2013:2787-2795.Wang et al.,2014 Zhen Wang,Jianwen Zhang,Jianlin Feng,Zheng Chen:Knowl

332、edge Graph Embedding by Translating on Hyperplanes.In AAAI,2014:1112-1119.Tho et al.,2016 Tho Trouillon,Johannes Welbl,Sebastian Riedel,ric Gaussier,Guillaume Bouchard:Complex Embeddings for Simple Link Prediction.In ICML,2016:2071-2080.Sun et al.,2019 Zhiqing Sun,Zhi-Hong Deng,Jian-Yun Nie,Jian Tan

333、g:RotatE:Knowledge Graph Embedding by Relational Rotation in Complex Space.In ICLR(Poster),2019.Ralph et al.,2020 Abboud Ralph,Ismail Ceylan,Thomas Lukasiewicz,and Tommaso Salvatori.Boxe:A box embedding model for knowledge base completion.In NeurIPS,2020:9649-9661.Zhang et al.,2021 Wen Zhang,Chi Man Wong,Ganqiang Ye,Bo Wen,Wei Zhang,Huajun Chen:Billion-scale Pre-trained E-commerce Product Knowledg