《6-3 面向可解释性的知识图谱推理研究.pdf》由会员分享,可在线阅读,更多相关《6-3 面向可解释性的知识图谱推理研究.pdf(79页珍藏版)》请在三个皮匠报告上搜索。
1、面向可解释性的知识图谱推理研究及应用答辩人:万国佳导师:杜博 教授时间:2021 5.21博士学位答辩第 2 页2大纲1.研究背景2.前沿进展4.研究内容5.总结展望3.研究动机第 3 页3研究背景 引言引言计算智能感知智能认知智能能存会算能听能看会认会说理解推理解释难度价值认知智能特点:依赖背景知识例:“996”,网络热词,建立在群体共识下的新概念第 4 页4研究背景 知识图谱知识图谱实体:巴黎,埃菲尔铁塔 事实:(埃菲尔铁塔,位于,巴黎)关系:位于以图的形式将知识组织成网:=(,)有向图异质图(异质信息网络)丰富的信息(类型,属性,描述,图片等)大规模第 5 页5研究背景 知识图谱的下游应
2、用知识图谱的下游应用信息检索问答/聊天系统 语言、图像理解Q:中国的首都在哪里?A:北京Q:中国的首都相比美国的首都,谁的人口更多?A:北京的第 6 页6研究背景 知识图谱推理知识图谱推理已观测到的知识A+已观测到的知识B+=新知识例如:r(h,t)=?:事实预测(h,?,r):关系预测(h,r,?):实体预测图:链接预测问题逻辑演绎:命题约束下真值判断问题1:,=12:,=1 3:,=1人物关系知识图谱第 7 页7大纲1.研究背景2.前沿进展4.研究内容5.总结展望3.研究动机第 8 页8前沿进展 主要方法主要方法1.演绎逻辑及规则2.基于图结构的推理3.知识图谱嵌入表示4.深度神经网络模型
3、第 9 页9前沿进展 演绎逻辑及规则演绎逻辑及规则操作含义()断言全部存在非包含条件且或Query:武汉大学同时教数据结构和离散数学的老师有多少个?逻辑表达:Count(teacher(is_affiliated(people,WHU),数据结构)(teacher(is_affiliated(people,WHU),离散数学))1.SPARQL语言(图数据库语言)2.Datalog语言(逻辑知识表示语言)3.归纳逻辑编程(ILP)1.Eiter T,Gottlob G,Mannila H.Disjunctive datalogJ.ACM Transactions on Database Sys
4、tems(TODS),1997,22(3):364-418.2.Prez J,Arenas M,Gutierrez C.Semantics and complexity of SPARQLJ.ACM Transactions on Database Systems(TODS),2009,34(3):1-45.3.Kimmig A,Bach S,Broecheler M,et al.A short introduction to probabilistic soft logicC/Proceedings of the NIPS Workshop on Probabilistic Programm
5、ing:Foundations and Applications.2012:1-4.特点:准确可解释性好泛化性能差专家制定规则表:一阶逻辑第 10 页10前沿进展 基于图结构的推理基于图结构的推理PRA节点的路径特征随机游走遍历子图特点:路径解释性稀疏问题搜索空间大.Lao N,Cohen W W.Relational retrieval using a combination of path-constrained random walksJ.Machine learning,2010,81(1):53-67.W.Xiong,T.Hoang,and W.Y.Wang,“DeepPath:A
6、reinforcement learning method for knowledge graph reasoning,”in EMNLP,2018,pp.564573.GraIL消息传递机制提取目标实体的结构信息特点:子图可解释性第 11 页11前沿进展 知识图谱表示学习知识图谱表示学习模型:TransX系列TransENIPS 2013,=+pRotateE2019 ICLR,=p知识图谱向量空间嵌入表示Wang Q,Mao Z,Wang B,et al.Knowledge graph embedding:A survey of approaches and applicationsJ.I
7、EEE Transactions on Knowledge and Data Engineering,2017,29(12):2724-2743.高维,离散低维,连续浅层神经网络第 12 页12前沿进展 深度神经网络模型深度神经网络模型图神经网络Transformer卷积神经网络1.M.Schlichtkrull,T.N.Kipf.et al.,“Modeling relational data with graph convolutional networks,”in ESWC,2018,pp.5936072.Q.Wang,P.Huang,et al.,“CoKE:Contextualize
8、d knowledge graph embedding,”arXiv preprint arXiv:1911.02168,2019.3.Dettmers T,Minervini P,et al.Convolutional 2d knowledge graph embeddingsC/Proceedings of the AAAI Conference on Artificial Intelligence.2018,32(1).第 13 页13前沿进展 神经网络模型神经网络模型优点:泛化性能强易于数值计算及并行化规模性好缓解图结构维度灾难问题缺点:缺乏解释性噪音鲁棒性不强只能进行单步推理 知识图
9、谱嵌入表示 深度模型神经网络模型:,=,数据驱动,BP算法第 14 页14前沿进展 现有方法总结现有方法总结推理范式逻辑演绎及规则图结构知识图谱嵌入深度神经网络可解释性泛化性能鲁棒性规模性专家经验依赖部分依赖不依赖不依赖计算性质离散离散连续连续如何获得具有可解释性的 知识图谱推理模型?如何提高神经网络推理模型的 鲁棒性?第 15 页15大纲1.研究背景2.前沿进展4.研究内容5.总结展望3.研究动机第 16 页16研究动机 知识图谱推理的可解释性知识图谱推理的可解释性可解释性来源逻辑可解释图结构可解释神经网络模型可解释(255,255,255)利用逻辑操作和形式化语言可以获得逻辑可解释性例:若
10、那么3=1 2相似的节点具有相似的图结构特征,路径特征,=0.06,0.63,0.23,0.02只能输出相关性、相似度嵌入空间理论分析模型预测可解释性(Attention,CAM)利用可解释性的特征第 17 页17研究动机 强化学习强化学习环境 S为状态,A为动作空间,P 为 转移概率矩阵,R为奖赏函数.智能体,=(|;)为策略函数,依赖于状态s和动作a.训练目标:最大化长期累积奖赏与环境的交互产生轨迹:=0,0,1,1,1,1,推理结果+推理路径知识图谱推理第 18 页18研究动机 基于强化学习的知识图谱推理基于强化学习的知识图谱推理TransE连接主义:1.泛化性能好2.易于数值计算3.解
11、释性差符号主义:1.泛化性能差2.解释性好RotateEPRARGCNDatalogSPARQLTransformer深度强化学习具有神经网络的泛化性能路径解释性处理多跳推理环境:知识图谱智能体:深度神经网络CNN第 20 页20大纲1.研究背景2.前沿进展4.研究内容5.总结展望3.研究动机第 21 页21研究内容 概览概览基于层次强化学习的知识图谱推理第 22 页22研究内容1.基于层次强化学习的知识图谱推理第 23 页23背景 知识图谱的多语义问题知识图谱的多语义问题1.基于层次强化学习的知识图谱推理将FreeBase知识图谱中的实体进行预训练,然后得到 ,将 进行PCA降维可视化知识图
12、谱中的关系,通常含有多个语义簇歧义推理准确率下降第 24 页24背景 人类的分层决策机制人类的分层决策机制Sarafyazd M,Jazayeri M.Hierarchical reasoning by neural circuits in the frontal cortexJ.Science,2019,364(6441):eaav8911.分层推理依靠多次观察进行多次推理消解多语义、歧义认知过程的核心机制例子:动物-灵长目-猴子高水平(粗粒度)低水平(细粒度)1.基于层次强化学习的知识图谱推理第 25 页25背景123456观察x传统强化学习模型决策空间 分层强化学习分层强化学习问题子问题
13、1子问题2子问题3123456观察决策空间x分层强化学习更像人类思维提高知识推理的准确度,尤其是多语义问题分层强化学习模型1.基于层次强化学习的知识图谱推理第 26 页26方法 模型总览模型总览高层次策略:实体间状态转移低层次策略:层次化的子动作状态转移预训练表示向量聚类构建(TransE)1.基于层次强化学习的知识图谱推理第 27 页27方法 定义定义高水平策略状态:奖赏函数:=1,0,为目标节点 指历史信息向量=,0,=;=(,)策略函数:1=softmax(,;+,)低水平策略状态:奖赏函数:策略函数:=a1,a2,an 1,1=softmax(ReLU ;)1.基于层次强化学习的知识图
14、谱推理第 28 页28方法 强化学习的目标函数强化学习的目标函数 =;(,)最大化总奖赏函数利用REINFORCE方法优化该函数从而得到模型参数1.基于层次强化学习的知识图谱推理高水平策略函数优化低水平策略函数优化交替固定训练优化Williams R J.Simple statistical gradient following algorithms for connectionist reinforcement learningJ.Machine learning,1992,8(3-4):229-256.()1=1,=1log(11,1)()1=1,=1log 11,1第 29 页29实验部
15、分 数据集及评价指标数据集及评价指标链接预测指标:平均精准率(MAP):r(h,t)=?平均排序分数(MRR):(h,r,?)HitX:(h,r,?)数据集:FB15K-237(常识知识图谱)NELL995(自动从网页抽取并构建的知识图谱)WN18RR(语义知识图谱)多语义现象较多1.基于层次强化学习的知识图谱推理第 30 页30实验部分 链接预测(链接预测(HitX and MRR)实体预测:(h,r,?)1.基于层次强化学习的知识图谱推理表格2:在NELL-995,FB15K237,WN18RR上的实体预测实验第 31 页31实验部分 链接预测(链接预测(MAP)事实预测:(h,?,t)1
16、.基于层次强化学习的知识图谱推理表格1:在NELL995和FB15K-237上的关系连接预测实验在多语义问题上表现更好第 32 页32实验部分 可解释性的推理路径可解释性的推理路径1.基于层次强化学习的知识图谱推理表格3:RLH在FB15K237上的推理路径实例第 33 页33小结 提出一个分层强化学习的知识推理模型,该模型模仿了人类思维的方法。该模型可以学习知识图谱中关系的层次化语义簇,从而有助于解决推理过程的多语义问题。实验表明,该模型可以在标准的数据集上取得竞争性的结果,尤其在多语义问题上表现更好1.基于层次强化学习的知识图谱推理该工作发表于 2020 IJCAIWan G,Pan S,
17、Gong C,et al.Reasoning Like Human:Hierarchical Reinforcement Learning for Knowledge Graph ReasoningC/IJCAI 2020.第 34 页34研究内容2.基于贝叶斯强化学习的知识图谱推理第 35 页35背景 基于强化学习的知识图谱推理的挑战基于强化学习的知识图谱推理的挑战2.基于贝叶斯强化学习的知识图谱推理训练难以稳定a)蒙特卡洛抽样的方差大b)奖赏稀疏难以利用先验知识a)预训练语料b)属性信息c)先验分布单点分布的实体和向量a)不能表达语义不确定性第 36 页36背景 贝叶斯强化学习贝叶斯强化学
18、习2.基于贝叶斯强化学习的知识图谱推理基本假设:()网络参数为随机变量,服从某种概率分布贝叶斯学习+强化学习贝叶斯NN拟合神经网络拟合贝叶斯定理:,=,(|)(|)第 37 页37背景 贝叶斯强化学习贝叶斯强化学习2.基于贝叶斯强化学习的知识图谱推理贝叶斯网络神经网络优点:a)表达实体及关系的不确定性b)有利于权衡探索-利用关系c)通过随机性可以引入正则项,稳定Q网络/策略网络的训练优化d)可以使用知识的先验分布第 38 页38方法2.基于贝叶斯强化学习的知识图谱推理将知识图谱中的实体和关系设为高斯分布基于强化学习的知识图谱推理的Q函数 概述概述 (,)(,),=+(+1,+1)第 39 页3
19、9方法2.基于贝叶斯强化学习的知识图谱推理 定义马尔可夫决策过程定义马尔可夫决策过程状态S:奖赏函数:=1,0,1=(;)环境 ,为知识图谱动作:=(,)|(,0,1,)策略函数:=max(,),第 40 页40方法2.基于贝叶斯强化学习的知识图谱推理 定义定义Q函数函数Q函数定义:意义:在状态时,对未来获得Q函数值的期望,=+(+1,+1)问题:直接求解Q函数很难,通过神经网络拟合利用BayesianLSTM来拟合Q函数的隐状态:贝叶斯线性回归网络输出Q值()=(,(1),=第 41 页41方法2.基于贝叶斯强化学习的知识图谱推理 异策略用于有效的环境探索异策略用于有效的环境探索异策略:优化
20、策略函数与执行策略函数不同优化策略函数:执行策略函数:贪心,选取最好为训练目标,保证利用Tompson 采样,保证环境探索,=max,=arg max(,),第 42 页42方法2.基于贝叶斯强化学习的知识图谱推理 目标函数及网络优化目标函数及网络优化最小化Q函数网络的变分自由能:采样轨迹:蒙特卡洛梯度优化近似:具体实现:Bayes by Backpro算法优化参数Blundell,C.;Cornebise,J.;Kavukcuoglu,K.;and Wierstra,D.2015.Weight Uncertainty in Neural Network.In ICML,16131622.第
21、43 页43实验部分 链接预测(链接预测(MAP)事实预测:(h,?,t)2.基于贝叶斯强化学习的知识图谱推理表格4:GaussianPath在NELL995上的事实预测实验第 44 页44实验部分 链接预测(链接预测(HitX and MRR)实体预测:(h,r,?)2.基于贝叶斯强化学习的知识图谱推理表格5:在大规模知识图谱FB15K237,WN18RR,NELL995上的实体预测实验第 45 页45实验部分 链接预测(链接预测(HitX and MRR)实体预测:(h,r,?)2.基于贝叶斯强化学习的知识图谱推理表格6:在小规模知识图谱UMLS,Kinship上的实体预测实验最大推理长度
22、设定为2,退化为单步推理,也获得了较为竞争性的效果第 46 页46实验部分 训练收敛性训练收敛性2.基于贝叶斯强化学习的知识图谱推理GaussianPath(KG2E)GaussianPathMINERVA Q-path贝叶斯神经网络有效提高强化学习收敛类性可以引入先验分布知识收敛性:第 47 页47实验部分 不确定性推理样例不确定性推理样例2.基于贝叶斯强化学习的知识图谱推理箱式图展现推理过程的Q值分布第 48 页48实验部分 可解释性的推理路径可解释性的推理路径2.基于贝叶斯强化学习的知识图谱推理第 49 页49小结 提出一个贝叶斯强化学习的知识推理模型,该模型可以表达多跳推理路径的不确定
23、性 该模型可以利用贝叶斯网络的特性引入先验知识从而加速及稳定强化学习的网络的训练 实验表明,该模型可以在标准的数据集上取得竞争性的结果2.基于贝叶斯强化学习的知识图谱推理该工作发表于 2021 AAAIWan G,Bo Du.GaussianPath:A Bayesian Multi-Hop Reasoning Framework for Knowledge Graph Reasoning C/AAAI 2020.第 50 页50研究内容3.异质信息网络的自动元路径挖掘第 51 页51背景 异质信息网络异质信息网络3.异质信息网络的自动元路径挖掘电影网络引用网络知识图谱定义:给定一个图=(V,
24、E)实体类型 1,关系类型 1第 52 页52背景 元路径元路径3.异质信息网络的自动元路径挖掘一条实体关系类型序列:01122指节点的类型例如:“APA”Jiawei Hanpaper1Jian Pei刻画共同发表的关系“APVPA”:刻画同一个课题组的关系第 53 页53背景 应用应用3.异质信息网络的自动元路径挖掘信息检索数据挖掘推荐系统聚类分类连接预测排序下游任务第 54 页54背景 动机动机3.异质信息网络的自动元路径挖掘元路径方法的缺点:人工设计 非端到端的方法 长序列元路径设计困难元路径优点:语义表达准确 效率较高 含有图的结构特征可解释性好第 55 页55背景 动机动机3.异质
25、信息网络的自动元路径挖掘FSPG,贪婪树K-最短路径,遍历图随机游走采样Changping Meng,et.al.2015 WWWBaoxu Shi,et.al.2014 ICDM现有方法:问题:在离散空间计算搜索空间大强化学习,知识图谱多跳推理第 56 页56方法 概述概述3.异质信息网络的自动元路径挖掘第一步:在HIN上利用强化学习进行多跳推理,得到路径实例第二步:将路径实例归约为元路径第 57 页57方法 强化学习框架定义强化学习框架定义3.异质信息网络的自动元路径挖掘动作:状态:=(1,)奖赏函数:马尔可夫过程(,)=(,)|,0,.,=1 0=otherwise第 58 页58方法
26、规模化问题规模化问题3.异质信息网络的自动元路径挖掘HIN规模很大(百万级别实体及事实)=1类型上下文表示:节点表示由邻居节点的类型向量平均而来,而非每个节点分配一个向量第 59 页59方法 路径实例归约为元路径路径实例归约为元路径3.异质信息网络的自动元路径挖掘最低祖先算法(LCA)归约类型Person,Politician,President,Writer,ActivistPerson朴素LCA 算法(Bender et al.2005)第 60 页60实验部分 评价指标和数据集评价指标和数据集3.异质信息网络的自动元路径挖掘评价指标:平均准确率ROC 曲线数据集:Yago:大规模异质信息
27、网络NELL:知识图谱DatasetEntTypesRFactsYago4 milion0.8 million3812 miionNELL2 milion7588332.7 million与KG的区别:含有大量类型信息第 61 页61实验部分 链接预测实验链接预测实验3.异质信息网络的自动元路径挖掘在6个关系预测任务上均达到了最佳表现第 62 页62实验部分 挖掘的元路径挖掘的元路径3.异质信息网络的自动元路径挖掘 获得不同权重的元路径 较长长度的元路径 可以发现同义元路径第 63 页63小结 提出一个强化学习的模型,该模型可以在大规模异质信息网络上挖掘元路径 利用上下文表示可以大大缓解异质信
28、息网络的规模性问题 实验表明,即使利用简单的线性回归,挖掘的元路径也可以在大规模异质信息网络表现较好3.异质信息网络的自动元路径挖掘该工作发表于 2020 AAAIWan G,Bo Du.et.al.Reinforcement Learning based Meta-path Discovery in Large-scale Heterogeneous Information Networks C/AAAI 2020.第 64 页64研究内容4.基于集成学习的鲁棒知识图谱补全第 65 页65背景 知识图谱的错误知识问题知识图谱的错误知识问题4.基于集成学习的鲁棒知识图谱补全未完全性自动构建知识
29、图谱存在噪音和错误自底向上构建知识图谱时,由于信息抽取等NLP技术存在一定局限,导致错误知识加入Never-ending Language Learning(NELL)项目,持续构建知识图谱的准确率第 66 页66背景 知识图谱补全知识图谱补全4.基于集成学习的鲁棒知识图谱补全已有知识A+已有知识B+=新的知识例子:链接预测问题补充,更新知识图谱,获取潜在的隐藏知识目标知识图谱推理第 67 页67背景 现有知识表示算法的问题现有知识表示算法的问题4.基于集成学习的鲁棒知识图谱补全对噪音敏感J.Pujara,E.Augustine,and L.Getoor,“Sparsity and Noise
30、:Where Knowledge Graph Embeddings Fall Short,”2017,pp.17511756.第 68 页68计算资源消耗大采样方法未考虑图的结构信息方法 基于子图集成的鲁棒知识图谱补全基于子图集成的鲁棒知识图谱补全1.特征层自适应集成方法2.子图抽取方法直接集成:克服4.基于集成学习的鲁棒知识图谱补全第 69 页69方法 特征层自适应集成方法特征层自适应集成方法1.隐层特征级别集成方法()()预测时间与单个模型相同4.基于集成学习的鲁棒知识图谱补全=1,=1,=1,=(,).=1,=1,2.自适应权重分配,=,=1,=1,有效利用包外数据第 70 页70方法
31、子图抽取方法子图抽取方法事实级别子图抽取4.基于集成学习的鲁棒知识图谱补全经典集成学习:数据独立同分布假设知识图谱中的三元组:事实之间有拓扑关系第 71 页71实验部分 链接预测链接预测在人工添加噪音的数据集中提高了鲁棒性4.基于集成学习的鲁棒知识图谱补全第 72 页72实验部分 链接预测链接预测在天然噪音的数据集(NELL)中同样提高了鲁棒性4.基于集成学习的鲁棒知识图谱补全第 73 页73实验部分 子图采样的过程子图采样的过程4.基于集成学习的鲁棒知识图谱补全参数p调节子图采样的深度和宽度:广度优先搜索:深度优先搜索第 74 页74实验部分 自适应子图集成的解释性自适应子图集成的解释性4.
32、基于集成学习的鲁棒知识图谱补全可以根据在包外估计的效果,进行自适应集成(表现越好的基学习器,加权越大)第 75 页75小结提出的集成策略可以有效的提高现有方法的鲁棒性,自适应集成可以自动给置信度高的模型更高的权重,从而提高模型表现子图抽取考虑到了知识图谱中事实的拓扑关系,提高基学习器的多样性在人工噪音和天然噪音上的表现提升均说明提出模型的有效性相关工作发表在CCF B类期刊 World Wide Web Journal上Wan G,Du B,Pan S,et al.Adaptive knowledge subgraph ensemble for robust and trustworthy k
33、nowledge graph completionJ.World Wide Web,2020,23(1):471-490.4.基于集成学习的鲁棒知识图谱补全第 76 页76大纲1.研究背景2.前沿进展4.研究内容5.总结展望3.研究动机第 77 页77 总结总结总结和展望层次强化学习可以处理知识图谱的多语义问题,从而提高知识图谱推理的准确率,在推理的过程可以提供路径可解释性。贝叶斯强化学习可以增强多跳知识推理的泛化性能,提高训练稳定性,可以用于利用知识的先验分布。基于强化学习的方法可以融合路径推理和基于神经网络的优点,即能保持一定泛化性能,又能有一定的路径解释性。基于强化学习的知识推理可以应用
34、于知识图谱的元路径挖掘等任务,后续实验证明即使简单的元路径特征聚合也可以获得较好的连接预测效果。集成学习的策略可以提高浅层神经网络知识图谱嵌入算法的噪音知识鲁棒性。第 78 页78 展望展望总结和展望深度学习、神经网络的研究进入下一阶段,需要对神经网络的可解释性,鲁棒性进行更加深入的研究结合一阶谓词逻辑和神经网络,知识图谱推理可以进一步发展可解释性,例如利用神经网络实现逻辑操作进一步结合实际查询任务,例如问答系统,信息检索,实现端到端的可解释性知识推理第 79 页79致谢导师杜博 教授 老师潘石瑞 老师 实验室老师张乐飞教授 武辰副教授 王增茂副研究员 SIGMA实验室的兄弟姐妹第 80 页80请评委老师批评指正!请评委老师批评指正!感谢聆听!感谢聆听!