1、DataFunSummitDataFunSummit#20242024大语言模型与知识图谱大语言模型与知识图谱机会与挑战机会与挑战张文 浙江大学 特聘研究员https:/drops.dagstuhl.de/storage/08tgdk/tgdk-vol001/tgdk-vol001-issue001/TGDK.1.1.2/TGDK.1.1.2.pdf DataFunSummitDataFunSummit#20242024 从知识表示的角度看从知识表示的角度看KG+LLMKG+LLM知识表示 知识表示知识表示 Knowledge Representationtext1960sELIZA2000s

2、RDF/OWL2010sKG2020sLLM知识表示 知识表示知识表示 Knowledge Representation 显式知识显式知识 (Explicit Knowledge)非结构化知识（文本、图片、视频等）结构化知识（编码了逻辑信息的，知识图谱、数据库等）长期共识：并不是所有的知识都适合显示化表示text1960sELIZA2000sRDF/OWL2010sKG2020sLLM知识表示 知识表示知识表示 Knowledge Representation 显式知识显式知识 (Explicit Knowledge)非结构化知识（文本、图片、视频等）结构化知识（编码了逻辑信息的，知识图谱、数

3、据库等）长期共识：并不是所有的知识都适合显示化表示 参数化知识参数化知识（Parametric Knowledge）并不是所有的参数化知识都能被转化为显式知识判断句子的情感极性谁是登上月球的第一人 text1960sELIZA2000sRDF/OWL2010sKG2020sLLM知识表示 知识表示知识表示 Knowledge Representation 显式知识显式知识 (Explicit Knowledge)非结构化知识（文本、图片、视频等）结构化知识（编码了逻辑信息的，知识图谱、数据库等）长期共识：并不是所有的知识都适合显示化表示 参数化知识参数化知识（Parametric Knowle

4、dge）并不是所有的参数化知识都能被转化为显式知识判断句子的情感极性谁是登上月球的第一人 显示的知识表示方法 -参数化的知识表示方法 -混合的知识表示方法 （知识图谱）（大语言模型）（知识图谱+大语言模型）text1960sELIZA2000sRDF/OWL2010sKG2020sLLM知识表示 知识表示知识表示 Knowledge Representation 显式知识显式知识 (Explicit Knowledge)非结构化知识（文本、图片、视频等）结构化知识（编码了逻辑信息的，知识图谱、数据库等）长期共识：并不是所有的知识都适合显示化表示 参数化知识参数化知识（Parametric Kn

5、owledge）并不是所有的参数化知识都能被转化为显式知识判断句子的情感极性谁是登上月球的第一人 显示的知识表示方法 -参数化的知识表示方法 -混合的知识表示方法 （知识图谱）（大语言模型）（知识图谱+大语言模型）text1960sELIZA2000sRDF/OWL2010sKG2020sLLM问：图书馆馆长的孩子中最问：图书馆馆长的孩子中最出名的是谁？出名的是谁？让我们一起看看一些辩题让我们一起看看一些辩题 知识表示和推理（显式知识表示和推理（显式 oror 隐式隐式）：语言模型中知识的学习依赖的是统计模式，并不是真正的理解和推理。LLM缺乏显式的知识存储，会产生高概率但错误的回答 LLM是

6、否能够具有directional entailment的能力,推理概念包含关系？知识图谱构建成本高 LLM训练成本也很高 但是LLM可用性很强，让AI从幕后到台前 总结：准确率V.S.召回率 之间的均衡让我们一起看看一些辩题 知识表示和推理（显式知识表示和推理（显式 oror 隐式隐式）：语言模型中知识的学习依赖的是统计模式，并不是真正的理解和推理。LLM缺乏显式的知识存储，会产生高概率但错误的回答 LLM是否能够具有directional entailment的能力,推理概念包含关系？知识图谱构建成本高 LLM训练成本也很高 但是LLM可用性很强，让AI从幕后到台前 总结：准确率V.S.召回

7、率 之间的均衡 高准确度的高准确度的KGKG构建方法构建方法 YAGO：95%准确性 Knowledge Vault 没有产品化：在测试集上没有达到 99%准确率 基于LLM的KG构建方法尚未达到高准确度的要求 总结：高准确度的KG构建方法有待研究让我们一起看看一些辩题 知识表示和推理（显式知识表示和推理（显式 oror 隐式隐式）：语言模型中知识的学习依赖的是统计模式，并不是真正的理解和推理。LLM缺乏显式的知识存储，会产生高概率但错误的回答 LLM是否能够具有directional entailment的能力,推理概念包含关系？知识图谱构建成本高 LLM训练成本也很高 但是LLM可用性很强

8、，让AI从幕后到台前 总结：准确率V.S.召回率 之间的均衡 高准确度的高准确度的KGKG构建方法构建方法 YAGO：95%准确性 Knowledge Vault 没有产品化：在测试集上没有达到 99%准确率 基于LLM的KG构建方法尚未达到高准确度的要求 总结：高准确度的KG构建方法有待研究 LLMLLM能否准确记忆和运用数值知识？能否准确记忆和运用数值知识？人的生日/年龄 等让我们一起看看一些辩题 长尾知识长尾知识：LLM到底记忆了多少知识？有实验表明LLM对wikidata中尾部知识的记忆明显差于头部知识 但KG中可以准确存储长尾的信息让我们一起看看一些辩题 长尾知识长尾知识：LLM到底

9、记忆了多少知识？有实验表明LLM对wikidata中尾部知识的记忆明显差于头部知识 但KG中可以准确存储长尾的信息 偏见、公平性、版权偏见、公平性、版权 训练数据中的偏见-LLM输出的偏见（是否会被放大？）需要处理LLM训练数据中存在的偏见 从模型的参数知识中删除知识，比在显式知识中删除难很多让我们一起看看一些辩题 长尾知识长尾知识：LLM到底记忆了多少知识？有实验表明LLM对wikidata中尾部知识的记忆明显差于头部知识 但KG中可以准确存储长尾的信息 偏见、公平性、版权偏见、公平性、版权 训练数据中的偏见-LLM输出的偏见（是否会被放大？）需要处理LLM训练数据中存在的偏见 从模型的参数

10、知识中删除知识，比在显式知识中删除难很多 可解释性可解释性 知识图谱在可解释性需求很强的领域受到较大欢迎 LLM不可解释，输出是如何生成的 解析注意力值/模型反思/CoT/资料溯源等机会与展望 即时访问大规模文本语料即时访问大规模文本语料 借用LLM对大规模文本进行处理和访问，避免数据收集、数据存储、大规模数据查询机会与展望 即时访问大规模文本语料即时访问大规模文本语料 借用LLM对大规模文本进行处理和访问，避免数据收集、数据存储、大规模数据查询 提供更丰富的知识提供更丰富的知识(LLM for KG)(LLM for KG)LLM极大地简化了知识工程流程 通过少样本微调、提示便可以让LLM学

11、会实体识别、关系抽取、语法依存树解析等 知识图谱的构建规模和质量有望得到提升 将显式知识和LLM进行交互，提升可应用性 总结：Knowledge is power机会与展望 即时访问大规模文本语料即时访问大规模文本语料 借用LLM对大规模文本进行处理和访问，避免数据收集、数据存储、大规模数据查询 提供更丰富的知识提供更丰富的知识(LLM for KG)(LLM for KG)LLM极大地简化了知识工程流程 通过少样本微调、提示便可以让LLM学会实体识别、关系抽取、语法依存树解析等 知识图谱的构建规模和质量有望得到提升 将显式知识和LLM进行交互，提升可应用性 总结：Knowledge is p

12、ower 更好的语言理解效果（更好的语言理解效果（KGKG for LLMfor LLM）语言歧义、排版错误、重复等 手写的、网络爬取的、其他嘈杂形式的机会与展望 即时访问大规模文本语料即时访问大规模文本语料 借用LLM对大规模文本进行处理和访问，避免数据收集、数据存储、大规模数据查询 提供更丰富的知识提供更丰富的知识(LLM for KG)(LLM for KG)LLM极大地简化了知识工程流程 通过少样本微调、提示便可以让LLM学会实体识别、关系抽取、语法依存树解析等 知识图谱的构建规模和质量有望得到提升 将显式知识和LLM进行交互，提升可应用性 总结：Knowledge is power

13、更好的语言理解效果（更好的语言理解效果（KGKG for LLMfor LLM）语言歧义、排版错误、重复等 手写的、网络爬取的、其他嘈杂形式的 压缩即是整合压缩即是整合 传统知识工程需要对冲突的信息进行整合 LLM压缩文本信息自然地完成了这个过程机会与展望 即时访问大规模文本语料即时访问大规模文本语料 借用LLM对大规模文本进行处理和访问，避免数据收集、数据存储、大规模数据查询 提供更丰富的知识提供更丰富的知识(LLM for KG)(LLM for KG)LLM极大地简化了知识工程流程 通过少样本微调、提示便可以让LLM学会实体识别、关系抽取、语法依存树解析等 知识图谱的构建规模和质量有望得

14、到提升 将显式知识和LLM进行交互，提升可应用性 总结：Knowledge is power 更好的语言理解效果（更好的语言理解效果（KGKG for LLMfor LLM）语言歧义、排版错误、重复等 手写的、网络爬取的、其他嘈杂形式的 压缩即是整合压缩即是整合 传统知识工程需要对冲突的信息进行整合 LLM压缩文本信息自然地完成了这个过程LLM-KG:增强KG的规模、质量和可用性KG-LLM:提升、实例化、校验LLM的输出，增强LLM的可信度和可用性表格知识抽取表格知识抽取Knowledge Extraction from Tabular Data知识图谱补全知识图谱补全(Inductive)

15、Link Prediction三元组抽取三元组抽取Triple Extraction本体模式构建本体模式构建Ontological Schema Construction 表格知识抽取表格知识抽取Knowledge Extraction from Tabular Data知识图谱补全知识图谱补全(Inductive)Link Prediction三元组抽取三元组抽取Triple Extraction本体模式构建本体模式构建Ontological Schema Construction *表格均来自网络*表格均来自网络元数据定义不清：表格名称，列名等元数据定义不清：表格名称，列名等结构复杂结构复

16、杂多模态信息多模态信息大语言模型增强知识图谱 表格知识抽取 表格预训练TURL1 1 Xiang Deng,Huan Sun,Alyssa Lees,You Wu,Cong Yu:TURL:Table Understanding through Representation Learning.SIGMOD Rec.51(1):33-40(2022)2 Nan Tang,Ju Fan,Fangyi Li,Jianhong Tu,Xiaoyong Du,Guoliang Li,Samuel Madden,Mourad Ouzzani:RPT:Relational Pre-trained Trans

17、former Is Almost All You Need towards Democratizing Data Preparation.Proc.VLDB Endow.14(8):1254-1261(2021)大语言模型增强知识图谱 表格知识抽取 表格预训练TURL1 RPT21 Xiang Deng,Huan Sun,Alyssa Lees,You Wu,Cong Yu:TURL:Table Understanding through Representation Learning.SIGMOD Rec.51(1):33-40(2022)2 Nan Tang,Ju Fan,Fangyi L

18、i,Jianhong Tu,Xiaoyong Du,Guoliang Li,Samuel Madden,Mourad Ouzzani:RPT:Relational Pre-trained Transformer Is Almost All You Need towards Democratizing Data Preparation.Proc.VLDB Endow.14(8):1254-1261(2021)RPT(Bart)应用效果大语言模型增强知识图谱 表格知识抽取 表格语义标注DODUO1 1 Yoshihiko Suhara,Jinfeng Li,Yuliang Li,Dan Zhang

19、,aatay Demiralp,Chen Chen,and Wang-Chiew Tan.Annotating columns with pre-trained language models.In SIGMOD,pages 14931503,2022.doi:10.1145/3514221.3517906.2 Keti Korini and Christian Bizer.Column type annotation using chatgpt.arXiv,2023.大语言模型增强知识图谱 表格知识抽取 表格语义标注DODUO1 使用ChatGPT21 Yoshihiko Suhara,Ji

20、nfeng Li,Yuliang Li,Dan Zhang,aatay Demiralp,Chen Chen,and Wang-Chiew Tan.Annotating columns with pre-trained language models.In SIGMOD,pages 14931503,2022.doi:10.1145/3514221.3517906.2 Keti Korini and Christian Bizer.Column type annotation using chatgpt.arXiv,2023.大语言模型增强知识图谱 表格知识抽取 表格语义标注DODUO1 使用

21、ChatGPT21 Yoshihiko Suhara,Jinfeng Li,Yuliang Li,Dan Zhang,aatay Demiralp,Chen Chen,and Wang-Chiew Tan.Annotating columns with pre-trained language models.In SIGMOD,pages 14931503,2022.doi:10.1145/3514221.3517906.2 Keti Korini and Christian Bizer.Column type annotation using chatgpt.arXiv,2023.挑战与机会

22、：将表格转化为序列的方法：转化为序列才能输入到语言模型中充分挖掘非文字性的表格数据：数值、日期、图片等提取表格知识：LLM常被用于处理和理解表格，但是并没有用于知识抽取表格知识抽取表格知识抽取Knowledge Extraction from Tabular Data知识图谱补全知识图谱补全(Inductive)Link Prediction三元组抽取三元组抽取Triple Extraction本体模式构建本体模式构建Ontological Schema Construction 大语言模型增强知识图谱 链接预测直推式链接预测归纳式链接预测1 Komal K.Teru,Etienne G.De

23、nis,William L.Hamilton:Inductive Relation Prediction by Subgraph Reasoning.ICML 2020:9448-94572 Liang Yao,Chengsheng Mao,Yuan Luo:KG-BERT:BERT for Knowledge Graph Completion.CoRR abs/1909.03193(2019)3 Russa Biswas,Radina Sofronova,Mehwish Alam,and Harald Sack.Contextual language models for knowledge

24、 graph completion.In MLSMKG,2021.4 Bo Wang,Tao Shen,Guodong Long,Tianyi Zhou,Ying Wang,and Yi Chang.Structure-augmented text representation learning for efficient knowledge graph completion.In WWW,pages 17371748,2021.图片来自1大语言模型增强知识图谱 链接预测 增加文本信息KGBert 2 KGGPT3 StAR 4 直推式链接预测归纳式链接预测1 Komal K.Teru,Eti

25、enne G.Denis,William L.Hamilton:Inductive Relation Prediction by Subgraph Reasoning.ICML 2020:9448-94572 Liang Yao,Chengsheng Mao,Yuan Luo:KG-BERT:BERT for Knowledge Graph Completion.CoRR abs/1909.03193(2019)3 Russa Biswas,Radina Sofronova,Mehwish Alam,and Harald Sack.Contextual language models for

26、knowledge graph completion.In MLSMKG,2021.4 Bo Wang,Tao Shen,Guodong Long,Tianyi Zhou,Ying Wang,and Yi Chang.Structure-augmented text representation learning for efficient knowledge graph completion.In WWW,pages 17371748,2021.图片来自1GPT-2GPT-2大语言模型增强知识图谱 链接预测 机会与挑战机会与挑战 LLM生成信息的正确性：事实正确性是否已经包含在图谱中了（实体

27、有多个名称）链接预测的评估指标主要是排序指标，需要对所有候选集打分，这个对LLM是巨大的挑战 链接预测评估的是从已有三元组中预测新知识的能力，LLM是因为记得相关事实而输出答案，还是推理得出很难判断 对于LLM没有训练的领域，面对新知识，需要给语言模型输入对应的schema，设计prompt的比较复杂，需要多次尝试，对于GPT4这样的模型成本较高 将结构信息融入LLM中直推式链接预测归纳式链接预测1 Komal K.Teru,Etienne G.Denis,William L.Hamilton:Inductive Relation Prediction by Subgraph Reasonin

28、g.ICML 2020:9448-94572 Liang Yao,Chengsheng Mao,Yuan Luo:KG-BERT:BERT for Knowledge Graph Completion.CoRR abs/1909.03193(2019)3 Russa Biswas,Radina Sofronova,Mehwish Alam,and Harald Sack.Contextual language models for knowledge graph completion.In MLSMKG,2021.4 Bo Wang,Tao Shen,Guodong Long,Tianyi Z

29、hou,Ying Wang,and Yi Chang.Structure-augmented text representation learning for efficient knowledge graph completion.In WWW,pages 17371748,2021.图片来自1表格知识抽取表格知识抽取Knowledge Extraction from Tabular Data知识图谱补全知识图谱补全(Inductive)Link Prediction三元组抽取三元组抽取Triple Extraction本体模式构建本体模式构建Ontological Schema Const

30、ruction 大语言模型增强知识图谱 三元组抽取LAMA Benchmark1LM-as-KB paradigm?1 Fabio Petroni,Tim Rocktschel,Sebastian Riedel,Patrick Lewis,Anton Bakhtin,Yuxiang Wu,and Alexander Miller.Language models as knowledge bases?In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Pro-cessing and the

31、9th International Joint Confer-ence on Natural Language Processing(EMNLP-IJCNLP),pages 24632473,Hong Kong,China,nov 2019.Association for Computational Linguist-ics.doi:10.18653/V1/D19-1250.2 Kai Sun,Yifan Ethan Xu,Hanwen Zha,Yue Liu,Xin Luna Dong:Head-to-Tail:How Knowledgeable are Large Language Mod

32、els(LLM)?A.K.A.Will LLMs Replace Knowledge Graphs?CoRR abs/2308.10168(2023)3 Blerta Veseli,Simon Razniewski,Jan-Christoph Kalo,Gerhard Weikum:Evaluating the Knowledge Base Completion Potential of GPT.EMNLP(Findings)2023:6432-6443大语言模型增强知识图谱 三元组抽取LAMA Benchmark1LM-as-KB paradigm?LLM对于不同分布的实体预测效果21 Fa

33、bio Petroni,Tim Rocktschel,Sebastian Riedel,Patrick Lewis,Anton Bakhtin,Yuxiang Wu,and Alexander Miller.Language models as knowledge bases?In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Pro-cessing and the 9th International Joint Confer-ence on Natural Language Proces

34、sing(EMNLP-IJCNLP),pages 24632473,Hong Kong,China,nov 2019.Association for Computational Linguist-ics.doi:10.18653/V1/D19-1250.2 Kai Sun,Yifan Ethan Xu,Hanwen Zha,Yue Liu,Xin Luna Dong:Head-to-Tail:How Knowledgeable are Large Language Models(LLM)?A.K.A.Will LLMs Replace Knowledge Graphs?CoRR abs/230

35、8.10168(2023)3 Blerta Veseli,Simon Razniewski,Jan-Christoph Kalo,Gerhard Weikum:Evaluating the Knowledge Base Completion Potential of GPT.EMNLP(Findings)2023:6432-6443LLM在保证一定预测准确率下的预测召回率3大语言模型增强知识图谱 三元组抽取LAMA Benchmark1LM-as-KB paradigm?LLM对于不同分布的实体预测效果21 Fabio Petroni,Tim Rocktschel,Sebastian Ried

36、el,Patrick Lewis,Anton Bakhtin,Yuxiang Wu,and Alexander Miller.Language models as knowledge bases?In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Pro-cessing and the 9th International Joint Confer-ence on Natural Language Processing(EMNLP-IJCNLP),pages 24632473,Hong Ko

37、ng,China,nov 2019.Association for Computational Linguist-ics.doi:10.18653/V1/D19-1250.2 Kai Sun,Yifan Ethan Xu,Hanwen Zha,Yue Liu,Xin Luna Dong:Head-to-Tail:How Knowledgeable are Large Language Models(LLM)?A.K.A.Will LLMs Replace Knowledge Graphs?CoRR abs/2308.10168(2023)3 Blerta Veseli,Simon Raznie

38、wski,Jan-Christoph Kalo,Gerhard Weikum:Evaluating the Knowledge Base Completion Potential of GPT.EMNLP(Findings)2023:6432-6443LLM在保证一定预测准确率下的预测召回率3一些已有发现一些已有发现：Prompt优化可以提升效果增加信息可以提升效果有害信息会降低效果低资源信息效果不佳Zero-shot能力不佳模型记忆了训练数据现在的LLM远远无法代替符号知识库有时不能准确召回事实大语言模型增强知识图谱 三元组抽取 LLMLLM的一些倾向（的一些倾向（biasebiase）表示

39、大多数 representation of the majority 忽略多角度的不同意见，遵从多数 LLM到底是学会的了可迁移的泛化性还是巧妙地利用了数据中的捷径？三元组抽取的自动提示工程大语言模型增强知识图谱 三元组抽取 LLMLLM的一些倾向（的一些倾向（biasebiase）表示大多数 representation of the majority 忽略多角度的不同意见，遵从多数 LLM到底是学会的了可迁移的泛化性还是巧妙地利用了数据中的捷径？三元组抽取的自动提示工程 机会与挑战机会与挑战 实体消歧：不同词组表示同一个实体、同一个词组表示不同实体。没出现在训练数据中的实体难消歧 处理长尾

40、实体/理解并利用上下文信息进行消歧/提升指代消解效果 长尾实体：没能正确记忆事实的时候会生成错误的信息 缺乏一致性 检索增强/微调等技术可用 高精确度LLM-KG：LLM如何能以准确率优先？LLM是否可以用于校验 validation 缺乏信息出处表格知识抽取表格知识抽取Knowledge Extraction from Tabular Data知识图谱补全知识图谱补全(Inductive)Link Prediction三元组抽取三元组抽取Triple Extraction本体模式构建本体模式构建Ontological Schema Construction 大语言模型增强知识图谱 本体模式构

41、建 知识图谱=实例层+本体层图片来自link1 Yushan Zhu,Huaixiao Zhao,Wen Zhang,Ganqiang Ye,Hui Chen,Ningyu Zhang,Huajun Chen:Knowledge Perceived Multi-modal Pretraining in E-commerce.ACM Multimedia 2021:2744-2752大语言模型增强知识图谱 本体模式构建 知识图谱=实例层+本体层图片来自link规则和约束检测规则和约束检测实体或事实之间是否有冲突删除错误信息推理缺失信息1 Yushan Zhu,Huaixiao Zhao,Wen

42、Zhang,Ganqiang Ye,Hui Chen,Ningyu Zhang,Huajun Chen:Knowledge Perceived Multi-modal Pretraining in E-commerce.ACM Multimedia 2021:2744-2752大语言模型增强知识图谱 本体模式构建 知识图谱=实例层+本体层图片来自link规则和约束检测规则和约束检测实体或事实之间是否有冲突删除错误信息推理缺失信息生成规则的方法生成规则的方法：领域专家：拥有知识但不具有写规则的能力自动/半自动化构建规则：AMIE，DRUM等1 Yushan Zhu,Huaixiao Zhao,W

43、en Zhang,Ganqiang Ye,Hui Chen,Ningyu Zhang,Huajun Chen:Knowledge Perceived Multi-modal Pretraining in E-commerce.ACM Multimedia 2021:2744-2752大语言模型增强知识图谱 本体模式构建 知识图谱=实例层+本体层图片来自link规则和约束检测规则和约束检测实体或事实之间是否有冲突删除错误信息推理缺失信息生成规则的方法生成规则的方法：领域专家：拥有知识但不具有写规则的能力自动/半自动化构建规则：AMIE，DRUM等机会机会：从文本中抽取规则：描述规则的文本自动生成

44、规则，依据演绎COT能力理解需要构建规则的领域词表，并将同义词和近义词结合提供规则的解释，生成符合/不符合规则的例子多模态-LLM：KG 作为一个的模态 11 Yushan Zhu,Huaixiao Zhao,Wen Zhang,Ganqiang Ye,Hui Chen,Ningyu Zhang,Huajun Chen:Knowledge Perceived Multi-modal Pretraining in E-commerce.ACM Multimedia 2021:2744-2752大语言模型增强知识图谱 本体模式构建但是需要将规则和KG中已有的信息对齐，需要将KG中已有的信息输入LLM大语言模型增强知识图谱 本体模式构建但是需要将规则和KG中已有的信息对齐，需要将KG中已有的信息输入LLM挑战和机会挑战和机会检索增强的规则抽取和生成：让LLM获取文档和KG，综合借用文档和KG中的信息生成规则LLM指导的规则解释和验证：给定一组规则，让LLM判断那些规则的置信度更高，并生成解释大语言模型与知识图谱https:/drops.dagstuhl.de/storage/08tgdk/tgdk-vol001/tgdk-vol001-issue001/TGDK.1.1.2/TGDK.1.1.2.pdf 感谢观看感谢观看谢谢大家！张文 浙江大学 特聘研究员