《2019年基于知识图谱的问答关键技术-从答案到自然答案.pdf》由会员分享,可在线阅读,更多相关《2019年基于知识图谱的问答关键技术-从答案到自然答案.pdf(69页珍藏版)》请在三个皮匠报告上搜索。
1、知识问答关键技术知识及问答概述精准知识问答技术自然问答关键技术总结与展望01020304知识问答关键技术知识及问答概述精准知识问答技术自然问答关键技术总结与展望01020304感知化符号化关联化度量化视觉听觉触觉味觉嗅觉语言与文字数据网络知识图谱信息表示发展历程知识表示目标:共享表达一:屠呦呦,1930年12月30日生于浙江宁波。表达二:屠呦呦,毕业于北京医学院(今北大医学部),2015年10月获得诺贝尔生理学或医学奖。知识生产者知识生产者知识消费者知识消费者知识分解知识分解知识组合知识组合每个人脑中都只有对局部世界的认知每个人脑中都只有对局部世界的认知需求一:屠呦呦是哪个省份的人又毕业于哪里
2、?需求二:屠呦呦是哪天出生的获得获得诺贝尔奖的时候她多少岁?语言与图谱:知识载体物理世界人的世界机器世界词语句子段落篇章语言系统语言组织与语言理解知识图谱实体概念事件规则知识表示与知识推理机器理解世界的基础:知识图谱量变才能引起质变量变才能引起质变语言系统&知识图谱:知识应用奠基石知识资源:量变过程中https:/lod- IDC统计,全球数据量以每年58%的速度增长,2020年将达到40ZB,是2011年数据总量的22倍交互方式的转变需要信息服务模式的转变 移动互联网以及可穿戴设备的飞速发展需要高效、准确的自然语言形式的信息服务方式问答系统是下一代搜索引擎的基本形态Prof.Oren Etz
3、ioniTuring CenterUniversity of Washington以直接而准确的方式回答用户自然语言提问的自动问答系统将构成下一代搜索引擎的基本形态Nature2011.8问答系统是未来信息技术的重要突破口 世界权威IT市场调查咨询公司高德纳(Gartner)2012年8月发布2012新兴技术成熟度曲线自然语言问答自然语言问答在 未 来 5-10 年将成为主要新兴技术关注点,极有可能迎来技术突破技术应用:WATSON金融辅助决策企业服务辅助医疗nWATSON应用于辅助医疗n全美每年20%的诊断(1.5 million)是错误或者不完全的n从海量医疗档案以及医学期刊进行Deep
4、Mining,挖掘有用的医疗信息,用户的病历作为Clue,挖掘最合适的诊疗方案n医生不再需要花费大量的时间去阅读海量的医学期刊,以获取知识的更新n用户也可以及时获得医疗咨询服务Siri 2012年 查天气 定日程 订机票 发短信 聊天机器人 不追求获取精准答案 社交性聊天机器人(SocialChatbots)EQ+IQ 微软小冰:Heung-YeungShum,XiaodongHe,DiLi.FromElizatoXiaoIce:ChallengesandOpportunitieswithSocialChatbots,2017.“chatbot”搜索热度Sutskeveretal.2014Il
5、yaSutskever,OriolVinyals,andQuocVLe.2014.Sequencetosequencelearningwithneuralnetworks.个人助理答题机器人“多达一”机器人:日本富士通联合日本国立信息学研究所的高考机器人项目(2011)微软创始人Paul Allen与华盛顿大学计划制造能够通过高中生物考试的系统 863:基于大数据的类人智能关键技术与系统问答系统概述:定义Marybur,AAAI 2003Question Answering(QA)is an interactive human computer process thatencompasses
6、understanding a user information need,typically expresses in anatural language query;retrieving relevant documents,data,or knowledgefrom selected sources;extracting,qualifying and prioritizing available answersfrom these sources;and presenting and explaining responses on an effectivemanner;定义输入:自然语言
7、的问句,而非关键词的组合谁获得1987年的诺贝尔文学奖?输出:直接答案,而非文档集合约瑟夫布罗茨基问答系统我国有两个省接壤的省份最多,与它们接壤的省分别有哪些?内蒙古:黑龙江、吉林、辽宁、河北、山西、陕西、宁夏、甘肃陕西:内蒙古、宁夏、甘肃、四川、重庆、湖北、河南、山西涉及到自然语言理解、知识表示、知识推理等人工智能的难点问题自然语言问句精确答案根据答案资源分类IR-based QA基于关键词匹配+信息抽取,仍然是基于浅层语义分析Community QA依赖于网民贡献,问答过程仍然依赖于关键词检索技术KB-based QAKnowledgeBase根据问答形式分类一问一答交互式问答阅读理解KB
8、-based QA应用KB-based QA 应用知识问答关键技术知识及问答概述精准知识问答技术自然问答关键技术总结与展望01020304知识问答的两类方法(问句)语义解析(Semantic Parsing):问句转换成形式化的查询语句,进行结构化查询得到答案检索&排序(Answer Retrieval&Ranking):简单的搜索得到候选答案,利用问句和答案的匹配程度(特征)进行排序where was Obama born?what is the name of justin bieber brother?任务:知识库问答对于给定的自然语言问句和关键字,返回确定的答案或对应形式化查询语句(S
9、PARQL语句)。问题:Which books by Kerouac were published by Viking Press?关键词:book,Kerouac,publish,Viking Press形式化查询:知识资源:组织方提供DBpedia和MusicBrainz知识库,另外自己可以使用任何资源和数据,包括YAGO,Freebase,WordNet等问题集:训练集340个问题,测试集60个问题。其中,大部分仅需要知识库就能回答,有少部分需要联合知识库和文本进行回答(训练集包括40个,测试集包括10个)。SELECT DISTINCT?uri WHERE?uri rdf:type d
10、bo:Book.?uri dbo:publisher res:Viking_Press.?uri dbo:author res:Jack_Kerouac.任务:NL2SQL WikiSQL是2017年提出的一个大型标注NL2SQL数据集,目前规模。Spider是耶鲁大学2018年提出的一个较大规模的数据集。包含了10,181条自然语言问句,内容覆盖了138个不同的领域。Spider引入了更多的SQL用法,例如Group By、Order By、Having,甚至需要Join不同表。更贴近于真实场景,难度更大。语义解析的任务语义解析:把自然语言句子映射成逻辑形式的表达式Lambda-演算逻辑表达
11、式:x.city(x)next_to(x,new_york)(有哪些城市靠近纽约)自由变量表达式(variable-free logical expression):answer(state(next_to(new_york)基于seq2seq完成自然语言到逻辑表达式的转换 把逻辑表达式看成另一种语言 可以把该过程当做翻译任务,因此可以利用seq2seq模型Language to Logical Form with Neural Attention.Li Dong et,al.2016.受限于训练语料,只能在限定领域工作。RNN应用:异步序列到序列 输入和输出不需要有严格的对应关系。比如在机器
12、翻译中,输入为源语言的单词序列,输出为目标语言的单词序列。输入和输出序列并不需要保持相同的长度。基于RNN的语言模型ICML2017,TutorialSeq2Seq:Sequence to Sequence Learning词汇表(如 30,000词表)输入序列输出序列ABCvDGOXYZXYZQSeq2Seq with AttentionKey:当前应该利用什么信息进行翻译?Beyond RNNAttisallyouneed,Vaswani,etal,2017Convseq2seq,Gehring,etal,2017Token-to-token:Seq2Tree 逻辑表达式具有层级结构 an
13、swer(J,(compa ny(J,microsoft),job(J),not(req_de g(J,bscs)lambda$0e(and(departuretime$0)1600:ti)(from$0dallas:ci)串到树的生成 自然语言句子:词串 逻辑表达式:符号串/层次树 自顶向下逐层生成,直至产生叶子节点Dong,L.,&Lapata,M.(2016).Language to Logical Form with Neural Attention.In ACL 2016.Token-to-token:Seq2Tree逐层解码表示非终结点Token-to-token:Coarse-t
14、o-Fine Decoding 逻辑表达式=框架符号+实例化符号Dong,L.,&Lapata,M.(2018).Coarse-to-FineDecodingforNeuralSemanticParsing.ACL2018.AdaNSP:基于自适应解码的神经语义解析 动机:目标符号有层次性,不同类型符号的预测难度不一样 引入不确定性作为强化信号来训练模型 简单符号直接预测 困难符号使用更多解码步数进行预测AdaNSP:Uncertainty-drivenAdaptiveDecodinginNeuralSemanticParsing.XiangZhang,ShizhuHe,KangLiu,Jun
15、Zhao.ACL2019知识问答关键技术知识及问答概述精准知识问答技术自然问答关键技术总结与展望01020304知识服务系统需要语言与知识能力大数据问答资源大数据问答资源大规模知识图谱大规模知识图谱问答和对话问答和对话系统系统语言表达语言表达+知识交互知识交互精确行业知识语言表达模式问答中语言理解、知识推理与语言生成 问题:姚明多高?答案:他身高2.26米 问答模式 XX多高XX身高YY米 知识交互 多高 知识推理 他自然问答:任务描述 知识问答中的自然答案生成 自然答案:自然语言形式表示的答案,答案包含的信息是自足的;自然答案(可能)的优势 普通用户更乐于接受能够自成一体的答案形式,而不是局
16、部的信息片段;自然答案能够对回答问句的过程提供某种形式的解释,还可以无形中增加用户对系统的接受程度;自然答案还能够提供与答案相关联的背景信息;完整的自然语言句子可以更好地支撑答案验证、语音合成等后续任务;数据标注更自然自然问答:研究意义 知识服务 社区问答 93.9%的回答句子超过1个词,83.4%超过3个词,73.4%超过5个词;在线客服 96.9%的回复超过1个词,84.7%超过3个词,76.3%超过5个词 研究背景:知识问答 vs.聊天机器人 知识问答:回答事实性问题 聊天机器人:满足情感类需求 知识服务:需要/不需要显示表示的知识(图谱)?问答问答(聊天类聊天类)对话对话自然问答自然问
17、答正确性正确性PP-PP一致性一致性-PPP流利性流利性-PPPP不同知识服务任务答复形式的关键特性比较问句:泰戈尔在哪出生的?问句:泰戈尔在哪出生的?问答问答印度加尔各答。(聊天类)(聊天类)对话对话喜欢泰戈尔的诗。自然问答自然问答诗人泰戈尔出生于印度加尔各答。不同知识服务任务答复形式示例面向知识图谱的自然答案生成 自然答案(自然语言句子)中的不同词需要使用不同方式获得(生成)一般词需要使用(条件)语言模型预测得到,如“was”,”born”等 主要的实体/短语需要从原始问句中拷贝得到,如“Jet Li”等 答案实体/短语需要相对应的知识库检索得到,如“Beijing”,”Singapore
18、”等COREQA:Incorporating Copying and Retrieving Mechanisms in QA ACL 2017自然答案中不同“词”的预测 3个输出层的并联:shortlist预测层(词汇表),question拷贝层(“词”在问句中的位置)和candidate-facts检索层(“词”对应哪个候选事实)每个问题都有自己的词汇表(instance-specificvocabulary):V$%&目标词yt的生成概率模型表示为如下的“混合”模型p),),-,$,%&=12),),-,)4 5|),),-+9:),),-,$4 5|),),-+2=),),-,%&4 5
19、|),),-自然答案中不同“词”的预测PrPredict-mode 12)4=1ABC(EF)CoCopy-mode 9:)4=1HAIJ(EF)?L:$NOEFReRetrieve-mode 2=)4=1HACP(EF)?L:QNOEF每种预测模式都是一个神经网络模块,每种预测模式都是一个神经网络模块,它们共享同一个归一化因子。它们共享同一个归一化因子。实验:事实问答 数据集:CQAQuestion-AnsweringPairs 基于ILP对齐Q-Apairs与KB(Yinetal.,2016)QAT1T2T3敢死队主演有谁?李连杰 史泰龙 阿诺施瓦辛格敢死队敢死队敢死队编剧主演主演史泰龙李
20、连杰史泰龙梅西在什么级联赛西班牙足球甲级联赛梅西梅西职业国籍足球西班牙段誉是谁的儿子段延庆和刀白凤段誉段誉生父父母段延庆刀白凤实验:事实问答实验效果自动评价(Automatic evaluation)包含正确答案实体的比率人工评价(Manual evaluation)准确性:答案正确与否 流利性:生成句子的自然程度与语法好坏 一致性:生成答案与问题的一致性实验:事实问答实验效果 自动评价(Automatic evaluation)人工评价(Manual evaluation)实验:事实问答结果示例真实场景中的知识库结构商品参数商品咨询面向半结构图谱的自然答案生成https:/ Learning
21、 for Natural Answer Generation IJCAI 2018 一个问题对应多个答案 24.56%的问题对应不只一个答案,这类问答对占比51.54%答案质量、难易程度参差不齐鲁迅的原名是什么?周树人恩部分部分噪声噪声这个都不知道,周树人贝!周树人实体实体周樟寿 周树人他原名周树人片面片面鲁迅原名周树人鲁迅原名周樟寿后改名周树人.完整完整原名周樟寿后改名为周树人答案平均长度与每个问题的平均答案个数基于课程学习的自然答案生成 课程学习:先易后难 通过课程学习(实例选择器)采样普通实例与目标实例,其中普通实例比例先高后低,目标实例采样概率先低后高答案选择器:评价答案的质量与复杂度
22、 词语层面词频选择器 词频是词语的重要特征,给定训练语料,分词后统计训练语料中所有词语的频率,设定频率阈值,高于该阈值的为高频词,其他词语中过滤极低频词,剩下的记为低频词。若答案中所有词语均为高频词,答案表达通用,缺少特有的知识,认为这类答案简单、质量较低,这种问答对记为普通实例。反之,若答案包含低频词,则认为答案相对复杂、质量较高,对应的问答对记为目标实例。答案选择器:评价答案的质量与复杂度 句子层面语法选择器 语法是句子的重要指标,采用StanfordParser得分(https:/nlp.stanford.edu/software/lex-parser.shtml)评估句子在语法上的性能
23、。通常,语法好的句子,Parser得分高,但是简短的词语(不是句子)得分也高,可以设置一个比例,以减少parser得分高的句子中简短词语的比例。最终Parser得分高的答案中,句子结构完整,简短词语较少,答案相对复杂,质量较高,这类问答对记为目标实例。反之,Parser得分低的答案相对简单,质量较低,对应的问答对记为普通实例。实验结果 自动评价结果 人工评价结果知识问答关键技术知识及问答概述精准知识问答技术自然问答关键技术总结与展望01020304总结 语义解析方法 准确率高,召回率低 能解决复杂问题(多实体关系、约束、极值等)适合限定领域、限定语言表达 可以经验性地解决,不需要训练机器学习方
24、法 便于控制,便于干预 自然问答方法 更友好的交互接口 知识驱动与数据驱动的融合 需要较高质量原始数据和配套知识资源大数据问答资源大规模知识图谱问答和对话系统语言表达语言表达+知识交互知识交互精确行业知识语言表达模式知识问答讨论:AI系统需要语言与知识能力知识问答讨论:性能 深度问答的性能 限定域深度问答:Geoquery(2001)问题相对更长更复杂,包含多个概念和关系 开放域深度问答:WebQuestion+Freebase(2013)问题相对更短更简单,一般只包含一个概念和一个关系方法方法限定域深度问答限定域深度问答开放域深度问答开放域深度问答符号表示方法CCG89.0%(Zettlem
25、oyer etal.2009)-DCS91.1%(Lianget,al.2011)39.9%(Berant et,al.2014)分布表示方法Sum-39.2%(Bordes et,al.2014)CNN-40.8%(Donget,al.2015)Attention87.7%(Donget,al.2018)42.9%(Haoet,al.2017)混合方法NN+Transition-53.6%(Huet,al.2018)知识问答 深度学习的本质 从原始数据中学习正确的表示 以分层次的计算方式来学习多步骤的程序 高层(抽象、复杂的)概念建立在底层(简单的)概念之上 问答任务 资源是否足够多 知识库
26、:远远不够,现有知识库都存在大量知识缺失,更不用说常识知识库的缺失了 问答语料:远远不够,目前单关系简单问题的语料可以达到10万级,但平均到每个任务(关系、属性)和每个概念就非常少了;Freebase包含2千多类概念和3万多关系 模型是否满足任务要求 自然语言大量存在顺序、树、图等复杂结构,而语音识别没有顺序、图像处理中的结构也相对简单,NLP中还需要探索更合适的模型 词用向量表示,短语、句子、段落和知识单元等更大语义单元也用向量表示是否足够?问答涉及复杂的推理任务,深度问答模型是否需要涉及数理逻辑推理?数理逻辑是人的本能吗?Deep learning can be regarded as t
27、he study of models that either involve a greater amount of composition of learned functions or learned concepts.知识问答 简单问题简单问题的问答形式虽然简单,但距离完全解决还有差距,目前只能取得75%的准确率知识库的不断增长和开放式关系抽取技术的发展,简单问题迎来突破简单问题使用定制化的(attention)深度神经网络能取得比传统方法更好的效果(42.9%vs.39.9%注:WebQuestion包括简单和复杂问题,此处没有区分)复杂问题 复杂问题占有一定比重(QALD中,复杂问题约占38%)受限于学习语料,目前复杂问句还部分依赖人工规则 目前,深度学习还未能在复杂问题上取得理想性能,一方面需要更多资源,另一方面需要设计更合适的模型(比如,对于问题“祖籍不在大陆的台湾男演员有哪些?”不仅仅处理串结构,还需要树、图结构)多源异构知识库 语言知识库、常识知识库、世界知识库、领域知识库等 不同类型知识库相辅相成,为用户提供更加全面和完整的知识资源。有效利用不同类型、不同领域知识库进行深度问答是一项有意义尝试Thank you!