《美团大脑系列:新零售场景下商品知识图谱的构建及应用-陈凤娇.pdf》由会员分享,可在线阅读,更多相关《美团大脑系列:新零售场景下商品知识图谱的构建及应用-陈凤娇.pdf(46页珍藏版)》请在三个皮匠报告上搜索。
1、美团大脑系列 新零售商品知识图谱的构建及应用陈凤娇 技术专家美团/搜索与NLP部/知识图谱组人工智能两大驱动力人工智能两大驱动力深度学习(隐性模型)知识图谱(显性模型)面向具体任务(e.g.人脸识别)海量训练数据、计算资源黑盒模型,难以解释广泛适用于不同任务海量知识数据具有较高可解释性知识推理知识挖掘知识计算知识嵌入感知认知全球互联网公司在知识图谱的布局全球互联网公司在知识图谱的布局微软Google阿里巴巴亚马逊2010年开始构建Satori和Probase,应用于微软的搜索、广告、Office 365、Cortana等项目Baidu2012年发布Google Knowledge Graph,
2、应用于搜索引擎、智能助理等项目2013年布局中文知识图谱,主要在搜索、助理、及toB商业上化方向2015年开始构建,应用于智能导购、搜索、智能问答、大促、新零售等项目2016年开始构建,应用于查询理解、推荐引擎、搜索、问答等领域 美团于美团于20182018年启动年启动“美团大脑美团大脑”知识图谱项目知识图谱项目目录目录美团大脑简介美团大脑简介美团新零售场景零售商品图谱的构建零售商品图谱的应用未来工作美团大脑是什么美团大脑是什么?美团大脑美团大脑 是正在构建中的全球最大全球最大的生活生活服务领域服务领域 知识图谱,用人工智能技术赋能业务,改进用户体验。帮大家吃得更好,生活更好!2020亿亿+商
3、品商品2 2亿亿+店菜店菜100100万场景万场景7070亿用户评价亿用户评价3,0003,000万商家万商家生活服务领域需要生活服务领域需要“知识大脑知识大脑”十人聚餐头疼知识召回知识召回知识问答知识问答复杂条件搜索复杂条件搜索可可解释性解释性知识校验知识校验美团大脑的技术全景图美团大脑的技术全景图多源异构数据半结构化数据半结构化数据结构化知识结构化知识实体识别实体识别知识获取关系抽取关系抽取标签挖掘标签挖掘情感分析情感分析知识表示知识融合实体对齐实体对齐实体链接实体链接体系构建体系构建向量表示向量表示知识补全知识补全知识计算知识推理知识推理图嵌入表示图嵌入表示知识问答知识问答智能搜索智能搜
4、索知识落地精准推荐精准推荐智能助理智能助理商业分析商业分析数据运营数据运营知识管理系统知识管理系统图存储引擎图存储引擎图学习引擎图学习引擎图查询引擎图查询引擎架构与平台非结构化文档非结构化文档用户评论、查询词、商品标题、商家标签、说明书、话题、菜谱、百科、运营、美团大脑的目标美团大脑的目标餐 饮商 品药 品酒 旅到 综常 识围绕吃喝玩乐,构建生活服务领域超大规模的知识图谱围绕吃喝玩乐,构建生活服务领域超大规模的知识图谱目录目录美团大脑简介美团新零售场景美团新零售场景零售商品图谱的构建零售商品图谱的应用未来工作美团的新零售业务美团的新零售业务“万物到家万物到家”新零售对图谱的需求新零售对图谱的需
5、求商品数量更大、覆盖领域更宽显示信息少且粗糙更加依赖知识图谱商品图谱构建的目标商品图谱构建的目标多层级多层级不同业务方、不同使用场景中,“商品”的含义不同粒度从商户下挂的SKU,到概念型的商品类目多维度多维度对于商品各个属性维度的理解通用维度 品牌、规格、包装等特有维度 是否含糖、脂肪含量跨业务跨业务客观的商品图谱支持和打通各商品业务目录目录美团大脑简介美团新零售场景零售商品图谱的构建零售商品图谱的构建零售商品图谱的应用未来工作商品图谱构建商品图谱构建 多层级多层级 商品商品SKU/SPUSKU/SPU 家乐福的蒙牛高钙牛奶250ml袋装 标准商品标准商品(客观商品客观商品)蒙牛高钙牛奶250
6、ml袋装 抽象商品抽象商品(用户认知用户认知)蒙牛高钙牛奶 图谱品类图谱品类 高钙牛奶、牛奶 业务类目业务类目 乳制品、饮品家乐福的蒙牛袋奶好便宜蒙牛牛奶好喝吗商品图谱构建商品图谱构建 标准商品标准商品标准商品 vs 非标准商品标品的商品条码(客观商品层)无论销售渠道、方式,商品条码与标品唯一对应;美团商品数据情况标品关联存在缺失和错误6922646107391公牛GN-H1440*3公牛 H1440插板 3m/个公牛 H1440插板 1个/份公牛八位双重防雷转换器H1440/3m数十亿商品SPU百万标品公牛插座防雷H1440(3-3)公牛防雷插座3米8位H1440防雷插座3米插座/插板公牛H
7、1440长度品类品牌型号铁山狼插排3米 1个/份链接缺失链接错误商品同义判别任务远监督构造百万训练数据模型效果准确率达到99%+模型能够做到 品牌、规格、包装等维度敏感商品图谱构建商品图谱构建 图谱品类图谱品类品类是什么商品的本质、承载用户精细需求的商品粒度品类体系和类目体系的区别粒度更细、更加精准的定位商品构建以算法模型指导为主,非人工运营主导品类体系的构建品类节点品类和商品关联品类和品类的同义关联品类和品类的同义关联品类和品类的上下位关联品类和品类的上下位关联类目体系品类体系商品图谱构建商品图谱构建 品类体系品类体系初步尝试训练集:百科数据、业务积累基于搜索行为挖掘候选:simrank,n
8、ode2vec,metapath(统计)通过语义模型判别-准确率85%分析问题短文本语义难表达,西瓜、麒麟瓜、蜜瓜点击共现行为稀疏,难以区分,难以覆盖长尾1.1.标题包含同义标题包含同义/上下位词上下位词2.2.点击指示标题中的品类词点击指示标题中的品类词关系抽取不依赖用户行为覆盖长尾商品准确率85%-93%85%-93%商品图谱构建商品图谱构建 品类体系品类体系标题没有共现怎么办?蜜瓜沙洲绿宝哈蜜瓜哈蜜瓜 日本网纹瓜网纹瓜商品图谱构建商品图谱构建 属性属性商品标题商品图片半结构化数据乐事(Lays)薯片 休闲零食 黄瓜味 135克熊博士果Q弹橡皮糖热带水果60g/袋商商品品介介绍绍图图百百科
9、科知知识识商商户户数数据据属性维度属性标签品牌乐事品类薯片口味黄瓜味包装袋装规格135克标签香脆可口产地北京周边属性维度数据周边属性维度数据充分利用各类数据源充分利用各类数据源商品图谱构建商品图谱构建 属性属性 标题解析标题解析实体识别 乐事/品牌品牌 薯片/品类品类 休闲/场景场景 零食/品类品类 黄瓜味/口味口味 135克/规格规格初步尝试Bert+CRF-F1=86.26%分析问题标注难覆盖全部品类、品牌标注数据含有较多噪音消歧需要依赖常识知识引入图谱节点引入图谱类型引入图谱关系实体识别-知识的引入节点信息节点信息图谱节点作为词典,以softlexicon方式接入缓解NER边界问题关联信
10、息关联信息基于图谱结构进行表征学习产出单字、词的嵌入表示接入NER模型缓解常识知识缺失的问题节点类型信息节点类型信息对于不同图谱类型下的单字、词嵌入进行表征利用注意力机制根据上下文聚合不同类型的表征缓解不同类型下词语含义不同的问题,黄瓜/品类 黄瓜/属性商品图谱构建商品图谱构建 属性属性 标题解析标题解析融合图谱信息后:融合图谱信息后:+2 2PPPP商品图谱构建商品图谱构建 人效提升人效提升商品图谱构建商品图谱构建 人效提升人效提升商品图谱构建商品图谱构建 人效提升人效提升商品图谱构建商品图谱构建 人效提升人效提升商品图谱构建商品图谱构建 人效提升人效提升商品图谱构建商品图谱构建 人效提升人
11、效提升商品图谱构建商品图谱构建 人效提升人效提升商品图谱构建商品图谱构建 人效提升人效提升商品图谱构建商品图谱构建 人效提升人效提升商品图谱构建商品图谱构建 数据沉淀数据沉淀目录目录美团大脑简介美团新零售场景零售商品图谱的构建零售商品图谱的应用零售商品图谱的应用未来工作商品图谱的应用商品图谱的应用商品图谱的应用商品图谱的应用 -结构化召回结构化召回商品图谱的应用商品图谱的应用 -排序模型相关性排序模型相关性商品图谱的应用商品图谱的应用 -结构化信息展示结构化信息展示商品筛选项商品筛选项商品标签展示商品标签展示商品榜单商品榜单商品推荐理由商品推荐理由商品图谱的应用商品图谱的应用 -商家智能运营商
12、家智能运营搜索日志搜索日志消费行为消费行为用户评论用户评论美团大脑美团大脑商品用 户商 家运 营搜索推荐问答推理表征知识挖掘知识应用模型增强产品优化数据治理自然语言处理图存储、图计算美团大脑正在构建中的全球最大的生活服务领域知识图谱,用人工智能技术赋能商家,改进用户体验分析决策打通多业务多场景平台化提升构建效率结合多源异构数据业务图谱的局限业务图谱的局限美团背景-业务线众多业务是不同的知识是普适的美团大脑1.0的局限性各业务独立建设图谱,大量重复工作新业务的数据稀疏,建模难度大业务数据存在壁垒,无法互通互联无法对各业务实现统一理解,平台搜索/推荐受限医 美剧本杀商 品药 品酒 旅电 影餐饮美团大脑美团大脑2.02.0:跨业务、跨领域的:跨业务、跨领域的CROSSCROSS图谱图谱从 业务图谱业务图谱 向 CROSSCROSS图谱图谱 迈进美团大脑美团大脑2.02.0 CROSS图谱图谱美团大脑美团大脑2.02.0 -CROSSCROSS图谱图谱从用户需求出发,构建跨领域知识图谱美团大脑美团大脑2.02.0 -CROSSCROSS图谱图谱数据互通互联数据互通互联用户需求理解用户需求理解知识高效迁移知识高效迁移跨领域联动跨领域联动更多技术干货欢迎关注“美团技术团队”ThanksThanks !加入我们加入我们工作地点:北京、上海简历投递:微信:cfj_monkey(陈凤娇)