《基于图神经网络的搜索推荐算法与实践.pdf》由会员分享,可在线阅读,更多相关《基于图神经网络的搜索推荐算法与实践.pdf(22页珍藏版)》请在三个皮匠报告上搜索。
1、输入标题 Title 2023 DataFunSummit基于图神经网络的搜索推荐算法与实践基于图神经网络的搜索推荐算法与实践演讲人:楼星雨OPPO拓扑Lab高级机器学习算法工程师输入标题 Title 目录目录图神经网络背景介绍OPPO业务场景实践未来展望C Contentsontents图在推荐系统的应用范式及介绍输入标题 Title 输入标题 Title 图表征学习简介图表征学习经历了因式分解、随机游走随机游走和深度模型深度模型三个阶段万物皆可表征万物皆可表征图神经网络Liu,Xueyi,and Jie Tang.Network representation learning:A macr
2、o and micro view.AI Open 2(2021):43-64.输入标题 Title 基于随机游走的方法从图结构数据上采样序列,将图结构学习任务转化为序列上下文建模的任务,类比于NLP中的Word2Vec方法。因子分解方法(如 LLE,GraRep等)面临的问题:对非线性的拟合能力不足计算复杂度高图游走类方法的优点(如DeepWalk,Node2Vec等):可解释性强可学习高阶相似信息图游走类方法面临的问题:仅考虑拓扑结构信息静态表征、无法端到端信息缺少参数共享、参数量随节点数量线性增长图游走类Chami,Ines,et al.Machine learning on graphs
3、:A model and comprehensive taxonomy.Journal of Machine Learning Research 23.89(2022):1-64.输入标题 Title 基于谱域的图卷积https:/perraudin.info/gsp.php输入标题 Title 基于谱域的图卷积连接图卷积和图谱滤波的桥梁连接图卷积和图谱滤波的桥梁使用Chebyshev多项式来近似图滤波器连接谱域卷积和空域卷积的桥梁连接谱域卷积和空域卷积的桥梁使用一阶Chebyshev多项式来近似图滤波器感受野正比于图卷积层数https:/tkipf.github.io/graph-convo
4、lutional-networks/输入标题 Title 基于空域的图卷积基于消息传递(Message Passing)范式,降低计算复杂度,扩展成归纳学习任务,对未知节点起到泛化作用Hamilton,Will,Zhitao Ying,and Jure Leskovec.Inductive representation learning on large graphs.Advances in neural information processing systems 30输入标题 Title 图在推荐系统中的价值用户行为数据天然以图的形式存在图直接将不同类型的行为包含起来图直接将不同场景的信息
5、关联起来图中丰富的信息能有效改善目标行为稀疏、冷启动的问题useritemattru1u2u3i1i2i3a1a2u1u2u3i1i2u1u2u3i1i2a1a2i3输入标题 Title 图神经网络在推荐系统中的优势u1u2u3i1i2传统模型u1u2u3i1i2a1a2i3图神经网络模型无邻居聚合u1u2u1u2u3u1u2u3t=T-Nt=T-N+1t=Ti1i2i1i2i1i4iid Training按时间展开节点每个时间点的特征可以不一样邻居聚合不按时间展开u1u2u3i1i2i3a1a2静态视角建模可用信息量建模可用信息量:图神经网络图神经网络 传统模型传统模型u1u2u3i1i2a
6、1a2i3t=T-Nu1u2u3i1i2a2i3a1non-iid Training可聚合前序邻居邻居聚合按时间展开t=T节点每个时间点的特征可以不一样输入标题 Title 输入标题 Title 图在推荐系统中的应用范式场景为主图为辅,从应用方式的角度出发分大类,再根据算法细节分子类图召回路图融合图特征图子网络明文类特征Embedding类特征图特征图子网络明文类特征Embedding类特征图策略图表征图端到端图预训练对比类生成类预测类user-toweritem-toweruser-tower&item-tower特征精炼特征交互行为兴趣挖掘知识图谱社交网络行为网络冷启动多域多行为建模输入标
7、题 Title 图召回业界工作例举图端到端图端到端图预训练图预训练图子网络图子网络图模块为主,推荐任务为监督信号主要来源图模块为主,自监督任务为监督信号主要来源,可直接以Embedding方式赋能召回,也可以作为 初始化或子网络基于推荐任务微调图模块为辅,主模型结构多为双塔,下游目标任务为监督信号主要来源知识图谱行为网络KGATPinSAGE对比学习生成式EGESPretrain-Recsysuser-tower&item-towerAdsGNNDHGAT输入标题 Title 图精排业界工作例举图特征图特征图子网络图子网络明文特征:拓扑特征(最短路径、中心性等)或任务相关特征(如k-hop邻居
8、的历史CTR等)Embedding特征:一般针对精排模型面临的某一类待优化的方向(如冷启动、多场景、多行为)冷启动多场景、多行为GMETwHIN特征精炼作为整个精排模型的一个子模块端到端训练,一般基于图自身的特征聚焦于赋予或提升精排模型的某个特定功能(如特征精炼(Refine)、特征交互(Interaction)、意图挖掘(Intention)、冷启动(Cold-Start)等)DG-ENN特征交互Fi-GNN意图挖掘GIN输入标题 Title 输入标题 Title 图架构输入标题 Title OPPO应用商店搜索相关性要求高Query分布存在长尾问题Query存在语义不明确的问题App与Qu
9、ery语义信息不一致输入标题 Title 图召回-子网络相关性要求:图端到端图端到端模型过度依赖高阶邻居,一方面可能会引入非相似兴趣用户噪声,另一方面可能会引入非相似意图query噪声,从而影响整体相关性双塔模型双塔模型基于节点自身及一阶交互关系建模,虽带有泛化性,但对于相关性仍有较好保证。图子网络图子网络高阶关系为辅,但若在用户塔不恰当地引入高阶邻居信息,同样会存在稀释用户当前意图的问题query存在长度短、分布长尾的特点:直接使用双塔模型基于语义建模信息不充分用户历史query序列较短、新用户无法覆盖用户历史query序列仍然被头部query占据主导App与Query语义信息不一致:App
10、可用的物料和信息比较有限Ad存在大量图文不符的素材长尾Query语义与App语义不对齐 双塔优势 图模型不足&双塔不足图模型优势双塔双塔+item侧图子网络侧图子网络输入标题 Title App图召回-子网络Loss FunctionUser-TowerApp-TowerFC&NormFC&NormFusionFusionFusionEmbedding LayerQueryUserNeighboorFusion输入3-hop子图增强App表征并缩进Query与App的语义Gap:p1-hop 交互Queryp2-hop 行为相似Appp3-hop 交互稀疏App友好Querypk-hop邻居分
11、别直接聚合并自适应学习融合权重App-Tower的两个子网络的App特征Embedding不共享图子网络与User-Tower共享Query相关特征EmbeddingRECALL+0.75%,MRR+2.72%FC&NormFC&NormFC&NormFC&NormFC&NormFC&NormFC&NormFC&Norm输入标题 Title 图精排-特征交互结合GMCF、GraphFM、L0-Sign各自优势挖掘显式交叉特征:p 按拆分user和Item拆分feature group兼顾inner-interaction和cross-interactionp feature group内部和之间自动学习边权p 使用L0正则保证稀疏性p Stacking 2-layer建模低阶和高阶特征交叉AUC+0.11%,GAUC+0.2%Deep Neural NetworkAppQueryUserContextFusion LayerpCTR输入标题 Title 未来展望图预训练图预训练 利用用户、应用、广告等实体在多个场景的多种交互行为得到统一的预训练表征或模型噪声过滤噪声过滤 图模型带来信息的同时也带来噪声,噪声信息则适得其反 输入标题 Title 2023 DataFunSummit演讲人:楼星雨OPPO高级机器学习算法工程师