1、图神经网络在推荐系统中的应用与探索郭威华为 诺亚方舟实验室|自我介绍郭威，本科毕业于西安电子科技大学硕士毕业于武汉大学2019年6月入职华为诺亚方舟实验室研究方向：深度学习，用户行为建模、图表征学习等在推荐系统中的应用在国际顶级会议KDD、SIGIR、WWW、ICDE等发表论文10多篇。|诺亚推荐团队研究方向介绍深度学习模型知识图谱/GNN多目标/迁移学习多模态融合推荐列表式推荐/重排序反事实学习/纠偏AutoML广告系统竞价算法基于预训练的IR技术分布式训练及优化2019年至今，团队在KDD/SIGIR/NeuaIPS/AAAI/IJCAI/RecSys等顶会发表论文50+篇DeepFM(I

2、JCAI2017)，引用次数1300+，2016-2020年IJCAI论文被引用次数第1；AutoFIS（KDD2020），best paper candidate（top 10）EDCN（DLP-KDD2021），best paper award持续支撑应用市场、游戏中心、信息流、广告、音乐等个性化推荐场景算法及优化01推荐系统和图神经网络推荐系统和图神经网络02图神经网络用于召回图神经网络用于召回0304图图神经网络用于重排神经网络用于重排目录目录 CONTENT图神经网络图神经网络用于用于精排精排|推荐系统和图神经网络01|信息过载和个性化推荐音乐电商信息流社交网络位置服务视频华为应用市

3、场华为游戏中心海量信息使得个性化推荐系统被大量应用推荐系统在华为许多场景被应用广告推荐APPAPP分发华为视频华为音乐华为阅读华为负一屏华为云华为商城华为浏览器|图神经网络用于推荐系统用户画像 相似的人物品属性 相似的物品上下文信息场景信息、浏览轨迹历史行为购买记录、浏览记录.物品(Item)(Item)用户(User)(User)特征(Features)(Features)物品池排序重排序几百万OutputLists几千几百几十典型的商业推荐系统的结构匹配用户用户-用户用户联系联系社交关系社交关系相同属性相同属性物品物品-物品物品联系联系相同的属性相同的属性外部的知识外部的知识用户用户-物品

4、交互物品交互隐式反馈隐式反馈显式反馈显式反馈图神经网络用于召回02|基于图神经网络的召回模型：业界研究工作Pinsage：KDD2018LightGCN：SIGIR2020NGCF：SIGIR2019NIA-GCN：SIGIR2020（诺亚)Multi-GCCF：ICDM2019（诺亚)DGCF：SIGIR2020SGL：SIGIR2021NCL：WWW2022图的引入多图结构优化图对比学习NIA-GCN:邻居交互感知的图卷积网络已有GCN召回模型存在的关键问题:忽略了用户-商品二部图存在的异质性（user和item是两种不同的节点）简单的聚合函数（mean,max，LSTM）在聚合邻居信息时

5、限制了模型的表达能力如下图：左边的两个子图Max函数不能区分，右边的两个子图Mean函数不能区分LSTM函数：不是排列不变的，且难以训练Sun et al.,Neighbor interaction aware graph convolution networks for recommendation,SIGIR 2020.|NIA-GCN:邻居交互感知的图卷积网络Pairwise Neighborhood Aggregation Graph Convolution Layer(PNA):把每个邻居作为中心节点的特征利用邻居间的哈德玛积来捕获邻居间特征交互完整的邻居汇聚以及中心节点-邻居聚合过

6、程|NIA-GCN:邻居交互感知的图卷积网络Parallel-GCNs:preservethe heterogeneous natureCross-Depth Interaction(CDI):for the Final representationNIA-GCN:邻居交互感知的图卷积网络 NIA-GCN outperforms the next best method from 2.9%to 21.8%|GraphSAIL:GCN在召回场景的轻量化Xu et al.,Graphsail:Graph structure aware incremental learning for recomm

7、ender systems,CIKM 2020.|增量学习容易遇到的问题:灾难性遗忘：增量更新的模型在新数据上过拟合，忘记了在旧模型上学习到的知识已有的增量学习解决方案:正则化：将旧模型上学习到的知识蒸馏到增量学习的新模型蓄水池：保留一部分旧数据，和新数据混合在一起用于增量学习GraphSAIL:GCN在召回场景的轻量化|Embedding蒸馏:新学习得到得embedding不应该偏离旧的embedding太远，正则化系数保证变化大的节点，权重蒸馏权重小局部结构（一阶邻居）蒸馏:中心节点和一阶邻居的相似度不应该偏离太远GraphSAIL:GCN在召回场景的轻量化全局结构蒸馏:首先将user节点

8、和item节点进行聚类，得到K个类中心，是类中心的平均embedding,是节点u和每个类中心的相对距离蒸馏节点的全局位置通过维持节点和类中心的相对距离类中心老师模型分布匹配学生模型GraphSAIL:GCN在召回场景的轻量化Fine-tune(FT):一个简单的基线模型，直接用新数据来fine-tune旧模型Embedding distillation(Emb_d):embedding蒸馏的不加权版本LSP_s:一个最近的利用知识蒸馏来保留每个节点的一阶局部结构的工作图神经网络用于精排03|基于图神经网络的精排模型：业界研究工作GraphFM（arxiv）GMT：SIGIR2022FiGNN

9、：CIKM2019L0-SIGN：AAAI2021HIEN：SIGIR2022DGENN：KDD2021（诺亚)https:/ et al.,Deep Learning for Click-through Rate Estimation,IJCAI 2021.Guo et al.,Dual Graph enhanced Embedding Neural Network for CTR Prediction.KDD2021DIEN:AAAI2019DIN：KDD2018SIM：CIKM2020基于特征交互建模的CTR预估模型基于用户行为建模的CTR预估模型CTR模型发展趋势|DGENN:双图增强

10、的嵌入神经网络问题及挑战：特征稀疏性以及行为稀疏性点击?CTR(0.15)=,=,=,存在大量的稀疏特征在训练数据中只出现很少的次数存在大量的用户只有很少的历史交互Guo et al.,Dual Graph Enhanced Embedding Neural Network for CTR Prediction,KDD 2021.|DGENN:双图增强的嵌入神经网络MLPRepresentation LearningEmbedding解决方案：利用图表征学习引入样本间特征关联：解决特征稀疏性问题用户间行为关联：解决行为稀疏性问题已有的模型结构可以分为embedding层、表征学习、预测层三部分

11、，我们利用图表征学习来优化embedding层，因此我们的模型可以作为插件应用于大部分已有的CTR模型图学习策略：为了从包含关系的用户商品异质图中学习，我们提出分治策略：先构建单属性图，再汇聚所有属性信息课程学习策略：先学习用户-商品各自的表征，再学习用户-商品的协同关系构图:(1)属性图；（2）user-user相似性图；（3）item-item共现图；（4）user-item协同图|在多个数据集上相比已有基线模型大幅提升。作为插件作用于多个基线模型，均取得明显提升。属性图，用户-用户图，商品-商品图，用户-商品图是互补的，可以组合起来提升最终的效果。DGENN:双图增强的嵌入神经网络GCN

12、在精排场景的轻量化|图预训练+fine tune:Qiu et al.,GCC:Graph Contrastive Coding for Graph Neural Network Pre-Training,KDD 2020.Zhang et al.,Graph-less Neural Networks:Teaching Old MLPs New Tricks Via Distillation.ICLR2022Cai et al.,Graph Coarsening with Neural Networks.ICLR2021 图蒸馏:图粗化:图神经网络用于重排04|IRGPR:商品关系图神经网络用

13、于个性化重排序 排序列表中的商品关系影响用户最终的行为 Substitute:可以互换的;Complement:被用户同时交互.用户以不同的偏好和视角看代排序列表 价格,质量,可替代，互补等等.price!quality!substitutes!complements!Liu et al.,Personalized Re-ranking with Item Relationships for E-commerce.CIKM 2020|IRGPR:商品关系图神经网络用于个性化重排序8我们构建了一个异质图来建模用户和商品间的关系商品商品-商品间的边：商品间的边：商品间的关系（

14、互补/可替代）用户用户-商品商品:初始的精排分数.消息传播:学习用户/商品的表征向量(/).(+1)=1|.个性化重排序:=.Item node:=()User node:=()item relationshipsIntent embedding networkInitial ranking scores|IRGPR:商品关系图神经网络用于个性化重排序Amazon Dataset McAuley15Also Bought(AB):Users bought also bought across sessions;Also Viewed(AV):Users viewed also viewed;B

15、ought Together(BT):Users frequently bought and (and were purchased as part of a single basket);Buy after Viewing(BV):Users who viewed eventually bought.Table.Statistics of the Amazon data.|Table.Experimental results on Amazon data.DeepFMis the initial ranker.Table.Ablation analysis of design compone

16、nts for IRGPR.(a)Video Games(b)Clothing,Shoes,and Jewelry.IRGPR:商品关系图神经网络用于个性化重排序总结和展望05|总结和展望总结:图神经网络在推荐系统的召回、精排、重排中得到了广泛的研究和应用。我们提出了邻居交互感知的GCN模型来提高召回模型的效果。针对精排模型中复杂的特征和关系，我们将数据建模成一个复杂的全局异质图，提出了两个策略：分支，课程学习来更好的学习特征的嵌入表征。针对重排模型中的商品关系，我们将用户-商品建模成一个异质图，来进行个性化的重排序。我们利用增量学习，预训练等策略来进一步提升图神经网络模型的训练、推理效率。展望:多行为、多场景、多模态等的应用。复杂异质图建模进一步提升训练效率，增快模型迭代效率非常感谢您的观看|