《5-2 图神经网络与推荐预训练模型.pdf》由会员分享,可在线阅读,更多相关《5-2 图神经网络与推荐预训练模型.pdf(26页珍藏版)》请在三个皮匠报告上搜索。
1、图神经网络与推荐预训练模型宋重钢|目录目录CONTENT|01预训练模型目标预训练模型目标与核心问题与核心问题02推荐系统场景中的推荐系统场景中的预训练模型预训练模型04图神经网络预训练图神经网络预训练案例分享案例分享03预训练模型的预训练模型的服务模式服务模式预训练模型目标与核心问题01|预训练模型的发展历程|NNLM(Bengio et al.,2003)SENNA(Collobert et al.,2011)Word2Vec(Collobert et al.,2013)ELMo(Peters et al.,2018)GPT(Radford et al.,2018)BERT(Devlin
2、et al.,2019)ALBERT(Lan et al.,2019)ResNet(He et al.,2015)iGPT(Chen et al.,2020)ViT(Dosovitsky et al.,2021)BEiT(Bao et al.,2021)MAE(He et al.,2021)LINE(Tang et al.,2015)Node2Vec(Tang et al.,2016)Metapath2Vec(Tang et al.,2017)GraphMAE(Tang et al.,2022)图神经网络计算机视觉自然语言处理预训练目标|预训练模型目标模型自监督学习预训练目标域样本辅助样本全域
3、数据Fine-tuning 打通数据孤岛,充分利用全域信息有效帮助下游任务 整合不同任务信息到同一通用表征空间,减少过拟合风险 为新用户/新场景/长尾情景带来丰富信息,解决稀疏标注样本的问题。预训练核心问题|如何利用全域数据自监督学习如何找到最契合目标任务的网络结构如何找到通用的迁移泛化结构 Generative methods Contrastive methods Adversarial methods SSL S4L GNN Transformer CNN Memory networks BERT Meta learning MTL Contrastive loss Reconstruc
4、tion loss推荐系统场景中的预训练模型02|推荐场景中的预训练模型分类|基于数据的组织形式基于跨域信息的迁移方式行为序列行为网络短期行为序列:Pooling/LSTM/RNN长期行为序列:DIN/DIEN/MIMN/SIM自监督:LINE/Node2Vec/Metapath2Vec模型结构:GAT/GCN/GraphSage训练策略:VGAE/GCL/GANMTLMetaLearning优化方法:MAML/Reptile统计方法:MatchingNN/CSNN参数迁移:MMOE/PLE/STAR样本迁移:ACTL/MGTL图神经网络在推荐场景的优势|契合数据:图网络结构是推荐系统数据的天
5、然组织形式。社交网络 行为网络 知识图谱 信息丰富:结合图论知识,提取高阶关系信息 PPR-based sampling k-Clique/Centrality measures 包罗万象:兼容传统深度神经网络结构,融合节点特征表达团队算法演进方向:技术与业务相辅相成|200022Node2VecMetapath2Vec大规模图神经网络预训练广告召回直播召回订阅号召回/广告特征提取多业务接入GATCrossGATDualGATGraphSageMvDGAEMTLGNN预训练模型的服务模式03|预训练模型服务模式|特征召回子模型补充多域信息,丰富用户特
6、征表达适配多种业务形态与目标,通过域外信息激活新用户/新场景作为子模型结构加入下游模型,保留模型抽象能力预训练结果作为下游模型特征|方案一:离散/连续特征分别建模,最终层concat方案二:把embedding特征转换为一个离散特征,与其他离散特征交叉方案三:根据embedding产出topK的ID list作为离散特征预训练结果作为召回|兴趣召回跨域兴趣召回作者冷启动召回图神经网络预训练案例分享04|案例一:跨域兴趣召回GNN|线上推荐业务:微信直播大量新用户通过红点进入直播,缺乏观看行为丰富的其他兴趣行为,如文章阅读、短视频观看社交同质性:社交关系中蕴藏相似兴趣通过GNN实现跨域兴趣和社交
7、信息建模,为新用户补充召回。案例一:跨域兴趣召回GNN|直播推荐异构网络节点:用户、直播间、属性边:观看行为等卷积路径设计 User侧Metapathuser item:用户行为user user item:社交关系协同user aux user:静态属性协同 Item侧Metapathitem item:相似item聚合item user item:用户行为协同item aux item:静态属性协同User embeddingItem embedding|案例一:跨域兴趣召回GNN补充域外行为信息user side-item(短视频、公众号文章)Side-item|案例一:跨域兴趣召回GN
8、N补充域外行为信息user side-item(短视频、公众号文章)Side-item模型过度拟合目标域行为,对新用户不友好。|Side-item思路:域外行为接近/属性相同的用户/item节点的embedding应接近。方案:连接足够多的共同side-item/属性的节点构建邻接矩阵,构造重构loss,解决过度拟合目标域行为的问题。User embeddingItem embedding案例一:跨域兴趣召回GNN借鉴多目标模型的思想,为每个重构loss赋予一个可学习的权重,自动调节案例二:多目标GNN特征提取|订阅号信息流广告推荐样本数据稀疏,大量用户缺乏广告点击/转化用户订阅号文章阅读行为
9、丰富,广告卡片与订阅号文章内容紧密关联GNN提取用户订阅号行为作为特征,为广告精排模型提供额外信息。案例二:多目标GNN特征提取|User embeddingItem embeddingitem embeddinguser embeddingui loss广告推荐异构网络节点:用户、广告、公众号文章边:广告转化、文章阅读等卷积路径设计 User侧Metapathuser item:广告行为user user item:社交关系协同user side-item:跨域行为协同 Item侧Metapathitem item:相似item聚合item user item:用户行为协同广告行为稀疏,大部
10、分用户无法参与训练。广告投放具有季节性/周期性,目标域行为噪声较大。|item embeddinguser embeddinguser embeddingitem embeddingui lossui loss广告域公众号域案例二:多目标GNN特征提取补充公众号跨域样本同步训练,共享用户侧底层embedding和 卷积参数,增强用户特征提取。densedense用户特征分布差异较大,共享底层卷积参数导致稀疏域特征提取能力受限。|item embeddinguser embeddinguser embeddingitem embeddinguser privateuser privateuser shareuser shareui lossui lossMMD loss广告域公众号域案例二:多目标GNN特征提取densedense通过MMD loss平滑跨域用户embedding分布。拆分域内行为构建私有embedding,强化域内特征提取。微信Plato图计算团队|微信Plato高性能计算团队,微信Plato图计算团队,专注于图计算、图机器学习的应用研发,致力于打造高性能的微信超大规模社交网络图计算平台,推进图算法的工业级应用,助力业务腾飞。今天的分享内容都是团队的工作成果,感谢团队!非常感谢您的观看|