1、.图联邦学习进展与应用图联邦学习进展与应用史春奇2022 年 7 月 9 日.图联邦学习进展与应用1图联邦的必要性2图联邦的分类3图联邦的经典算法4图联邦的平台架构5图联邦的金融应用6图联邦的发展展望.图联邦学习进展与应用图联邦的必要性联邦学习联邦学习是一种分布式机器学习技术可以在多个分散的边缘设备（手机）或保存本地数据样本的服务器上训练算法，而无需交换它们（训练数据）。从而实现将机器学习的能力与将数据集中存储的需求分离。(source:google).图联邦学习进展与应用图联邦的必要性纵向联邦学习纵向联邦学习是金融机构引入外部数据的重要技术之一纵向联邦学习一般是适用于数据集上具有相同的样本空

2、间、不同的特征空间的参与方所组成的联邦学习场景，纵向联邦学习也可以理解为按特征划分的联邦学习。(source:Qiang Yang).图联邦学习进展与应用图联邦的必要性联邦学习的必要性数据安全合规要求越来越严格数据作为生产要素的重要性越来越高传统的数据合作方法存在重大的合规隐患与效果缺陷.图联邦学习进展与应用图联邦的必要性图联邦的必要性图应用在金融行业的必要性：从金融行业的角度，来看一下跨地区、跨机构、跨账户的资金流、数据流、信息流的挖掘离不开图的应用。图数据在不同数据类型应用的重要性：从数据分类的角度来看，越来越多的数据会应用图来刻画。图在刻画底层数据之间关联关系上的重要性：从联邦划分的角度

3、来看，图在底层数据划分上的刻画能力更具有一般性，因此在描述底层数据之间的关联关系上非常重要。.图联邦学习进展与应用图联邦的必要性图应用在金融行业的必要性车险理赔 SNA 反欺诈流程图(source:金融电子化杂志).图联邦学习进展与应用图联邦的必要性图应用在金融行业的必要性跨境跨机构反洗钱(source:).图联邦学习进展与应用图联邦的必要性图应用在金融行业的必要性私募机构涉嫌联合多账户操纵股价(source:)2013 年 7 月，私募机构华鼎兴业资产管理有限公司涉嫌联合多账户操纵百圆裤业、三江购物、泰亚股份股价.图联邦学习进展与应用图联邦的必要性图应用在金融行业的必要性理财资金被非法挪用(

4、source:)2012 年 12 月间，万家金元 8 亿理财资金被非法挪用.图联邦学习进展与应用图联邦的必要性图应用在金融行业的必要性加密货币交易所被黑客攻击(source:)2019 年 5 月，币安 7,000 枚 BTC 被盗事件.图联邦学习进展与应用图联邦的必要性图数据是表数据之外的一种重要数据类型图的表示图是由顶点的有穷非空集合和顶点之间边的集合组成，通常表示为：G(V,E)。传统数据结构中图根据边的方向、连接关系，可以分为无向图，有向图，完全图全链接图.图联邦学习进展与应用图联邦的必要性图数据是表数据之外的一种重要数据类型最常用的信息表示方法是表数据.图联邦学习进展与应用图联邦的

5、必要性图数据是表数据之外的一种重要数据类型图数据成为另一种主流的信息表示方式.图联邦学习进展与应用图联邦的必要性图在刻画联邦数据间关联关系上的重要性图在底层数据之间的关系上的刻画更灵活.图联邦学习进展与应用图联邦的分类图联邦分类的影响受到图的分布，结构，划分，用途的影响受到联邦学习的底座框架的影响.图联邦学习进展与应用图联邦的分类联邦学习的分类按数据拥有方：跨设备、跨机构按数据集组织：横向、纵向、迁移联邦学习(source:Ming Tang and Vincent W.S.Wong)(source:Qiang Yang).图联邦学习进展与应用图联邦的分类联邦学习架构分类CS 架构(仲裁者服务

6、器)P2P 架构委员会架构.图联邦学习进展与应用图联邦的分类联邦学习架构-CS 架构(仲裁者服务器)典型算法包括 FedAvg,FedSGD,SplitNN(source:Qiang Yang).图联邦学习进展与应用图联邦的分类CS 架构下经典学习方式FedAvg,FedSGD,FedProx,Scaffold,FedNova,SplitNN(source:Adaptive Split Learning).图联邦学习进展与应用图联邦的分类CS 架构下经典学习方式即便 CS 架构下，也会收到数据划分方式，适用模型，隐私保护机制的影响。(source:Qinbin Li etc.).图联邦学习进展

7、与应用图联邦的分类SplitNN/FedSL3 种典型划分，是 BP 算法的灵活应用(source:Peter Kairouz etc.).图联邦学习进展与应用图联邦的分类联邦学习架构-P2P 架构主要 P2P 类型算法：FedavgP2P，BrainTorrent，P-FedAvg(source:MINA AGHAEI DINANI etc.)通讯与训练的控制是 P2P 下优化的重要方向之一(source:Tao Sun etc.).图联邦学习进展与应用图联邦的分类联邦学习架构-P2P 架构两方的 P2P 算法(source:K M Jawadur Rahman etc.).图联邦学习进展与

8、应用图联邦的分类联邦学习架构-委员会架构固定委员会主要是 MPC 类型(source:Renuga Kanagavelu etc.).图联邦学习进展与应用图联邦的分类联邦学习架构-委员会架构动态委员会主要是区块链类型(source:Yuzheng Li etc.).图联邦学习进展与应用图联邦的分类联邦学习数据-Non-IID 问题Non-IID 方法主要集中在数据采样层面，以及算法优化层面(source:Hangyu Zhu etc.).图联邦学习进展与应用图联邦的分类图模型分类邻接矩阵与属性图是常见的二种图的描述方式。其中属性图经常基于消息传递的处理架构进行图的分析。.图联邦学习进展与应用图

9、联邦的分类图学习目的分类在机器学习框架下，图主要用于节点分类、边预测、图分类与社区发现。(source:Francesco Casalegno)(source:Benchmarking Graph NeuralNetworks).图联邦学习进展与应用图联邦的分类图学习框架分类根据图神经网络角度，可以根据传播、抽样、池化等神经网络算子进行划分。(source:Graph NeuralNetworks:A Review of Methods and Applications).图联邦学习进展与应用图联邦的分类图联邦分类组合联邦学习与图网络的划分要点，得到图联邦分类要点：.图联邦学习进展与应用图联邦

10、的分类图联邦分类融合了图对象（图、子图、节点）与联邦学习数据划分（横向、纵向）的分类模式(source:HuandingZhang etc.).图联邦学习进展与应用图联邦的分类图联邦分类融合了图对象（图、子图、节点）、架构（CS 架构、非 CS 架构）与联邦学习数据划分（横向、纵向、混合）的分类模式。(source:Rui Liu etc.).图联邦学习进展与应用图联邦的经典算法经典图联邦算法近四年内，图联邦的模型不停的涌现，以下列了 17 个图联邦模型：.图联邦学习进展与应用图联邦的经典算法最简单的图联邦模型场景：同类型金融机构数据合作，例如跨金融的反洗钱。每家机构自己都有非法账户历史标签，

11、联邦可以让关系更清晰，数据更充分。方案：横向图联邦1首先，按数据横向划分。2其次，采用最常见的 CS 架构。3最后，实现最简单的应用，节点类型预测，实现非法账户识别。.图联邦学习进展与应用图联邦的经典算法最简单的图联邦模型可采用 University of Southern California 的 FedGraphNN 类似模型：(source:Chaoyang Heetc.).图联邦学习进展与应用图联邦的经典算法最简单的图联邦模型图算法：GCN/GAT/GraphSAGE 类似图网络算法预测效果：准确度接近把数据集合一起时间开销：部分场景实现并行计算，效率更高(source:Chaoyan

12、g He etc.)优缺点：考虑了隐私保护，但是没有考虑 Non-IID 的情况。.图联邦学习进展与应用图联邦的经典算法Non-IID 的图联邦模型场景：Non-IID、非均衡数据情况在金融场景里面非常常见方案：图联邦里面常见的解决方案：1采样的方法2学习权重调整的方法.图联邦学习进展与应用图联邦的经典算法Non-IID 的图联邦模型采样方法:可以参考日本会津大学的 FedGraph。(source:Fahao Chen etc.).图联邦学习进展与应用图联邦的经典算法Non-IID 的图联邦模型采样的方法 FedGraph 的效果：.图联邦学习进展与应用图联邦的经典算法Non-IID 的图联

13、邦模型学习权重调整的方法：可以参考蚂蚁集团的 ASFGNN(Automatedseparated-federated GNN)(source:Longfei Zheng etc.).图联邦学习进展与应用图联邦的经典算法Non-IID 的图联邦模型采样的方法 ASFGNN 的效果：.图联邦学习进展与应用图联邦的经典算法自动最优参数强化学习寻找最优参数：FedGraph(source:Fahao Chen etc.).图联邦学习进展与应用图联邦的经典算法自动最优参数贝叶斯优化寻找最优参数：ASFGNN(source:Longfei Zheng etc.).图联邦学习进展与应用图联邦的经典算法异构图

14、的处理场景：保险车险反欺诈场景中，典型网络涉及到人、车、案件等不同的节点类型，而且人与车的关系也是涉及到司机，车主，投保人等不同的关系类型，这是一个典型的异构图。方案：异构图联邦1不同关系类型计算不同图嵌入2引入伪标签修正本地标签.图联邦学习进展与应用图联邦的经典算法异构图的处理不同关系类型计算不同图嵌入：参考微软亚洲研究院的 FedGNN(source:Chuhan Wu etc.).图联邦学习进展与应用图联邦的经典算法异构图的处理引入伪标签修正本地标签：参考中山大学的 FedGL(source:CHUAN CHEN etc.).图联邦学习进展与应用图联邦的经典算法非 CS 架构的图联邦模型

15、场景：对等的金融机构，对于仲裁者节点放在哪一方无法达成共识。(source:Chaoyang He etc.)方案：非 CS 架构图联邦1非中心化 SGD 学习.图联邦学习进展与应用图联邦的经典算法非 CS 架构的图联邦模型非中心化 SGD 学习：参考 USC 的 SpreadGNN 中的 DecentralizedPeriodic Averaging SGD(DPA-SGD)(source:Chaoyang He etc.).图联邦学习进展与应用图联邦的经典算法非 CS 架构的图联邦模型DPA-SGD 效果(source:Chaoyang Heetc.).图联邦学习进展与应用图联邦的经典算法

16、纵向图联邦场景：不同类型金融机构，或者金融机构与非金融机构合作。往往预测目标在其中一方，甚至图关系仅仅在其中一方。1预测目标在其中一方2图属性互补方案：纵向图联邦.图联邦学习进展与应用图联邦的经典算法纵向图联邦预测目标在其中一方：参考浙江大学的 VFGNN(source:Chaochao Chen etc.).图联邦学习进展与应用图联邦的平台架构图联邦平台架构通用的图联邦平台的架构参考.图联邦学习进展与应用图联邦的平台架构FedGraphNNhttps:/ 家银行的 KYC 数据，包括 1）客户身份数据 2）客户所属机构数据 3）客户与机构之间关系数据 4）用户洗钱标签数据目的：AML 预警处

17、理方法：图统计/图嵌入+节点预测(source:Toyotaro Suzumura etc.)IBM Global Business：Towards Federated Graph Learning for Collaborative Financial Crimes Detection.图联邦学习进展与应用图联邦的金融应用跨机构反洗钱-横向图联邦实现效果：(source:Toyotaro Suzumura etc.).图联邦学习进展与应用图联邦的金融应用社交数据车险反欺诈-纵向图联邦构图数据：1）人（司机，报案人，三者）、车、案件网络 2）社交网络（社交属性）处理方法：图嵌入+纵向节点预测.图联邦学习进展与应用图联邦的发展展望未来发展展望复杂图处理1超大网络：性能问题（计算，通信，稀疏，压缩）2非均衡、Non-IID 网络：效果问题3动态异构网络：图模型问题4时空关系下的图网络：图模型问题5无监督学习、预训练：算法问题，模型问题联邦安全1图联邦的去中心化2图联邦计算的隐私保护3图数据对齐的信息泄露与数据授权一体化平台建设1存储、查询、计算、通信平台2对齐、构图、可视化平台3任务、数据、日志管理平台4建模、调参平台5部署、应用平台.图联邦学习进展与应用图联邦的发展展望The END!Thank You