1、联邦学习在广告行业的应用作者：刘璐目录1.广告业务背景介绍2.不同视角下的转化流程3.广告链路中的算法技术4.纵向联邦技术如何服务广告场景5.横向联邦技术如何服务广告场景6.联邦学习中的攻防技术Huawei Confidential31.广告业务背景介绍广告主用户媒体（广告平台）算法推广投放发生转化Huawei Confidential41.1 广告形式Huawei Confidential51.2 媒体资源Huawei Confidential61.3 转化跟踪转化跟踪是将广告主核心关注的转化行为（OAID、时间戳、转化行为、行为参数），通过API、SDK等方式上报给广告平台的产品Huawe

2、i Confidential71.4 为什么要转化跟踪Huawei Confidential81.5 转化跟踪潜在问题如果OAID无法收集，怎么预估转化概率广告主愿不愿意回传后端转化事件广告隐私政策日益趋严情况下，现在跟踪方式合不合法数据回传的正确性能否得到保证.Huawei Confidential92.不同视角下的转化流程用户视角：以APP广告为例看到广告点击广告跳转到下载页下载APP首次打开，统计安装激活量Huawei Confidential102.不同视角下的转化流程客户端视角Huawei Confidential112.不同视角下的转化流程服务器视角Huawei Confident

3、ial123.广告链路中的算法技术Huawei Confidential133.广告链路中的算法技术CTRClick-Through-Rate点击率，CTR=点击量/展示量CVRConversion Rate转化率，CVR=转化次数/点击量ECPMEffective cost per mile每一千次展示可以获得的广告收入基础计算公式：ECPM=price*pctr*pcvr*1000点击率预估模型转化率预估模型Huawei Confidential143.广告链路中的算法技术点击率预估模型用户特征：userid,gender,age广告特征：ad_id,advertesier_id,titl

4、e_id,keyword_id,description_id等等上下文特征：depth,positionHigh Level 特征：范化能力比较强的特征Low Level 特征：自解释能力比较强数据预处理特征工程模型训练评价指标AUC标签：是否点击发布上线Huawei Confidential153.广告链路中的算法技术转化率预估模型Huawei Confidential164.纵向联邦学习如何服务广告场景转化数据无法收集，转化链路存在天然割裂端内行为数据后端转化数据历史兴趣标签短期行为标签用户特征广告特征上下文特征High Level 特征Low Level 特征Huawei Confide

5、ntial174.纵向联邦学习如何服务广告场景基于TICS平台构建纵向联邦学习联盟管理实现联盟内严格可控的数据使用和监管数据融合分析支持对接多个数据参与方的主流数据存储系统，为数据消费者实现多方数据的SQL Join等融合分析,在具有可信执行环境的聚合计算节点中实现安全统计计算节点实现数据源注册、隐私策略（敏感，非敏感，脱敏）的设定、元数据的发布等联邦分析计算对接主流深度学习框架实现横向和纵向的联邦训练数据使用监管为数据参与方提供可视化的数据使用流图，提供插件化的区块链对接存储，做到可审计、可追溯容器化部署支持云上、边缘、HCS多种部署模式Huawei Confidential184.基于TI

6、CS平台构建纵向联邦学习加入联盟，进入计算节点页面创建作业数据选择样本粗筛样本对齐特征选择启动训练，模型参数配置发起评估，包括准确率/AUC/KS/F1/召回率/精确率Huawei Confidential194.基于TICS平台构建纵向联邦学习加入联盟，进入计算节点页面创建作业数据选择样本粗筛样本对齐特征选择启动训练，模型参数配置发起评估，包括准确率/AUC/KS/F1/召回率/精确率Huawei Confidential204.基于TICS平台构建纵向联邦学习加入联盟，进入计算节点页面创建作业数据选择样本粗筛样本对齐特征选择启动训练，模型参数配置发起评估，包括准确率/AUC/KS/F1/召

7、回率/精确率Huawei Confidential215.基于Mindspore构建横向联邦学习隐私安全数据留存本地进行协同训练，不交换数据本身，而是用加密方式交换更新的模型参数。支持基于多方安全计算（MPC）的精度无损的安全聚合方案，防止模型窃取。支持基于本地差分隐私的性能无损的加密方案，防止模型泄漏隐私数据。分布式联邦聚合支持千万级数量的大规模异构终端部署场景，实现高性能、高可用的分布式联邦聚合计算，可应对网络不稳定，负载突变等问题。联邦效率提升支持同步和异步的联邦模式，支持多种模型压缩算法，提高联邦学习效率，节省带宽资源。支持多种联邦聚合策略，提高联邦收敛的平滑度，兼顾全局和局部的精度最

8、优化。灵活易用仅一行代码即可切换单机训练与联邦学习模式。网络模型可编程，聚合算法可编程，安全算法可编程，安全等级可定制。MindSpore Federated Learning(FL)Server集群物理架构Huawei Confidential22FL Scheduler的功能主要包括：协助集群组网：在集群初始化阶段，由Scheduler负责收集Server信息，并保障集群一致性。开放管理面：向用户提供RESTful接口，实现对集群的管理。FL Server为执行联邦学习任务的主体：用于接收和解析端侧设备上传的数据 具有执行安全聚合、限时通信、模型存储等能力。在联邦学习云侧集群中，有两种角色

9、的MindSpore进程：FL Scheduler和FL Server在一个联邦学习任务中，只有一个Scheduler，其与Server通过TCP协议通信5.基于Mindspore构建横向联邦学习Huawei Confidential235.端云联邦学习通信压缩上传压缩方法分为三个主要部分：权重差编解码、稀疏编解码和量化编解码。在端云联邦学习训练过程中，通信量会影响端侧用户体验（用户流量、通信时延、FL-Client 参与数量），并受云侧性能约束（内存、带宽、CPU 占用率）限制。上传压缩FL-Client的执行顺序上传压缩在FL-Server的执行顺序Huawei Confidential2

10、45.端云联邦学习通信压缩开启方式需要在启动云侧服务时，在server启动脚本中使用set_fl_context()设置upload_compress_type=DIFF_SPARSE_QUANT和download_compress_type=QUANT。调用方式如下：ALBERT实验结果联邦学习总迭代数为100，客户端本地训练epoch数为1，客户端数量为20，batchSize设置为16，学习率为1e-5，同时开启上传和下载压缩方法，上传稀疏率为0.4。最终在验证集上的准确率为72.5%，不压缩的普通联邦场景为72.3%。Huawei Confidential256.联邦学习的攻防技术Hu

11、awei Confidential266.联邦学习的攻防技术攻击思想攻击对象攻击模型原理是否自适应攻击主要局限性基于标签翻转训练数据黑盒修改特定的标签，然后训练否攻击性较弱植入触发器训练数据黑盒用触发器对样本进行覆盖，然后训练否攻击性较弱修改训练过程局部模型白盒修改训练过程的模型参数或者损失函数是有一定的技术壁垒修改训练后的模型局部模型白盒直接修改模型参数是有一定的技术壁垒Huawei Confidential276.联邦学习的攻防技术2022，Batch Label Inference and Replacement Attacks in Black-Boxed Vertical Feder

12、ated Learning2020 ICM,Backdoor Attacks and Defenses in Feature-partitioned Collaborative Learning纵向联邦学习：攻击者能够控制一个或多个被动方。步骤1.当损失函数是交叉熵函数，并使用了softmax函数时，中间梯度为其中i是softmax的函数值，位于0到1之间，i是0或1。因此，中间梯度中和其他分量符号相反的分量即为真正的标签。2.注入攻击，被动方只需将真正标签对应的分量+1，将目标标签对应的分量-1。原理基于中间梯度获得样本的标签信息Huawei Confidential286.联邦学习的攻防技

13、术2022，Batch Label Inference and Replacement Attacks in Black-Boxed Vertical Federated Learning2021 IEEE，Stability-Based Analysis and Defense against Backdoor Attacks on Edge Computing Services2020 ICM,Backdoor Attacks and Defenses in Feature-partitioned Collaborative Learning2019 NeurIPS，Can You Rea

14、lly Backdoor Federated Learning 向主动方添加可训练层 基于dropout的防御 基于自动编码器的防御 基于增强模型稳定性的防御 基于梯度扰动策略的防御 基于硬件TEE路线的防御 基于同态+TEE路线的防御 向梯度中加入差分隐私，包括过裁减更新、添加高斯噪声等 基于梯度稀疏化的防御 联邦运算（全部或者部分）放入TEE中Copyright2018 Huawei Technologies Co.,Ltd.All Rights Reserved.The information in this document may contain predictive stateme

15、nts including,without limitation,statements regarding the future financial and operating results,future product portfolio,new technology,etc.There are a number of factors that could cause actual results and developments to differ materially from those expressed or implied in the predictive statement

16、s.Therefore,such information is provided for reference purpose only and constitutes neither an offer nor an acceptance.Huawei may change the information at any time without notice.把数字世界带入每个人、每个家庭、每个组织，构建万物互联的智能世界。Bring digital to every person,home,and organization for a fully connected,intelligent world.Thank you.