1、端侧隐私计算的算法与应用探讨王俊OPPO研究院/隐私计算实验室负责人|01端侧隐私计算端侧隐私计算需求需求02端侧隐私计算端侧隐私计算关键技术关键技术03端侧隐私计算端侧隐私计算应用案例应用案例04端侧隐私计算端侧隐私计算困难与挑战困难与挑战目录目录 CONTENT|端侧隐私计算需求01|端侧隐私计算需求-数字经济4544.443.642.942.1488.9493.3489.9495.4498.548048549049550040424446数据中心数量(万)机架数量(万)26.132.934.836.238.62001920202014-2020中国数字经济占比中国数

2、字经济占比(%)数字经济在全球经济中逐渐占据主导地位，数据是整个经济体系中与土地、矿产一样重要的生产力要素。各国都在致力于建设更加规范、更加公平、更加健康的数字经济体系。当前明显出现的数据垄断的趋势与事实，与经济发展的分歧乃至冲突逐渐显现出来。数据来源：中国信通院全球数字经济白皮书,2320020全球总算力全球总算力(EFLOPS):每秒1018次浮点运算4|端侧隐私计算需求-国内外法律法规发展欧盟欧盟通用数据保护法通用数据保护法案（案（GDPR）十三五计划纲要十三五计划纲要大数据战略大数据战略国家信息战略发国家信息战略

3、发展纲要展纲要国家网络空间安国家网络空间安全战略全战略中华人民共和中华人民共和国网络安全法国网络安全法欧盟：欧盟：GDPR全面实全面实施形成法律效力施形成法律效力美国美国加州消费者隐私加州消费者隐私法案法案东盟东盟东盟数据管理框架东盟数据管理框架国务院办公厅国务院办公厅科学数据管理办科学数据管理办法法国家健康医疗大国家健康医疗大数据标准、安全数据标准、安全和服务管理办法和服务管理办法中华人民共和中华人民共和国电子商务法国电子商务法个人金融信息个人金融信息(数据数据)保护试保护试行办法行办法提出数据市场提出数据市场要素化要素化数据安全法数据安全法(草案草案)个人信息保个人信息保护法护法第十三次全

4、国人大常委第十三次全国人大常委会第二十九次会议会第二十九次会议数据安全法数据安全法第十三届全国人民代表第十三届全国人民代表大会常务委员会第三十大会常务委员会第三十次会议次会议个人信息保护法个人信息保护法200022信息安全技术信息安全技术网络安全等级网络安全等级保护基本要求保护基本要求信息安全技术信息安全技术个人信息规范个人信息规范欧盟数据法案欧盟数据法案欧盟数字权利和原欧盟数字权利和原则宣言则宣言美国算法问责法美国算法问责法(草案草案)欧盟欧盟欧洲数字主权报告欧洲数字主权报告欧盟欧盟2030数字罗盘数字罗盘欧盟数据市场法案欧盟数据市场法案欧盟数据服

5、务法案欧盟数据服务法案美国：海外数据使美国：海外数据使用权明确法用权明确法数据基础制度观数据基础制度观点（公告）点（公告）加快建设全国统加快建设全国统一大市场的意见一大市场的意见5英国英国数据保护法案数据保护法案欧委会欧委会欧盟欧盟AI法规（提案）法规（提案）第十三次全国人民代表第十三次全国人民代表大会第三次会议大会第三次会议民法典民法典|6|端侧隐私计算需求-国内外标准日益完善(1)分类标准名称发布时间标准编号简述国际标准信息技术-安全技术-隐私架构框架2018ISO/IEC 291001该标准可以为处理个人数据的信息系统提供架构图，并展示隐私增强技术如何增强安全计算，以保护个人身份信息。隐

6、私增强数据去标识化术语与技术分类2018ISO/IEC 20889该标准描述了数据去标识化技术，包括各种基于噪声的技术，加密技术等。信息技术-安全技术-秘密共享-第1部分：通用2018ISO/IEC 19592-1该标准重点介绍了秘密共享的模型和相关术语。联邦机器学习参考框架和应用指南2020IEEE P3652.1该标准定义了联邦机器学习框架，允许在分布的数据所有者之间构建数据模型，为跨组织的数据使用和模型构建提供了参考。基于可信执行环境的安全计算2020IEEE P2952该标准提出了基于可信执行环境的安全计算技术框架，用于指导基于可信执行环境的安全计算系统的设计、开发、测试和维护。基于T

7、EE 的共享机器学习技术框架和要求2021IEEE P2830该标准定义了基于TEE 技术的共享机器学习的框架和体系结构，包括功能组件、工作流程、安全要求、技术要求和相关协议。安全多方计算推荐实践2021IEEE 2842该标准提供了安全多方计算的技术框架，包括基本要求、可选要求和安全模型、系统角色以及工作流程、部署模式等，并给出了具体实现案例。*表格来源：边缘计算隐私计算白皮书,边缘计算产业联盟ECC 安全工作组,2022年6月|7|端侧隐私计算需求-国内外标准日益完善(2)分类标准名称发布时间标准编号简述国内标准个人信息安全规范2020GB/T 35273该标准从收集、保存、共享、使用、转

8、让、委托处理等各环节提出了相应要求，并提出了与组织相关的管理要求。个人信息去标识化指南2019GB/T 37964该标准给出了个人信息去标识化的目的、原则、过程和管理措施，在附录中系统性地总结了去标识化技术，并给出了案例。附录中明确了同态加密、秘密共享、差分隐私等作为去标识化的技术。个人信息安全印象评估指南2020GB/T 39335该标准给出了安全影响评估的基本原理和实施流程，并在附录中给出了个人信息处理目的变更前的评估、个人信息匿名化和去标识化效果评估、个人信息共享公开前的评估等多个场景的评估要点。行业标准基于可信执行环境的安全计算系统技术框架/该标准定义了基于可信执行环境的安全计算系统的

9、框架、功能、技术特性和安全要求。没有限制可信执行环境的实现形式。基于安全多方计算的隐私保护技术指南/该标准提出基于安全多方计算的隐私保护技术指南，以指导相关方设计实现、开发测试、运营管理和使用，包括架构、通用流程、安全等级、场景及解决方案。团体标准联邦学习金融行业应用指南2020T/ZFIDA 0004该标准定义了金融行业联邦学习应用的要素、要素关系、流程与基础要求。*表格来源：边缘计算隐私计算白皮书,边缘计算产业联盟ECC 安全工作组,2022年6月|8|端侧隐私计算需求-应用场景需求终端侧终端侧边缘侧云端边缘侧端-边-云隐私计算终端侧边缘侧端侧隐私计算关键技术02|隐私计算关键技术-同态加

10、密加密 解密加密 解密数据运算函数格是目前构建同态加密的主要数学基础，能够同时支持加法和乘法，但是会引入噪音。每一次计算都会累积噪音，当噪音太大的时，密文无法被正确解密。通过使用bootstrapping技术，将噪音重新降低到可正确解密的阈值以下，使得计算可以继续进行。缺点是计算复杂度很高。Ilaria Chillotti:TFHE Dive Deep 10|隐私计算关键技术-同态加密加密加密解密解密同态加法同态加法同态标量乘法同态标量乘法同态乘法同态乘法I need more slides11同态加密的一点细节：把格放在整数多项式环上Ilaria Chillotti:TFHE Dive De

11、ep|隐私计算关键技术-安全多方计算117922+5=27安全协议例子：如何安全的获得一个加法结果（该方法假设参与方不合谋，安全保证较弱。实际上有很多更安全的方法，也复杂得多）？百万富翁问题安全联合计算12|隐私计算关键技术-可信执行环境（TEE）可信执行环境：通过软硬件方法在中央处理器中构建一个安全区域，保证其内部加载的程序和数据在机密性和完整性上得到保护。secure enclaveA14M1专用硬件控制器Apple Face ID 方案*https:/ Q,Liu Y,Chen T,et al.Federated machine learning:Concept and applicat

12、ionsJ.ACM Transactions on Intelligent Systems and Technology(TIST),2019,10(2):1-19.端侧隐私计算应用案例03|17端侧数据采集-频数统计1服务端基于历史数据生成LDP prior及数据交换候选集LDP priorSwapping candidatedata_idif inGRR2LDP priordata_idGRR移动端采用GRR算法对在LDP prior中的原始数据进行加噪if notSwapping2data_iddata_idSwap移动端使用数据交换机制对原始数据进行置换服务端收集扰动后数据进行聚合分析

13、计算3无偏聚合LDP hist.Swapping hist.扰动后频率直方图3-DP|18端云协同计算-谷歌Gboard(1)图1 GBoard上联邦学习示意图图2 GBoard中基于隐私保护的词汇推荐Hard A,Rao K,Mathews R,et al.Federated learning for mobile keyboard predictionJ.arXiv preprint arXiv:1811.03604,2018.|19端云协同计算-谷歌Gboard(2)McMahan B,Moore E,Ramage D,et al.Communication-efficient lear

14、ning of deep networks from decentralized data。Artificial intelligence and statistics.PMLR,2017:1273-1282.|20端侧隐私计算-TEE方案(1)业务目标：以用户的数据安全为产品生命线，提供更安全、便捷且高效的用户隐私数据处理方法以Apple Face ID为例：密码（电脑、手机）可以解锁Apple设备，因此对Apple的设备安全至关重要，设备内拥有非常多的涉及用户隐私的数据；Face ID1作为能够解锁Apple设备的关键技术，其输入数据也需要用到用户个人敏感数据（人脸）fastereasie

15、r|用户Face ID 系统唤醒TrueDepth认证确认红外深度图Memory Protection EngineSecure Enclave红外深度图随机序列Secure Neural Engine数字签名并发送至Secure Enclave 处理特征提取Enrolling facial dataFacial matching图1 基于端侧TEE的Face ID示意图21端侧隐私计算-TEE方案(2)|22谷歌Android隐私沙盒(privacy sandbox)目标：开发高效且能够加强隐私保护的广告解决方案，使其不依赖于跨应用的标识符并限制与第三方共享用户数据。Privacy Sand

16、boxSDK RuntimeTopicsFLEDGE归因分析通过进程隔离以及明确定义的API和数据访问权限控制，减少第三方SDK在未披露的情况下访问和共享用户的应用数据。通过限制SDK访问专属的永久标识符，减少第三方SDK在未披露的情况下跟踪用户的应用使用情况数据。根据用户过去下载过的应用划分用户的兴趣(topics)，作为之后广告推荐的依据，解除对用户级ID的依赖关系。防止第三方跟踪用户跨网站的浏览行为的前提下，满足再营销用例的需求。API 允许浏览器进行设备端竞价，以选择用户之前访问过的网站所提供的相关广告。通过消除对跨方用户标识符的依赖来提供更好的用户隐私保护，并支持跨应用和跨网站进行归

17、因和转化衡量的关键用例。|23谷歌Android隐私沙盒(privacy sandbox)SDK Runtime进程模型分发模型之后之前|24谷歌Android隐私沙盒(privacy sandbox)广告候选集用户被划分为不同的topic群体用户可以删减topics出本地域信息匿名化操作：如差分隐私或加密等Topics系统会使用设备端信息来计算用户的K个热门主题，此计算每个周期进行一次（例如，每周一次）。若未分配任何主题，系统会以某种方式（随机）选择一个主题，并将所选主题分配给该应用，且有效期为相应周期的剩余时间。Topics的周期性刷新/随机引入与用户自定义能力是来让不同应用难以对同一用户

18、进行互相关。Ad Selection：将根据买方出价执行逻辑-买方广告过滤处理-卖方决策执行逻辑顺序协调在设备上执行广告技术提供的 JavaScript 代码广告呈现后将以先卖方后买方的顺序逻辑调用展示次数报告，为买方和卖方平台提供了一种将重要的设备上信息（例如出价信息、受众名称等）发送回服务器的方式，以启用实时预算、投标模型更新和准确计费等功能工作流程，同时这种展示报告也是对Attribution Reporting API的支持跟补充利用Custom Audience API定义“自定义受众群”为中心，搭配AdSelection定义候选广告中谁成功被投放（再营销）Custom Audien

19、ce：针对受众产生对用原数据，用于判定广告投递是否符合用户信号，同时依据实时数据告知广告是否继续投放（e.g.,广告预算耗尽)提供用户控制、广告技术平台权限和控制、候选广告评估等能力谷歌Android隐私沙盒(privacy sandbox)FLEDGE|26采用标识符来识别用户的转化路径，并判断其中的有效触点价值（用来分析哪些触点或渠道可以获得转化）归因的应用依赖广告与转化的匹配广告信息（因）：用户点击/浏览了广告，将点击广告的用户信息以及广告信息上传并记录起来转化信息（果）：等广告发生转化后，将这个广告化的用户信息、用户属性信息与点击广告的用户信息和广告信息进行匹配谷歌Android隐私沙

20、盒(privacy sandbox)归因分析|27用户标识AD ID：即Google Advertising ID，是Google Play应用商店以及Android第三方应用商店的应用安装的设备IDGoogle Play Referrer：即Google Play为同一SDK分配的确定值，仅适用于安装了Google框架的安卓设备，且仅追踪Google Play内的应用行为OAID：移动安全联盟（MSA）联合OPPO、VIVO、华为、小米等终端厂商推出的匿名设备标志符IOS：14.4前默认开启IDFA；14.5后IDFA默认关闭，提供SKAN（StoreKiteAdNetwork）用于非用户层

21、级的确定性归因（在不识别用户身份信息的前提下，对应用安装和广告效果进行衡量）在无法通过标识符等方式进行确定性归因的情况下，归因平台可进行概率归因谷歌Android隐私沙盒(privacy sandbox)归因分析:目前之后之前|28谷歌Android隐私沙盒(privacy sandbox)归因API 具有以下机制借此提供改善隐私保护框架限制可用于事件级报告的bits位数仅在可聚合（匿名性高）报告中启用更高保真度的转化数据引入了可用触发（转化）器以及可与单个归因源相关联的广告技术平台数量的比例限制结合各种噪声添加技术（差分隐私）右图为归因API准备和发送汇总报告流程图该设备将加密的可聚合报告发

22、送到广告技术平台广告技术平台向聚合服务发送一批可聚合报表进行聚合聚合服务读取一批可聚合的报告，解密并聚合它们最终的聚合被发送回广告技术平台聚合服务及汇总报告API均有加密保护，且聚合服务在托管在云中的可信执行环境(TEE)中运行归因分析端侧隐私计算风险与挑战04|模型精度优化协同聚合优化算法（SGD、Adam)学习效率减少通信轮数压缩传输的数据大小动态网络条件优化激励机制数据价值度量招募并保留更多节点评估节点贡献30端侧隐私计算-风险与挑战数据风险数据采集风险数据传输风险边缘侧数据存储风险云端侧数据存储风险网络风险DDoS攻击注入欺诈分组攻击路由攻击通信协议漏洞风险模型风险投毒风险隐私泄露风险模型窃取风险后门攻击风险隐私推理风险计算风险窃听攻击未授权对话攻击应答攻击恶意终端设备攻击硬件木马攻击物理攻击测信道攻击风险挑战