《4-4 基于区块链的可信联邦学习架构.pdf》由会员分享,可在线阅读,更多相关《4-4 基于区块链的可信联邦学习架构.pdf(77页珍藏版)》请在三个皮匠报告上搜索。
1、|基于区块链基于区块链的的可信联邦学习架构可信联邦学习架构主讲人:陈川 副教授中山大学计算机学院|01隐私计算概述隐私计算概述02区块链区块链+隐私计算隐私计算03研究工作进展研究工作进展04未来发展分析未来发展分析目录目录 CONTENT|隐私计算概述01|隐私计算的法律与合规目前,中华人民共和国密码法、中华人民共和国网络安全法、信息安全技术个人信息安全规范等一系列法律法规的正式生效,规范了信息安全和隐私保护的具体要求,隐私保护的重要性和迫切性不言而喻。2020年4月,国务院印发关于构建更加完善的要素市场化配置体制机制的意见把数据列为生产要素,并要求”加强数据资源整合和安全保护”,”制定数据
2、隐私保护制度和安全审查制度”。2020年5月,国务院印发关于新时代加快完善社会主义市场经济体制的意见中明确提出:“加强数据有序共享,依法保护个人信息”。2020年12月,国家发改委联合3部委发布关于加快构建全国一体化大数据中心协同创新体系的指导意见,以深化数据要素市场化配置改革为核心,优化数据中心建设布局。.欧盟史上最严格的隐私保护法案通用数据保护法案(GDPR)、美国的加州消费者隐私法案(CCPA)、新加坡的个人资料保护法令(PDPA).国外相关法规|资料来源:隐私计算技术金融应用研究报告|隐私计算保护的罚款在国际社会上,被称为史上最严格的隐私保护法案通用数据保护法案(GDPR)除了明确技术
3、效果之外,更是引入了巨额的罚款措施,一个国际集团中任一个子公司可能会因单次违规事件,而面临可能高达集团前年全球年度总收入 4%的巨额罚款,GDPR 法案的实施进一步加强了隐私保护产业化的必要性和迫切性。年份年份公司名称公司名称事件事件涉及金额涉及金额报道机构报道机构2018Facebook意大利数据保护监管机构DPA处罚Facebook违反GDPR法案1千万欧元英国卫报2019Facebook美国联邦贸易委员会处罚Facebook50亿美元英国BBC2019Google法国数据保护监管机构CNIL处罚Google违反GDPR法案5千万欧元法国数据保护机构CNIL资料来源:微众银行区块链WeDP
4、R隐私保护白皮书,收集日期:2019年12月13日|隐私计算的行业标准随着隐私计算技术近几年的快速发展和落地应用,国际与国内隐私计算的相关标准相继制定发布。国内中中国人民银行发布金融业数据能力建设指引标准,明确了金融业数据工作的基本原则;中国通信标准协会分别再2020年、2021年发布以信通院牵头制定的四个关于数据应用与安全的团体标准,从功能、性能、安全性方面对隐私计算的几个主要技术路线进行规范;.国际上电气和电子工程师协会(IEEE)标准组于2020年3月发布了联邦学习系统架构和应用指南,该标准对联邦学习的定义、概念、分类、算法框架规范等方面进行了系统性阐述;IEEE标准组多方安全计算推荐实
5、践、国际标准化组织ISO多方安全计算标准、国际电信联盟ITU多方安全计算指南都发布了相应标准;.|隐私计算的市场前景当前国内各行业对于数据流通的需求日趋旺盛,IDC于 2021 年 8 月在2021 年全球大数据支出指南中预测,到 2024 年国内大数据市场规模将超过 200 亿美元;毕马威于 2021 年 4 月在2021 隐私计算行业研究报告中指出,国内隐私计算技术营收服务将在 2024 年达到 200 亿人民币。公司类型公司类型公司名称公司名称市值市值/融资融资上市公司Snapchat(NYSE:SNAP)市值211亿美元初始公司OneTrust融资2亿美元初始公司Acronis融资1.
6、6亿美元初始公司TrustArc融资1亿美元资料来源:NYSE,Crunchbase|隐私计算的市场前景Gartner 在 2021 和 2022 连续两年将隐私增强计算(Privacy Enhancing Computation)评为重要战略技术趋势之一。|隐私计算的定义与作用隐私计算的目标主要是防止数据中隐私信息的泄露,因此隐私保护技术最主要的性能指标为隐私保护强度。对于个人消费者而言对于企业和机构而言对于政府而言隐私计算应用有助于保障个人信息安全。隐私计算在很多场景的应用,可以提升对个人信息的保护水平,降低个人信息在应用过程中泄露的风险。隐私计算是数据协作过程中履行数据保护义务的关键路径
7、。一方面,在企业内借助隐私计算,能够切实保护企业在采集、存储、分析等过程中的关键信息等数据,另一方面,隐私计算能够促进企业的跨界数据合作。隐私计算是实现数据价值和社会福利最大化的重要支撑。一是借助隐私计算能够在政府数据开放过程中,在采集、存储、协作等方面提升数据安全和隐私保护水平,二是借助隐私计算推动数据要素赋能产业升级。资料来源:隐私计算技术金融应用研究报告、腾讯隐私计算白皮书|隐私计算金融行业应用场景 金融机构同运营商数据合作营销理财产品客户营销保护挖掘结果人群信息保护已有用户信息PSI安全求交集基本属性消费偏好、行为标签运营商运营商用户基础信息,交易情况,产品使用情况银行银行|资料来源:
8、隐私计算技术金融应用研究报告|隐私计算金融行业应用场景 金融政务数据联合风控小微贷款类产品风控外部数据纳税、发票、收单资产、流水、财务标签行内数据客户数据准备联合建模数据不出本地加密训练解决方案行内数据征信数据税务数据收单数据信用良好小微贷款申请通过隐私求交技术联邦学习|资料来源:隐私计算技术金融应用研究报告|隐私计算技术分类旨在解决一组互不信任的参与方之间保护隐私的协同布局问题,为数据需求方提供不泄露原始数据前提下的多方协同计算能力。其设计目标是在保障数据交换时的安全、保护隐私的前提下,在多参与方或多计算节点之间开展高效率的机器学习。通过基于硬件的可执行环境对使用中的数据进行保护。安全多方计
9、算联邦学习机密计算|资料来源:腾讯 隐私计算白皮书|安全多方计算 安全多方计算(SMPC或MPC)最初由图灵奖获得者、中国科学院院士姚期智教授在1982年通过百万富翁问题提出 主要是针对无可信第三方情况下如何安全地进行多方协同计算问题 主要涉及到零知识证明同态加密、差分隐私、不经意传输技术等|安全多方计算 通过MPC则可以设计一个协议,在这个协议中,算法取代中间人的角色,Alice和Bob的薪资以及比较的逻辑均交由算法处理,参与方只需执行计算协议,而不用依赖于一个完全可信的第三方。安全多方计算所要确保的基本性质就是:在协议执行期间发送的消息中不能推断出各方持有的私有数据信息,关于私有数据唯一可
10、以推断的信息是仅仅能从输出结果得到的信息。不泄露薪资前提下,比较两人的薪资水平|联邦学习 如果机器学习模型是羊,分布在不同公司的数据是草传统机器学习(集中式)联邦学习(分布式)|联邦学习 假设企业 A 和 B 联合训练一个模型,它们分别拥有各自用户的数据。出于数据隐私保护,A 和 B 无法直接进行数据交换,通过引入可信第三方C,在联邦学习系统基础上建立模型如下:协作者 C 把公钥分发给 A 和 B,用以对训练过程中需要交换的数据进行加密。A 和 B 之间以加密形式交互用于计算梯度的中间结果。C 通过汇总A和B的结果计算总梯度值并将其解密。C 将解密后的梯度分别回传给 A 和 B,A 和 B 根
11、据梯度更新各自模型的参数|机密计算 机密计算是一种云计算技术,它在处理过程中将敏感数据隔离在受保护的CPU飞地中,飞地的内容只由授权的编程代码访问,并对任何人或任何其他人都是不可见和不可知的。主要通过利用基于硬件的可信执行环境(TEE)解决可能受到的恶意攻击问题。|资料来源:中国移动隐私计算应用白皮书|隐私计算技术对比关键技术关键技术安全多方计算安全多方计算联邦学习联邦学习机密计算机密计算计算过程保护效果计算性能计算精度硬件依赖无无有理论支持场景任意计算机器学习任意计算实际已商用场景国外:拍卖、薪酬统计国内:密钥管理、联合建模国外:横向FL为主国内:纵向FL为主国外:密钥管理国内:区块链计算模
12、式分布式分布式中心化优势可证明的安全性通信代价相对较低可大规模不存在算法和网络瓶颈,性能更强劣势包含复杂的密码学操作,性能一般较低,受底层理论、网络带宽等制约。难以保证模型更新过程中的零信息泄露;性能受带宽、延迟等制约必须依赖对执行环境厂商的信任;而且成本较高。资料来源:信安院等隐私保护计算技术研究报告(2020年)|区块链+隐私计算02|区块链+隐私计算的必要性引入隐私计算引入隐私计算引入区块链引入区块链区块链和隐私计算技术具有互补性,两者融合是必然趋势区块链和隐私计算技术具有互补性,两者融合是必然趋势 通过对数据流通的所有环节、所有参与者进行记录,实现数据共享流程中的权责分明 在数据传输环
13、节,区块链记录数据的提供者,确认数据提供方身份的真实性,有利于数据确权 保障数据从产生、感知、发布、传播到存储、处理、使用、销毁等全生命周期的隐私性 对数据进行规范化处理,提升数据处理、数据共享的效率,从而提升区块链的数据处理能力从区块链角度来看链上数据公开透明链上数据处理能力不足从隐私计算角度来看数据共享缺乏安全校验数据共享缺乏确权机制|区块链与隐私计算结合的案例隐私计算对区块链技术的刚性需求在现实当中尚未大规模地呈现出来。不过,业界对此已经有了前瞻性的认知。已有机构看到,区块链与隐私计算的结合是未来的必然趋势,技术融合解决方案的探索正在进行当中。2021年是隐私计算规模化落地元年|资料来源
14、:腾讯隐私计算白皮书|微众银行:多方大数据隐私计算平台 WeDPR-PPC2020 年 1 月,微众银行发布了即时可用场景式隐私保护高效解决方案WeDPR。WeDPR 融合了区块链技术与隐私计算技术,使得实际商业场景中的敏感数据在区块链上可以得到更好的隐私保护。2021 年 5 月,结合区块链和安全多方计算的优势,微众银行又推出多方大数据隐私计算平台 WeDPR-PPC。|资料来源:微众银行区块链WeDPR隐私保护白皮书|蚂蚁链:区块链网络平台 FAIR2021 年 10 月 22 日,在云栖大会上,蚂蚁集团旗下蚂蚁链推出全新区块链网络平台FAIR。目前,FAIR 平台已经开始在政务领域、大型
15、企业中落地,并且在金融等更多领域的探索正在进行当中。|资料来源:腾讯隐私计算白皮书|趣链科技:金融业数据共享平台趣链科技与央行分支机构、银行开展合作,运用区块链+隐私计算技术设计了数据报送模式,在江西南昌成功落地金融业数据共享平台,建立了融资联合征信平台,解决了机构数据共享的问题。资料来源:隐私计算技术金融应用研究报告|八分量:政府税务数据平台税务部门在监管各个企业汇总的税务数据时,无法准确识别税务信息(如发票)是否造假,其背后有没有真实交易行为发生。八分量提供基于隐私计算及跨链的税务数据平台,来解决各企业间的数据安全、数据共享、数据流通和数据验证问题。资料来源:隐私计算技术金融应用研究报告|
16、星云基因:Oasis Network 框架医疗行业里的病人数据具有高度隐私性,目前缺乏一套记录患者完整医疗信息的数据系统。星云基因使用 Oasis Network 的框架,客户可以保留其基因组数据的所有权,而星云基因可以在不查看客户原始信息的情况下对数据进行分析。|资料来源:隐私计算技术金融应用研究报告|研究工作进展03|联邦学习概念 Konen,McMahan,and Ramage:Federated optimization:distributed optimization beyond the datacenter.arXiv:1511.03575,2015 Konen于 2015 年在
17、机器学习中引入了一种新的分布式优化设置,在此设置的基础上提出了联邦学习的概念,旨在在数据分布在大量客户端上的场景中训练一个高效的集中式模型。|联邦学习概念 Konen,McMahan,and Ramage:Federated optimization:distributed optimization beyond the datacenter.arXiv:1511.03575,2015 Konen于 2015 年在机器学习中引入了一种新的分布式优化设置,在此设置的基础上提出了联邦学习的概念,旨在在数据分布在大量客户端上的场景中训练一个高效的集中式模型。(e.g.E epochs of SGD)
18、(e.g.E epochs of SGD)averageupdates.服务器随机选择一个客户端子集,该子集中的客户端将全局模型下载到本地子集中的每个客户端执行一定轮次的模型训练并计算局部梯度子集中的客户端将其局部梯度发送到服务器服务器接收局部梯度并整合构建全局梯度.|联邦学习应用Gboard:next-word predictionFederated RNN(compared to prior n-gram model):Better next-word prediction accuracy:+24%47%reduction in unhelpful suggestionsFederate
19、d modelcompared to baselineA.Hard,et al.Federated Learning for Mobile Keyboard Prediction.arXiv:1811.03604|联邦学习应用Apple:personalized Siri|联邦学习应用Intel:brain tumor detection资料来源:Federated Learning Tutorial NeurIPS 2020|联邦学习应用Nvidia:mammogram analysisFederated learning addresses this challenge,enabling
20、differentinstitutions to collaborate on AI model developmentwithout sharingsensitive clinical data with each other.The goal is to end up withmore generalizable models that perform well on anydataset,instead of an AI biased by the patient demographics orimagingequipment of one specific radiologydepar
21、tment.|联邦学习存在问题Massive,slow networksMalicious client attackServer VulnerabilityVariable hardware,connectivity,etcUnbalanced,non-IID dataSystems HeterogeneityStatistical HeterogeneityCommunication CostSecurity&Robustness|联邦学习存在问题Massive,slow networksMalicious client attackServer VulnerabilityVariable
22、 hardware,connectivity,etcUnbalanced,non-IID dataSystems HeterogeneityStatistical HeterogeneityCommunication CostSecurity&Robustness由于客户端的硬件水平和计算资源差异所带来的系统异构性,会降低全局模型的训练速度。由于客户端的数据分布差异,会导致全局模型在不同客户端上表现不同。LI X,HUANG K,YANG W,et al.On the convergence of fedavg on non-iid dataA.2020.LI T,SAHU A K,ZAHEE
23、R M,et al.Federated optimization in heterogeneous networksA.2020.ZHAO Y,LI M,LAI L,et al.Federated learning with non-iid dataA.2018.BRIGGS C,FAN Z,ANDRAS P.Federated learning with hierarchical clustering of local updates to improve training on non-iid dataC/OL/2020 International Joint Conference on
24、Neural Networks(IJCNN).2020:1-9.|联邦学习存在问题Massive,slow networksMalicious client attackServer VulnerabilityVariable hardware,connectivity,etcUnbalanced,non-IID dataSystems HeterogeneityStatistical HeterogeneityCommunication CostSecurity&Robustness联邦学习过程中客户端节点数量,通讯轮次,传输参数大小,都会直接影响整体训练效率 Aji A F,Heafiel
25、d K.Sparse communication for distributed gradient descentC/Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing,EMNLP 2017,Copenhagen,Denmark,September 9-11,2017 Wen W,Xu C,Yan F,et al.Terngrad:Ternary gradients to reduce communication in distributed deep learningC/
26、Advances in Neural Information Processing Systems,4-9 December 2017,Long Beach,CA,USA.2017:1509-1519.Han S,Mao H,Dally W J.Deep compression:Compressing deep neural networks with pruning,trained quantization and huffman codingJ.2015 Sandler M,Howard A G,Zhu M,et al.Mobilenetv2:Inverted residuals and
27、linear bottlenecksC,Salt Lake City,UT,USA CVPR 2018|联邦学习存在问题Massive,slow networksMalicious client attackServer VulnerabilityVariable hardware,connectivity,etcUnbalanced,non-IID dataSystems HeterogeneityStatistical HeterogeneityCommunication CostSecurity&Robustness联邦学习框架由于缺乏对局部梯度的身份认证,容易受到拜占庭客户端攻击,例如
28、梯度放缩攻击、全零和反向梯度攻击在实际应用中,商业竞争使得在参与者中很难找到一个完全可信的中心服务器恶意服务器的存在降低全局模型性能,严重影响着联邦学习的鲁棒性 CHEN Y,SU L,XU J.Distributed statistical machine learning in adversarial settings:Byzantine gradient descentJ/OL.BLANCHARD P,MHAMDI E M E,GUERRAOUI R,et al.Machine learning with adversaries:byzantine tolerant gradient d
29、escentA.2017 HU C,JIANG J,WANG Z.Decentralized federated learning:A segmented gossip approachA.2019 ROY A G,SIDDIQUI S,PLSTERLS,et al.Braintorrent:A peer-to-peer environment for decentralized federated learningA.2019.KIM H,PARK J,BENNIS M,et al.Blockchained on-device federated learningJ/OL.IEEE Comm
30、unications Letters,2020,24(6):1279-1283.LI L,XU W,CHEN T,et al.RSA:byzantine-robust stochastic aggregation methods for distributed learning from heterogeneous datasets.AAAI 2019|解决思路:去中心化联邦架构Centralized Federated Learning中心化联邦学习Decentralized Federated Learning去中心化联邦学习|去中心化联邦架构:BrainTorrent-based ROY
31、 A G,SIDDIQUI S,P LSTERL S,et al.Braintorrent:A peer-to-peer environment fordecentralized federated learningA.2019BrainTorrent-basedNodes complete aggregation through P2P protocol|去中心化联邦架构:Gossip-based HU C,JIANG J,WANG Z.Decentralized federated learning:A segmented gossip approachA.2019.Gossip-base
32、dNodes complete aggregation through Gossip protocol|去中心化联邦架构:Blockchain-based KIM H,PARK J,BENNIS M,et al.Blockchained on-device federated learningJ/OL.IEEE Communications Letters,2020Blockchain-basedNodes complete aggregation through Blockchain consensus|去中心化联邦架构局限性Current Byzantine-tolerance algor
33、ithmsCannot achieve satisfactory performanceCannot provide effective defense in the presence of malicious serversCurrent decentralized FL frameworksNot resistant to Byzantine attacksHigh communication overheadCMFL基于委员会机制的去中心化联邦:A Decentralized Federated Learning Framework with Committee MechanismLi
34、et al.“A Blockchain-based Decentralized Federated Learning Framework with Committee Consensus”.IEEE Network 2020(中科院一区)Che et al.“A Decentralized Federated Learning Framework via Committee Mechanism with Convergence Guarantee”,minor revision,TPDS.(CCF A)|CMFL架构介绍 联邦节点构成 训练客户端 获取全局模型、训练模型、上传本地更新参数 委员
35、会客户端 获取训练者模型更新、验证模型更新、选择聚合客户端、参与共识 聚合客户端模型更新满足委员会选择策略,并参与全局模型聚合 空闲客户端不参与本轮次模型更新|CMFL架构介绍 功能模块组成 评分模块:委员会客户端根据既定的评分系统对训练客户端的局部梯度进行评分 选择模块:符合选择策略的合格梯度被选中用于构建全局梯度 选举模块:选举策略旨在完成委员会成员的更替。所有委员会客户端进行投票选举,部分符合选举策略的训练客户端成为下一轮的委员会客户端 委员会共识协议:基于 pBFT的委员会共识协议,以请确保选择、聚合和选举等过程的正确执行|技术流程CMFL简要流程4132委员会节点6587训练节点Gl
36、obal model区块链区块链区块链节点区块链节点(1)下载(3)上传(2)本地训练Local model(4)上传更新Local model(5)下载所有更新90.初始时通过智能合约对全局模型初始化,随机挑选客户端作为委员会节点,剩余作为训练节点。1.训练节点首先获取区块链中最新的全局模型2.然后训练者利用本地数据进行本地训练3.训练节点通过合约接口获取委员会节点信息,传输模型更新到委员会节点4.委员会节点对模型进行验证后,将模型更新上传到区块链5.委员会节点可以获取所有模型更新|技术流程CMFL简要流程4132委员会节点6587训练节点Global model区块链区块链区块链节点区块链
37、节点(1)下载(3)上传(2)本地训练Local model(4)上传更新Local model(5)下载所有更新(6)评分Global model(7)模型聚合&更新413592789(1)下载Local model(4)上传更新6.委员会节点利用本地数据验证模型更新,并进行评分,然后再上传到区块链7.区块链中的智能合约自动聚合评分,并依据评分聚合模型更新,形成新一轮的全局模型。8.最后基于评分自动选举出新一轮的委员会节点9.同理,下一轮训练如此进行|CMFL各模块功能介绍 评分模块Scoring SystemThe scoring system based on Euclidean dis
38、tance to distinguish malicious and honest gradients Honest gradients get a high scoreMalicious gradients get a low scoreThe c-th committee clients scoreTotal score|CMFL各模块功能介绍 选择模块Selection Strategy 我们设计了两种相反的选择策略来确定用于更新全局模型的局部梯度。Selection strategy Consideration:Robustness 鲁棒性Applicable scenario:Byz
39、antine attack scenario 攻击场景下|CMFL各模块功能介绍 选择模块Selection Strategy 我们设计了两种相反的选择策略来确定用于更新全局模型的局部梯度。Selection strategy Consideration:Heterogeneity 数据异构性Applicable scenario:Non-attack scenario 无攻击场景下|CMFL各模块功能介绍 选举模块Election Strategy 选举策略旨在保证委员会客户的诚实Considerations Robustness 鲁棒性System Stability 系统稳定性|CMFL
40、各模块功能介绍 委员会共识协议CCP:Committee Consensus Protocol评分过程结束后,每个委员会客户端计算得到每个训练客户端的分数。然后每个委员会客户端将其分数广播给其他委员会客户端委员会客户端 p 被随机选择为主节点主节点,而其他委员会客户端成为次要次要节点节点每个委员会客户端根据选择策略决定其聚合客户端集,主节点创建一个请求,并其广播给所有次要节点,询问,是否正确,其中为局部梯度聚合所有次要节点执行到来的请求。它们每个人都检查是否,与自己的,;如果相同,则执行聚合过程;聚合后,检查结果是否与请求一致。如果是,则将执行结果,返回给主节点主节点检查它是否从次要节点中收到
41、至少 C/2+1 条相同的结果。如果是,则达成共识;否则,应重新选择主节点并重复步骤3-6主节点将全局模型广播给所有其他客户端,并准备开始下一轮训练|CMFL训练算法随机采样本地训练梯度验证全局更新新委员会选举该算法重复上述五个步骤,直到算法收敛或 超过最大通信轮次 T|理论分析 针对CMFL框架的收敛性进行了理论证明 假设前提:|理论分析 定义:模型在聚合客户端集上的平均局部损失客户端异构程度衡量|理论分析 收敛性定理|通信高效性 在 CMFL 的同步训练中,训练客户端必须等待下一轮之前的数据传输和委员会的共识操作。此外,训练客户端可能是异构的,配备了不同的 GPU、CPU、移动计算等。系统
42、的异构性导致本地训练时间和数据传输时间有很大差异。委员会在收到所有梯度之前不会执行聚合,从而减慢了训练过程。高效的通信版本 ECMFL(Efficient-CMFL):时序图异步训练机制,计算与通信阶段重叠 LI Y,YU M,LI S,et al.Pipe-sgd:A decentralized pipelined SGD framework for distributed deep net trainingC/BENGIO S,WALLACH H,LAROCHELLE H,et al.Advances in Neural Information Processing Systems:vol
43、ume 31.Curran Associates,Inc.,2018|实验设置Dataset&ModelFEMNIST-AlexNetSentiment140-LSTMBaseline methodsTypical Federated LearningMedianTrimmed MeanKrum&Multi-KrumBrainTorrentGossip Federated Learning|实验设置|实验分析常规训练实验(无攻击场景)|CMFL under selection strategy achieves the best performance in the non-attack sc
44、enario|实验分析常规训练实验(无攻击场景)CMFL under selection strategy achieves the best performance in the non-attack scenario|实验分析鲁棒性验证实验 恶意攻击方式|实验分析鲁棒性验证实验 恶意攻击下准确率对比 恶意节点比例小于50%条件下,BFLC准确率均稳定在80%以上 恶意节点比例越高,基线方法准确率逐渐下降|实验分析鲁棒性验证实验 不同恶意攻击下准确率对比|CMFL 在不同攻击场景下均能达到最佳性能 CMFL是唯一不依赖中央服务器的框架,自然地实现了抵抗恶意服务器影响的鲁棒性|实验分析超参数分
45、析实验|适当增加委员会成员的比例 可以提升全局模型的性能适当增加聚合客户端的比例 可以提升全局模型的性能更多的恶意客户端 可能会在某些特殊情况下产生更好的全局模型性能|实验分析委员会成员分析实验|适度的恶意客户端可提升所有诚实节点参与训练几率,进而提全局模型表现如果恶意客户端过多,则会破坏委员会的评分系统,委员会成员将失去消除恶意局部梯度的能力,导致全局模型的性能急剧下降|实验分析对比其他去中心化联邦架构的时效性|CMFL achieves a better performance than other two decentralized FL framework(BrainTorrent a
46、nd Gossip)|实验分析对比其他去中心化联邦架构的时效性|The communication overhead is lower than other two decentralized FL framework|学界与业界评价-StarFL:Hybrid Federated Learning Architecture for Smart Urban ComputingProf.Qiang Yang,IEEE/IAPR/AAAS Fellow-Deep reinforcement learning for blockchain in industrial IoT:A surveyProf
47、.Victor C.M.Leung,IEEE Fellow|学界与业界评价李冠憬:李冠憬:IET Fellow,静宜大学特聘教授静宜大学特聘教授Ernesto Damiani:意大利计算机科学大学联盟主席意大利计算机科学大学联盟主席Ruidong Li:日本金泽大学智能计算与网络日本金泽大学智能计算与网络实验室主任实验室主任znur zkasap:科奇大学计算机工程系教授科奇大学计算机工程系教授Roberto Morabito:芬兰爱立信研究中心芬兰爱立信研究中心研究员研究员|总结区块链Blockchain联邦学习Federated Learning分布式隐私保护特性计算可验证特性Li et
48、al.“A Blockchain-based Decentralized Federated Learning Framework with Committee Consensus”.IEEE Network 2020(中科院一区)Che et al.“A Decentralized Federated Learning Framework via Committee Mechanism with Convergence Guarantee”,2ndrevision,TPDS.(CCF A)|课题组研究方向:可信机器学习(联邦学习,鲁棒学习),及图机器学习 已发表 中科院一区/CCF A类论文
49、 30余篇,ESI高被引 1篇 担任 Elsevier 期刊 Software Impacts 副主编,AAAI/IJCAI等多个国际学术会议的高级程序委员,中国计算机学会(CCF)人工智能与模式识别专委会委员,广东省计算机学会区块链专委会/数字经济专委会委员主持国家重点研发计划项目课题、国家自然科学面上项目、青年基金、CCF-腾讯犀牛鸟基金10余项,课题组与多个企业(包括腾讯/微众银行/网易游戏/招联金融)等开展研究合作项目课题组与区块链,隐私计算相关科研项目项目类型项目名称国家级项目基于区块链的*智能*技术研究国家级项目基于区块链的联邦学习技术研究CCF-腾讯犀牛鸟科研基金基于区块链的安全
50、联邦学习方案研究广东省重点领域研发计划项目基于区块链与大数据的城市土壤污染智能管控关键技术研发及应用示范广东省自然科学基金面上项目面向联邦学习的信息几何优化方法广州市重点研发计划项目具备隐私安全的高性能联盟链关键技术研究与应用图与可信机器学习课题组 研究简介|未来发展分析04|未来发展分析隐私计算技术和区块链技术融合会改变什么解决隐私保护问题解决数据确权问题解决多方协作问题重塑大数据产业人工智能新一轮发展区块链产业的新机遇对现有业态的改变推动数据资产化的发展发现数据的市场价值推动企业业务改善推动企业数字化转型形成大规模数据流通和数据要素市场|未来发展分析区块链与隐私计算技术融合的重点领域政务领
51、域金融领域医疗领域一方面,实现政府不同部门之间的互联互通及数据共享;另一方面,可以促进政务数据与民间数据的双向开放。扩大数据来源,有助于信贷及保险等金融产品的精准定价;内外部多方数据的共享融合有助于提高金融机构的反洗钱甄别能力。在疾病治疗和药物研究方面,促进更多的医疗数据被联合起来进行分析和研究,从而为许多疾病的治疗带来新的突破。在医疗保险方面,主要是可以使得保险公司可以应用到更多的数据,改善保险产品的设计。|资料来源:生态重塑:区块链+隐私计算一线实践报告|未来发展分析区块链+隐私计算需解决的问题目前全社会的数字化正在快速推进当中,大多数机构都是正在进行自身内部的数据治理他们需要先处理好自己
52、的数据,之后才能产生更多的与外部数据进行协作的需求从外部环境来看,需要全社会整体的数字化水平的提高区块链+隐私计算技术的应用,实际上是牺牲了部分数据流通的效率、提升了安全性,但是数据流通的效率也非常重要,未来需要在效率和安全这两个方面形成一定的平衡,安全要保障,足够的效率也要满足从技术发展来看,技术成熟尚需投入随着需求的爆发、技术的完善,相关的法律法规以及商业模式就会随之形成还需要相关法律法规的完善,以及数据交易商业模式的形成|未来发展分析区块链+隐私计算的国产化是未来趋势区块链+隐私计算的应用,涉及网络、数据安全,未来将成为新基建的重要部分参考资料来源:2021腾讯隐私计算白皮书区块链隐私计算服务指南生态重塑:区块链+隐私计算一线实践报告隐私计算法律与合规研究白皮书微众银行区块链WeDPR隐私保护白皮书中国移动隐私计算应用白皮书Federated Learning Tutorial NeurIPS 2020|非常感谢您的观看|邮箱:主页:https:/gtml-