上海品茶

北京金融科技产业联盟:2023金融业隐私计算安全验证技术研究报告(58页).pdf

编号:150289 PDF  DOCX  58页 1.35MB 下载积分:VIP专享
下载报告请您先登录!

北京金融科技产业联盟:2023金融业隐私计算安全验证技术研究报告(58页).pdf

1、金融业隐私计算安全验证技术 研究报告 北京金融科技产业联盟 2023 年 12 月 版权声明 本报告版权属于北京金融科技产业联盟,并受法律保护。转载、编摘或利用其他方式使用本报告文字或观点的,应注明来源。违反上述声明者,将被追究相关法律责任。金融业隐私计算安全验证技术研究报告 编制委员会 编委会成员:何 军 聂丽琴 杨晓辉 编写组成员:张翼飞 石新蕾 卞 阳 杨天雅 王 超 胡静洁 周建平 毛 娟 黄司辉 黄一珉 王湾湾 李 博 陈嘉俊 张敬之 曹旭涛 王云河 靳 晨 张嘉熙 单进勇 金银玉 蔡超超 陈浩栋 宋雨筱 刘 尧 张亚申 黄翠婷 陈 涛 康和意 杨 波 邱晓慧 胡师阳 李克鹏 陈 明

2、 刘站奇 高志民 邵云峰 李秉帅 蒋美献 顾逸晖 昌文婷 袁鹏程 王 磊 周雍恺 李定洲 张远健 杨 柳 张佳辰 黄东庆 于 博 编 审:黄本涛 郭 栋 刘宝龙 金融业隐私计算安全验证技术研究报告 参编单位:中国银行股份有限公司 上海富数科技有限公司 蓝象智联(杭州)科技有限公司 中国工商银行股份有限公司 深圳市洞见智慧科技有限公司 浙商银行股份有限公司 华控清交信息科技(北京)有限公司 北京数牍科技有限公司 北京冲量在线科技有限公司 同盾科技有限公司 北京银联金卡科技有限公司 腾讯云计算(北京)有限责任公司 华为技术有限公司 蚂蚁集团股份有限公司 中国银联股份有限公司 深圳致星科技有限公司

3、上海光之树科技有限公司 金融业隐私计算安全验证技术研究报告 目目 录录 一、概述.1(一)研究对象.2(二)研究目标与原则.5(三)研究内容与思路.6(四)研究意义.7 二、应用现状.8(一)数据安全相关法律法规日趋严格.8(二)隐私计算国内外相关标准专项化.11(三)金融领域隐私计算应用痛点.20 三、隐私计算系统及产品安全验证技术.21(一)安全风险.21(二)安全验证技术.39(三)验证方式.46 四、未来发展趋势及建议.49 参考文献.56 金融业隐私计算安全验证技术研究报告 摘要:摘要:隐私计算从技术角度上可以有效解决数据融合应用与数据隐私安全之间的矛盾,为数据安全保护提供了一种可行

4、的技术路径。隐私计算技术落地化、产品化后面临更复杂的产品、系统、应用层面的安全风险,目前金融领域的隐私计算通用安全验证技术尚未有统一的研究,因此,本报告对隐私计算安全性验证技术进行研究,分析多个层次的安全风险项,重点关注金融领域的隐私计算可实现工具化的安全验证技术,梳理可验证方式,验证隐私计算在金融应用中是否满足协议一致性要求、输入输出数据和中间数据是否满足加密要求、通信信道是否安全,并以可视化方式展示隐私计算内部流程,使得整个过程变得更加透明可控,保障金融领域隐私计算安全应用。金融业隐私计算安全验证技术研究报告 1 一、概述 多方数据融合利用能够发挥数据最大价值,释放数据作为数字经济时代关键

5、生产要素的潜能,而多方数据融合总是涉及数据隐私安全问题,数据共享容易产生隐私数据和商业秘密泄露,诱发金融企业利益损失、个人财产盗窃等安全事件,相关责任主体面临违反隐私法律法规、遭受经济处罚的风险,严重时可能会影响社会公共安全甚至国家安全。数据信息安全是金融领域数据要素安全融合、互联互通的关键所在,金融机构需在保证使用目的与方式可控前提下传递数据的金融使用价值。隐私计算技术能够实现数据要素安全流通中隐私安全、管控数据使用目的与方式,促进数据生态闭合。隐私计算(Privacy-Preserving Computation),是指在提供隐私保护的前提下,通过协作对多方的数据进行机器学习和数据计算分析

6、,实现数据价值挖掘的技术体系。隐私计算成为构建数据要素流通基础设施的关键技术,能够实现数据安全融合,使“数据可用不可见”“按用途用量使用”,从技术角度上可以根本解决数据融合利用和数据隐私安全之间的矛盾,为数据安全保护提供了一种可行解。但隐私计算自身不同算法协议能保证的安全程度不同,同时隐私计算技术落地化、产品化后也面临更复杂的产品、系统、应用层面的安全风险。包括:如何验证隐私计算协议本身是安全的,如何防止数据泄露;如何验证隐私计算的实金融业隐私计算安全验证技术研究报告 2 现与声明的计算协议是一致的,如何验证交互的数据未包含敏感信息且无法推测出原始数据;隐私计算需要参与方之间的多轮通信,在这期

7、间通信信道是否安全;在有第三方的架构中,如何验证第三方是否可信;产品能否抵抗参与方进行数据投毒、模型投毒;隐私计算的结果数据是否泄露敏感信息等等。隐私计算在金融领域应用的一大关键问题是应用方对其安全性的认同。隐私计算安全性不仅包括通用的网络层、主机层的安全性,还包括硬件安全、密码安全、算法安全、应用安全等系统/产品应用的安全性,涵盖隐私计算系统/产品整个生命周期,需要全方位考虑。目前金融领域的隐私计算通用安全验证技术尚未有统一的研究,因此,本报告对隐私计算系统/产品安全性验证技术进行研究,分析多个层次的安全风险项,梳理可验证技术,实践、论证可验证方式,验证隐私计算在金融应用中是否满足协议一致性

8、要求、输入输出数据和中间数据是否满足加密要求、通信信道是否安全,并以可视化方式展示隐私计算内部流程,使得整个过程变得更加透明可控,推动隐私计算技术在多领域的广泛应用。(一)研究对象(一)研究对象 对现有学术成果、技术应用进行高度抽象,描述金融领域最大范围隐私计算通用系统/产品的工程安全性要素及其所包含的整体范围,形成具有通用性的隐私计算安全验证技术论证结果。金融业隐私计算安全验证技术研究报告 3 广义隐私计算是面向隐私信息全生命周期保护的计算理论和方法,涵盖信息所有者、信息转发者、信息接收者在信息采集、处理、发布(含交换)、销毁等全生命周期过程的所有计算操作,是实现隐私保护前提下数据安全共享的

9、一系列技术,技术体系如图 1 所示,包括但不限于:1 1.隐私计算技术隐私计算技术 从技术应用方向来分,当前主流应用技术包括多方安全计算(MPC)、联邦学习(FL)、可信计算(TEE),还包括同态加密、零知识证明等辅助技术。按技术层次来分,隐私计算技术划分为应用技术和安全保护技术。这些技术分离了数据的持有权和使用权,实现多方数据在保护隐私的前提下联合计算,使数据需求在不接触原始数据的情况下获得数据的增值价值,降低隐私泄露风险。我们从技术特点、数据处理、安全基础三个角度对比分析隐私计算的三大主流技术在安全性能方面的不同应用形式,如表1。表 1 隐私计算技术路径对比 对比项 MPC FL TEE

10、技术特点 侧重于基于特定规则的多方安全数据的通用安全数据加密计算分析,提供隐私求交、隐匿查询、联合统计等应用 侧重于多方数据的分布式机器学习模型训练和推理,提供特征工程、模型训练和推理预测的应用 侧重于多方数据的通用安全数据加密计算分析,提供可信信道、远程证明等功能 数据处理 各方数据在各方本地加密后交换,依不交换原始数据,原始数据在本地模型训练,通过硬件提供安全的执行环境,原始数据加密金融业隐私计算安全验证技术研究报告 4 赖纯密码学协议的实现 只交互模型的中间计算结果 后在“可信环境”中执行,依赖特定硬件环境实现 安全基础 密码学的安全证明 同态加密等安全机制 可信硬件 2 2.基于数据限

11、制发布的技术基于数据限制发布的技术 基于数据限制发布的技术,有选择地发布原始数据、不发布或者发布精度降低的敏感数据从而实现隐私保护,包括数据脱敏以及各类去标识化技术(如掩码、抑制、泛化、截断、混淆、k-匿名、l-多样性、t-贴近等)。这类技术保证对敏感数据及隐私的披露风险在可容忍范围内,但是需要考虑隐私披露和可用性之间的平衡,隐私保护的强度越强,丢失的信息就越多,数据的可用性越低。3 3.基于数据失真的技术基于数据失真的技术 基于数据失真的技术,通过添加噪音等方法,使敏感数据失真的同时并保持某些数据或数据属性不变,仍然可用保持某些统计方面的性质,包括随机扰动、合成数据技术等。数据失真是一种能够

12、抵御背景知识攻击的隐私保护方法,这类方法不依赖复杂的密码技术,用户计算开销小,并可获得精准的查询结果。4 4.辅助融合技术辅助融合技术 隐私计算最核心的是计算,但整个数据共享过程以及完整的系统需要借助多个辅助技术支撑,包括区块链、可验证计算、内容跟真实性检验及溯源技术(如数字水印)和访问控制技术等。金融业隐私计算安全验证技术研究报告 5 这些技术虽不是完全实现数据的联合隐私计算,但能在数据共享过程中有效保护个人信息,实现全流程可记录、可验证、可审计、可控制的安全、可控的数据共享,为数据真实性、数据确权等问题提供可行解决方案,如图 1 所示。图 1 广义隐私计算技术体系(二)研究目标与原则(二)

13、研究目标与原则 1.1.研究目标研究目标 重点关注金融领域的隐私计算系统/产品可工具化实现的安全验证技术,保障金融领域的隐私计算系统/产品应用、实施安全性,为形成自动化安全验证工具的实施奠定基础。2 2.原则原则 本报告、制定过程遵循以下原则:金融业隐私计算安全验证技术研究报告 6 以现有大数据、数据安全、隐私保护相关的法律法规为准绳,与已有标准规范内容保持一致;覆盖金融领域的隐私计算系统/产品生命周期全过程;以金融应用为导向,描述粒度能够面向未来金融领域的隐私计算通用安全验证技术,指导工程实践和产品落地。(三)研究内容与思路(三)研究内容与思路 本报告论证内容与思路包括如图 2 所示:图 2

14、 研究内容与思路 金融业隐私计算安全验证技术研究报告 7 1 1.调研调研 对现有大数据、数据安全和隐私保护相关法律法规政策,国家、行业、团体标准进行调研,对隐私计算现有成熟学术成果、技术应用情况进行调研,梳理目前隐私计算存在的安全问题;2 2.分析安全风险项分析安全风险项 对金融领域的隐私计算技术系统/产品安全风险项进行分层分析,包括网络层风险、主机层风险、硬件安全风险、基础密码安全风险、协议密码安全风险、算法安全风险。3 3.梳理安全验证技术梳理安全验证技术 从基于 TEE 的计算安全、区块链、基础性检测、通信数据解析、日志分析、代码审计、可视化等多维度详细描述现有的安全验证技术。4 4.

15、提出验证方式提出验证方式 以覆盖金融领域的隐私计算系统/产品生命周期全过程的角度出发,提出一系列隐私计算安全可验证的方式。5 5.实践安全验证项实践安全验证项 对金融领域现有的隐私计算系统/产品的安全风险项进行安全验证,验证数据在存储、流转、处理中是否符合安全要求。(四)研究意义(四)研究意义 本报告通过对隐私计算技术应用安全现状进行调研,梳理出其安全体系方面的安全风险项和安全验证技术,提出在金融领域金融业隐私计算安全验证技术研究报告 8 隐私计算系统/产品的可验证项,对隐私计算在更多领域的应用安全探索具有指导意义,可解决客户存在的验证落地和声明是否一致的问题;有利于厂商业务拓展和场景落地,简

16、化参与测评及认证工作;完善了隐私计算安全检测方法,提升测评机构测评能力;打通了多方数据存储、流转、处理中的安全性要素,推动金融领域的隐私计算系统/产品在安全验证技术法律法规的制定,规范隐私计算技术在金融领域的市场应用。二、应用现状(一)数据安全相关法律法规日趋(一)数据安全相关法律法规日趋完善完善 随着金融行业数字化的持续发展,金融机构往往持有大量的重要金融数据,数据的安全与风险防范一直是国家和相关监管部门关注的重点。近年来,国内外对于数据监管的法律法规日趋严格,我国数据立法进程不断加快,对金融数据的重视程度不断提高。2016 年 11 月 7 日十二届全国人大常委会第二十四次会议表决通过中华

17、人民共和国网络安全法,自 2017 年 6 月 1 日起施行,强调收集的用户信息应严格保密,维护网络数据的完整性、保密性和可用性,实行网络安全等级保护制度。2021 年 6 月 10日十三届全国人大常委会第二十九次会议通过 中华人民共和国数据安全法,自 2021 年 9 月 1 日起施行,强调数据安全与开发利用并重,确立数据分类分级管理制度,多种手段保证数据交金融业隐私计算安全验证技术研究报告 9 易合法合规。2021 年 8 月 20 日十三届全国人大常委会第三十次会议表决通过中华人民共和国个人信息保护法,自 2021 年11 月 1 日起施行,强调个人信息在数据流通过程中的安全合规,明确了

18、个人信息处理和跨境提供的规则、个人信息处理者的义务等内容。网络安全法、数据安全法个人信息保护法一起,构建了中国网络安全、数据安全、个人信息保护的基础性制度框架。2021 年 11 月 14 日,国家互联网信息办公室公布 网络数据安全管理条例(征求意见稿),对我国的网络数据安全与个人信息保护进行了细化和补充。2022 年 9 月,中央网信办会同相关部门起草了关于修改中华人民共和国网络安全法的决定(征求意见稿),明显强化了网络安全违法行为的处罚力度。2022 年 2 月 15 日起,国家互联网信息办公室等十三部门联合修订发布的网络安全审查办法正式施行,将数据安全作为网络安全审查的重点考量。可以预见

19、的是,我国网络安全监管框架正不断完善,国家各项法律法规对行业和企业都制定了更严格的标准。国际上对于数据的隐私保护的相关法案也愈加严格,比如欧盟保护公民隐私的通用数据保护条例(GDPR)于 2018 年生效,美国加州消费者隐私保护法案(CCPA)于 2020 年生效,2022 年 5 月 10 日英国公布数据改革法案,2022 年中旬美国联邦层面通过/发布了美国数据隐私和保护法案讨论稿、促进数字隐私技术法案。金融业隐私计算安全验证技术研究报告 10 在金融领域,国家监管部门还发布了若干关于金融信息安全、金融数据治理、消费者数据保护的规定规范,如:信息安全技术 金融信息服务安全规范金融数据安全 数

20、据安全分级指南个人金融信息保护技术规范等。这些法律法规的发布在数据隐私保护领域起到了重要的引导与规范作用,但同时也给数据的隐私保护技术带来了前所未有的挑战。目前很多场景下数据的收集方不一定就是数据的使用方,如果数据在实体间的转移交换或是联合计算违反了数据隐私保护相关规定,那么就可能会面临严厉的处罚,如表 2 所示。表 2 数据安全相关法律法规 法律法规 主要内容 实施时间 中华人民共和国网络安全法 强调收集的用户信息应严格保密,维护网络数据的完整性、保密性和可用性,实行网络安全等级保护制度。2017 年 6月 1 日 中华人民共和国数据安全法 强调数据安全与开发利用并重,确立数据分类分级管理制

21、度,多种手段保证数据交易合法合规。2021 年 9月 1 日 中华人民共和国个人信息保护法 强调个人信息在数据流通过程中的安全合规,明确了个人信息处理和跨境提供的规则、个人信息处理者的义务等内容。2021 年 11月 1 日 网络安全审查办法 将网络平台运营者开展数据处理活动影响或者可能影响国家安全等情形纳入网络安全审查范围,并明确要求掌握超过 100 万用户个人信息的网络平台运营者赴国外上市必须申报网络安全审查。2022 年 2月 15 日 网络数据安全管理条例(征求意见稿)对数据存储、数据流通、数据使用等数据合规问题进行约束,在数据分级、数据“出海”、大数据杀熟、身份认证、信息泄露报备等方

22、面给予了详细的指导意见。/通用数据保护条例(GDPR)欧盟公民隐私保护相关法案 2018 年 金融业隐私计算安全验证技术研究报告 11 加州消费者隐私保护法案(CCPA)美国消费者隐私保护相关法案 2020 年 数据改革法案(Data reform bill)旨在指导英国偏离欧盟隐私立法。将用于改革英国现有的通用数据保护条例(GDPR)和数据保护法案。2022 年 5月 10 日 美国数据隐私和保护法案(讨论稿)美国联邦数据隐私保护法案/促进数字隐私技术法案 支持隐私增强技术研究和促进负责任数据使用的拟议法案/(二)隐私计算相关标准逐渐细化(二)隐私计算相关标准逐渐细化 经过近几年隐私计算技术

23、的快速发展及应用需求加大,隐私计算技术的相关标准相继在国际、国内制定。前期的标准主要侧重于技术层面,而从 2021 年开始,隐私计算的标准开始面向安全层面、性能层面、应用层面的发展趋势。整理如表 3 所示。1 1.国内相关标准国内相关标准 国内方面,中国通信标准化协会于 2019 年 12 月发布了团体标准 基于多方安全计算的数据流通产品技术要求与测试方法,2020 年 7 月发布的团体标准基于联邦学习的数据流通产品技术要求与测试方法 基于可信执行环境的数据计算平台技术要求和测试方法规定了基于联邦学习、多方安全计算、可信执行环境的数据流通产品必要的技术要求。针对这些隐私计算平台的相关基础能力、

24、计算能力、数据流通管理能力、安全性、性能等方面制定产品标准。并于 2021 年发布团体标准隐私计算联邦金融业隐私计算安全验证技术研究报告 12 学习产品性能要求和测试方法和隐私计算多方安全计算产品性能要求和测试方法,首次针对性能方面制定了相关测评规范。2022 年 3 月份,开始隐私计算联邦学习产品性能要求和测试方法(大规模数据量)隐私计算多方安全计算产品性能要求和测试方法(大规模数据量)对原有的性能标准与安全标准更新,新增对隐私计算安全分级。此外隐私计算可信执行环境性能要求与测试方法隐私计算可信执行环境安全性测试规范也于 2022 年 3 月份开始编制,形成较为完整的隐私计算主流技术路线的性

25、能与安全标准体系。全国信息安全标准化技术委员会(简称信安标委)2021 年立项国家标准隐私计算技术应用指南信息安全技术 多方数据融合计算安全指南等。此外针对不同行业的隐私计算应用标准也相继制定,在金融行业方面,全国金融标准化技术委员会在 2020 年 11 月发布的金融行业标准多方安全计算金融应用技术规范规定了多方安全计算技术在金融应用的基础要求、安全要求、性能要求,2021 年中国支付清算协会发布了多方安全计算金融应用评估规范为多方安全计算金融应用规定了评估要求。联邦学习金融应用技术规范在 2022 年 1 月份在全国金融标准化技术委员会成功立项并开展行标编制,分别从技术框架、技术要求、系统

26、安全等方面规范联邦学习在金融领域的应用。中国通信标准化协会于2021年底也开始了 隐私计算面向金融场景的应用规范 标准的制定。金融业隐私计算安全验证技术研究报告 13 2 2.国际相关标准国际相关标准 在国际上,IEEE 标准 3652.1-2020联邦学习架构和应用规范(Guide for Architectural Framework and Application of Federated Machine Learning)在 2021 年 3 月发布,阐述了联邦学习的定义、概念、分类、算法框架规范、使用模式和使用规范等内容。IEEE 标准 2830-2021基于可信执行环境的共享机器

27、学 习 技 术 框 架 和 要 求 (Technical Framework and Requirements of Trusted Execution Environment based Shared Machine Learning)在 2022 年 1 月发布,提出了基于可信执行环境的典型隐私计算技术架构,明确了隐私计算整体技术架构的要求,规范了隐私计算的定义、技术架构、技术流程、技术特性、安全要求等。IEEE 标准 2842-2021多方安全计算推荐实 践 (Recommended Practice for Secure Multiparty Computation)于 2021 年

28、11 月正式发布,规范了多方安全计算的定义,以及多方安全计算的基本要求、可选要求和安全模型、系统角色以及工作流程、部署模式等。此外,IEEE 面向隐私计算安全要求的标准自 2021 年下半年相继立项开始标准编制,如IEEE 的 P2986联邦学习隐私与安全标准于 2021 年 8 月份启动标准制定,对联邦学习从安全性和隐私性角度开展分析,针对不同的攻击行为对应的防御机制提供参考框架;IEEE 的 P3169隐私计算安全需求于 2022 年上半年通过国际标准立项,将金融业隐私计算安全验证技术研究报告 14 对隐私计算技术本身潜在的安全隐患进行分析,并对隐私计算系统防御的安全风险进行分级。与此同时

29、,其他国际标准化组织如 ISO 的多方安全计算系列标准(Secure Multiparty Computation-Part 1:GeneralSecure Multiparty Computation-Part 2:Mechanisms Based on Secret Sharing),国际电信联盟 ITU多方安全计算技术指南等标准也均分别在制定中。表 3 国家标准 标准名称及描述 当前状态 GB/T 41388-2022信息安全技术 可信执行环境 基本安全规范 定义了可信执行环境的整体技术架构、可信执行环境主要功能构成及相关软硬件技术要求,适用于智能手机、平板、行业终端等需要可信执行环境进

30、行安全防护的领域。已发布 GB/T 36618-2018信息安全技术 金融信息服务安全规范 规定了金融信息服务提供商提供金融信息服务时的基本原则、服务过程要求、技术要求和管理要求。已发布 隐私计算技术应用指南 编制中 信息安全技术 多方数据融合计算安全指南 编制中 表 4 金融行业标准(全国金融标准化技术委员会)标准名称及描述 当前状态当前状态 JR/T 0196-2020多方安全计算金融应用技术规范 规定了多方安全计算技术金融应用的基础要求、安全要求、性能要求等,适用于金融机构开展相关产品设计、软件开发、技术应用等。规范的发布有助于实现在不泄露原始数据、保障信息安全前提下推动多个主体间的数据

31、共享与融合应用,确保数据专事专用、最小够用,杜绝数据被误用、滥用。已发布 JR/T 0171-2020个人金融信息保护技术规范 规定了个人金融信息在收集、传输、存储、使用、删除、销毁等生命周期各环节的安全防护要求,从安全技术和安全管理两个方面,对个人金融信息保护提出了规范性要求。已发布 金融业隐私计算安全验证技术研究报告 15 JR/T 0197-2020金融数据安全 数据安全分级指南 给出了金融数据安全分级的目标、原则和范围,以及数据安全定级的要素、规则和定级过程。已发布 联邦学习金融应用技术规范 规定了联邦学习金融应用的框架与流程、构建与应用过程、联邦学习的总体原则等。已立项 上述行业标准

32、中都有包含有安全相关内容的章节,包括算法安全、访问控制、通信保密、可核查性、真实性、安全分级、数据安全、模型应用安全等内容。表 5 CCSA 行业标准(中国通信标准化协会)标准名称及描述 当前状态 多方数据共享服务数据安全技术实施指南 在研 隐私保护场景下安全多方计算技术指南 报批稿 基于可信执行环境的安全计算系统技术框架 报批稿 互联网广告 隐私计算平台技术要求 征求意见稿 隐私计算 跨平台互联互通系列标准 征求意见稿 隐私计算 产品安全要求和测试方法系列标准、隐私计算 产品功能要求和测试方法系列标准、隐私计算 产品性能要求和测试方法系列标准 征求意见稿 隐私计算应用一体机技术要求 征求意见

33、稿 区块链辅助的隐私计算技术工具 评估要求与测试方法 征求意见稿 隐私计面向金融场景的应用规范隐私计算应用 面向通信场景的应用规范 征求意见稿 基于安全多方计算的隐私保护技术指南 本标准旨在制定基于安全多方计算的隐私保护技术的标准,利用安全多方计算最小化数据流通中隐私数据泄露的风险,从而在保障数据安全的前提下,促进数据的跨域流动,最大化发挥数据的价值。报批稿 共享学习系统技术要求 提出共享学习系统的技术要求,包括共享学习定义、技术框架及流程、技术特性、安全要求,用于指导共享学习系统的设计、开发、测试、使用、运维管理等。送审稿 其中与隐私计算安全最相关的隐私计算 产品安全要求和测试方法的系列标准

34、,包括隐私计算 联邦学习产品安全要金融业隐私计算安全验证技术研究报告 16 求和测试方法隐私计算 多方安全计算产品安全要求和测试方法和隐私计算 可信执行环境产品安全要求和测试方法。表 6 CCSA 团体标准(中国通信标准化协会)标准名称 当前状态 基于多方安全计算的数据流通产品 技术要求与测试方法 已发布 基于联邦学习的数据流通产品 技术要求与测试方法 已发布 基于可信执行环境的数据流通产品 技术要求与测试方法 已发布 隐私计算 多方安全计算/联邦学习/可信执行环境 产品功能/性能/安全 要求和测试方法系列标准 已发布 表 7 ISO 国际标准 标准编号 标准名称及描述 当前状态 ISO/IE

35、C 4922 Secure Multi-Party Computation CD 阶段 ISO/IEC 19592-1 Information technology-Security techniques-Secret sharing-Part 1:General 定义了秘密共享方案中涉及的各方、秘密共享方案上下文中使用的术语、此类方案的参数和属性。已发布 ISO/IEC 19592-2 Information technology-Security techniques-Secret sharing-Part 2:Fundamental mechanisms 规定了加密秘密共享方案。已发布

36、ISO/IEC 18033-6 Information technology Security techniquesPart 6:Homomorphic encryption 本文档规定了以下同态加密机制:指数 ElGamal加密;Paillier 加密。已发布 ISO/IEC 18033-8 Information technology Security techniquesPart 8:Fully homomorphic encryption 指定了加密机制来计算加密数据的函数,同时使用全同态加密保持输入、中间数据和计算输出的机密性。该文档提供了定义、符号和格式。它定在研 金融业隐私计算安

37、全验证技术研究报告 17 义了安全模型、假设、消息空间、密文空间、密钥空间和格式,以及适用于标准化的密码方案的密码机制。ISO/IEC 27565 Guidance on privacy preservation based on zero knowledge proofs 在研 ISO/IEC PWI 7748 Guidance and practice for privacy preservation based on zero-knowledge proofs 在研 ISO/IEC PWI 7709 Security and privacy reference architecture

38、for multi-party data fusion and mining 在研 以上几项标准涉及关于多方安全计算、同态加密、秘密分享、零知识证明等方面的基础性技术标准,是隐私计算的底层技术支撑。表 8 ITU-T 国际标准 标准编号 标准名称及描述 当前状态 ITU-T F.748.13 Technical Framework for Shared Machine Learning System 定义了共享机器学习系统的角色、技术和安全要求,提供了集中式和分散式共享机器学习系统的技术架构、功能组件和处理流程。已发布 ITU-T X.1770 Technical Guidelines for

39、 Secure Multi-Party Computation 建立了有关多方计算的技术导则(MPC),并为信息通信技术(ICT)利益攸关方在数据协作和大数据分析场景中使用 MPC 保护数据提供了技术标准的基础。此外,建议书还描述了可用于 MPC 的应用,以及如何作为 ICT 利益攸关方开发 MPC 应用的参考。已发布 ITU-T 已发布的两项标准,分别规定了共享学习的技术框架,以及安全多方计算的技术指南。金融业隐私计算安全验证技术研究报告 18 表 9 IEEE 国际标准 标准编号 标准名称及描述 当前状态 2830-2021 Standard for Technical Framework

40、 and Requirements of TEE-based Shared Machine Learning 本标准定义了机器学习的框架和架构,其中使用从多个来源聚合并由受信任的第三方处理的加密数据来训练模型。本标准规定了功能组件、工作流程、安全要求、技术要求和协议。2021 年发布 2842-2021 Recommended Practice for Secure Multi-Party Computation 数据已成为信息通信领域最重要的资产之一。安全多方计算在平衡数据使用和数据保护方面发挥着非常重要的作用。它可以在数据协作和大数据分析相关领域建立信任和安全。本标准提供了安全多方计算的技

41、术框架,具体包括以下内容:安全多方计算概述;安全多方计算的技术框架;安全多方计算的安全级别;以及基于安全多方计算的用例。2021 年发布 P2952 Standard for Secure Computing Based on Trusted Execution Environment 本标准制定了基于可信执行环境(TEE)的安全计算系统的技术框架,适用于指导基于 TEE的安全计算系统的设计、开发、测试和维护。本标准概述了基于 TEE 的安全计算系统,从隔离性、保密性、兼容性、性能、可用性和安全性等方面定义了通用安全计算平台的技术要求。最后,本规范规定了安全计算技术的用例和场景。已立项 365

42、2.1-2020 Guide for Architectural Framework and Application of Federated Machine Learning 本指南提供了跨组织和设备的数据使用和模型构建蓝图,同时满足适用的隐私、安全和监管要求。它定义了联邦机器学习的架构框架和应用2021 年发布 金融业隐私计算安全验证技术研究报告 19 IEEE 的国际标准中,2830-2021 规定了基于 TEE 的共享学习的技术框架,2842-2021 规定了安全多方计算的推荐实践,P2952规定了基于 TEE 的安全计算标准,P3652.1 规定了联邦学习的技术框架与应用指南,P31

43、56 规定了隐私计算一体机的技术要求,P3117 规定了隐私计算的互操作框架。IEEE 国际标准中,与隐私计算安全最相关的是 IEEE P2986,规定了联邦学习隐私与安全的推荐实践;以及 IEEE P3169,规定了隐私计算的安全要求。指南,包括联邦机器学习的描述和定义;联合机器学习的类别和每个类别适用的应用场景;联邦学习的性能评估;和相关的监管要求。P3156 Standard for Requirements of Privacy-Preserving Computation Integrated Platforms 2022 年立项 P2986 Recommended Practice

44、 for Privacy and Security for Federated Machine Learning 2020 年立项 P3117 Standard for Interworking Framework for Privacy-Preserving Computation 2021 年立项 P3169 Standard for Security Requirement of Privacy-preserving computation 2022 年立项 金融业隐私计算安全验证技术研究报告 20 (三)金融领域隐私计算应用痛点(三)金融领域隐私计算应用痛点 1.1.标准不够健全标准不

45、够健全 目前金融领域已生效的标准仅有 多方安全计算金融应用技术规范和移动终端支付可信环境技术规范两部标准,目前的标准不足以覆盖当下流行的隐私计算技术。2 2.国内对于支撑隐私计算的底层技术缺乏相应标准国内对于支撑隐私计算的底层技术缺乏相应标准 国际上,ISO 已经针对半同态加密,全同态加密,秘密共享和零知识证明出台了相关技术标准,国内密标委 2021 年底发布行业标准多方安全计算密码技术研究征求意见稿,介绍多方安全计算的技术原理、应用状况、标准制定等情况,更多底层技术的相关标准还需国内标准制定机构及时跟进。3 3.隐私计算技术应用安全的可验证性亟须解决隐私计算技术应用安全的可验证性亟须解决 法

46、规和政策一般要求数据必须是安全的,鲜有指定具体技术,并不是说用了某项技术就合法合规。隐私计算技术应用安全的可验证性亟须解决。4 4.隐私计算应用安全的研究成果较少隐私计算应用安全的研究成果较少 现有国内外标准中对隐私计算技术应用安全的研究还不是很完善。5 5.缺乏通用安全性验证技术缺乏通用安全性验证技术 不同厂商采用的协议之间差异较大,缺少覆盖面足够广的统一化验证技术及工具。金融业隐私计算安全验证技术研究报告 21 三、隐私计算系统及产品安全验证技术(一)(一)安全风险安全风险 隐私计算是一个多学科的技术融合,并不是一个单一的技术,包含了多种隐私保护技术,涉及密码学、安全硬件、信息论、分布式计

47、算等多个学科。隐私计算在实际应用过程中,也涉及来自各个层面的安全风险,为了便于通过安全体系进行阐述,对安全风险进行分层分析。1.1.隐私计算应用安全风险隐私计算应用安全风险 隐私计算应用的定位是对数据和隐私保护,识别出隐私计算技术潜在的风险,有助于我们对风险进行管控和采取措施,也是本文所研究的重点内容。隐私计算的安全体系,自底向上,可分为硬件安全、密码安全、MPC 协议安全、算法安全(含模型安全和数据安全)、业务层安全。(1)硬件安全风险 可信执行环境(TEE Trusted Execution Environment)是以硬件安全为代表的安全路线。TEE 的安全模型建立在对硬件的建立完全的信

48、任,然而基于硬件的安全性也并不是坚不可摧,也面临着多方面的风险:TEE 硬件设备的设计和生产过程中难免存在安全缺陷,自2017 开始,相关安全缺陷陆续报出。在国际漏洞数据库 CVE(Common Vulnerabilities and Exposures)中,绝大部分 TEE金融业隐私计算安全验证技术研究报告 22 相关的硬件漏洞都与本地物理访问相关,可能造成密钥泄露、数据泄露、权限提升等问题。最近值得关注的有 CacheOut 和 SGAxe攻击(漏洞识别号 CVE-2020-0549),此外,国外基于 TEE 的环境自身也面临着多项安全威胁,如 Intel SGX1(已知存在重大安全问题,

49、参见1、2)、来自对基于硬件的可信执行环境的各类侧信道攻击,从而推导其内部的机密数据内容等。TEE的安全有效性很大程度上依赖远程硬件认证服务的安全和诚实。由于这一服务通常由硬件厂商或者平台服务商提供,会带来中心化的信任问题。基于 TEE 的计算安全性需要一个没有商业利益冲突的可信第三方作为信任根的背书。因此如何挑选中立权威方或设计一套可信系统来提供这一信任服务将变得非常关键。(2)基础密码安全风险 隐私计算使用了大量的密码学技术,近年来,相关密码技术发展迅速。国密相关标准制定工作现在难以满足隐私计算使用过程中的要求,这在一定程度上,阻碍了隐私计算的快速发展,为证明密码算法的安全性增加了额外的工

50、作,需要具备专业的密码安全评估能力,配合相关的论文作为理论基础,来证明其安全性。密码的安全性一般都基于安全性的假设,这些假设造成了密码算法在使用上的诸多局限性,这些局限性往往造成错误使用密码算法的情况。当下,面对密码大量使用的诉求,缺乏专业性的密码安全评估专家以及评估流程。金融业隐私计算安全验证技术研究报告 23 密码安全随着时间的推移,其安全性是相对的,面对算法和算力的增加,密码的安全强度也是一个挑战。在密码学中,通常使用安全参数(Security Parameter)用来衡量一个攻击方(adversary)攻破一个加解密机制(scheme)有多困难(hard)的方式。直观的理解就是,安全参

51、数越大,对应的破解加密系统的难度也就越大。安全参数有两种类型:计算安全参数:决定了加密机制中的定义的计算的数值空间(input size)大小,通常是用 bit 位数表示。关联计算复杂度。统计安全参数:通常是在攻击方 unbounded computation power,即算力无限的情况下,攻击方以一定概率破解加密机制。在当下,联邦学习密码学部件安全性:要求不低于 112bit计算安全强度和不低于 30bit 的统计安全强度,为适应算力算法能力增长的对抗,满足安全性,可能会提高通用的安全强度。面向未来的后量子时代,基于量子计算设计的量子并行性算法,可以快速破解现有大部分的公钥加密系统,因为公

52、钥加密算法的安全性依赖于大整数分解或离散对数难题,包括 RSA、EC-DSA、ECDHE 等在内的公钥加密和签名方案受到影响。现在隐私计算采用的关键密码学技术,其抗量子攻击的算法已经是主流趋势,比如基于格的同态加密、秘密分享等,在隐私计算场景下存在广泛的应用。金融业隐私计算安全验证技术研究报告 24 此外,隐私计算中的随机数安全风险也不容忽视。随机数在隐私计算算法领域具有广泛的应用需求,例如大集合中选择随机样本、密码学中生成密钥和运行安全协议,测试计算机程序等。算法实现中随机数一般由伪随机数生成器实现,由于伪随机生成器依赖于初始状态、初始值可以预测和再生。因此程序是否拥有高质量的伪随机数是至关

53、重要的问题。密码学中的随机序列还需保证在未获取秘密信息的情况下,序列是不可预测且无法从序列的少量元素中重新生成序列,能防御攻击者重构密钥或从序列中获取密钥。伪随机数生成器质量可以通过检测每个数都是随机的产生且与序列中其他所有数都相互独立来完成。例如:德国信息技术安全研究所给出的随机数生成器的质量准则:1)随机数组成的随机矢量应该以很高的概率保证不包含完全相同的连续元素。2)基于统计测试生成的随机数与真实随机数不可区分。3)不能通过已知随机数序列计算或猜测之前或未来的随机数或生成器状态。4)不能通过生成器的内部状态计算或猜测之前的随机数或生成器状态。(3)协议密码安全风险 目前 MPC 协议有

54、Garbled Circuit、Oblivious Transfer、Secret Sharing、BGW、GMW、BMR 等,它指的是用户在无需进行金融业隐私计算安全验证技术研究报告 25 数据归集的情况下,完成数据协同计算,同时保护数据所有方的原始数据隐私。在评估协议的安全性时,关注的是安全模型,有半诚实安全模型和恶意安全模型。满足半诚实模型时,双方都遵循协议规范,同时试图从接收到的消息中推断出另一方输入的信息。满足恶意安全模型时,参与方根本就不按照计算协议执行计算过程。参与方可采用任何(恶意)方式与对方通信,且没有任何信任关系。结果可能是协议执行不成功,双方得不到任何数据;或者协议执行成

55、功,双方仅知道计算结果。对于通常相互信任且由于彼此业务需要的各方来说,采用半诚实安全模型的 MPC 协议,这是一种相对合适的模式。在现实世界中部署的大多数安全多方计算实例都是在半诚实的模型中运行的。虽说任何半诚实的协议都可以被增强为恶意安全协议,允许各方主动篡改发送的消息,不过这样做会带来显著的性能开销,导致实际中无法使用。(4)算法安全风险 联邦学习融合了多方安全计算技术、AI 算法。虽然隐私计算技术通过数据“不可见”实现了数据安全的保护,但正因为“不可见”,也造成了一定的安全风险敞口,这里我们分别从数据安全和模型安全的角度,分别讨论几类常见的攻击和防御。1)对数据安全的攻击 金融业隐私计算

56、安全验证技术研究报告 26 这里我们所指的破坏数据安全的攻击是一个广义的概念,不仅指造成数据隐私的泄漏的攻击,也包括了通过污染数据达成攻击目的的方式。具体来说,这类攻击包含:数据重构 对于隐私保护的机器学习模型构建,最为常用的一类技术即是由Google于2016年首次提出的联邦学习技术4。该技术通过传递梯度的方式,避免了直接的明文数据传递,实现了数据隐私保护多方联合建模。但国内外研究表明56,梯度并不是一个有效的安全载体,攻击者可以伪装成合法的联邦学习参与者,并在获取到明文梯度后可以仅付出少量的计算成本就反推出用来计算梯度的原始数据。另外,极端情况的使用,例如训练只使用一列,只选 label,

57、batch_size=1,二分类模型等,有可能推理出隐私信息;使用方恶意频繁调用算法(用法用量),如 PIR 中反复查询某个人的特征,每次都预测张三的信用分,就有可能推理出隐私信息或者模型系数等。数据下毒 由于建模数据多由他人提供且数据“不可见”,隐私计算下的机器学习平台通常缺乏有效的机制对数据进行过滤与清洗,从而令攻击者可以通过简单的标签反转7、模型替换8、数据篡改9等方式,来抑制模型的收敛、降低模型的性能甚至控制模型对特定输入的响应模式。模型后门注入 又称“特洛伊木马”攻击,与数据下毒类似,攻击者利用“不可见”的特性,通过篡改原始数据的方式,让模金融业隐私计算安全验证技术研究报告 27 型

58、记住特定“触发器”的分布特性1011,使训练得到的模型在面对携带触发器的输入数据时,给出攻击者所期待的输出。无意识记忆 Google 于一篇研究报告中指出12,在多方联合建模时,参与者常常会把一些分布外又无助于模型性能提升的隐私数据于无意间加入训练当中,这类数据会于神经元中引入一类被称之为“无意识记忆”的漏洞。攻击者可以利用最短路径搜算算法,快速复原出构成无意识记忆的隐私数据。2)对模型安全的攻击 通常这类攻击会通过欺骗模型或破坏模型隐私的方式,威胁机器学习模型服务安全。此外,这类攻击通常在传统的机器学习平台中也极为常见,但由于隐私计算下的机器学习平台数据和模型“不可见”的特性,该类攻击对其威

59、胁更为严重,如:模型偷取 又称模型提取攻击。以金融领域为例,模型作为银行等金融机构的核心资产,具有极高的商业价值。这类攻击允许攻击者通过构造特定访问样本13,在不具备或仅具备少量数据的情况下,复制一个与目标模型性能相仿的模型,极大地威胁公司的核心资产安全。恶意样本 通过合成的恶意样本14,攻击者欺骗模型做出特定的响应。以预授信场景为例,恶意用户可以通过修改其部分预授信信息,欺骗模型做出错误的判断,损害公司利益。于隐私保护下机器学习平台服务中,由于数据被加密,这类攻击尤其难以检测。金融业隐私计算安全验证技术研究报告 28 成员推断 成员推理是一类可以通过模型输出的后验概率检测建模所使用数据的攻击

60、15。这类攻击对医疗场景下的机器学习应用下的用户隐私造成尤为严重的安全威胁,攻击者在隐私计算技术的保护下,隐蔽地获取任意个体是否于某家医院参与治疗或是否患病等十分私密的个人信息。模型更新推理 对于一般的模型服务场景,经常需要定期的更新模型以匹配最新的业务场景特性。德国研究机构 CISPA 的研究表明16,攻击者可以利用模型更新后带来的后验概率输出上的前后差异,推理出用来更新模型的原始数据。3)安全防御 数据安全防御方面,针对数据生命周期,需要对应数据使用前与使用中,分别制定对应防御策略。使用前数据清洗与过滤。平台应提供相应的工具,在数据资产发布时由平台提供方或第三方,对数据进行清洗和检测,对下

61、毒数据、木马数据等恶意数据进行示警,在数据通过隐私计算技术加密前,就从源头上控制其可能带来潜在的风险。使用中强化隐私计算应用。平台应杜绝对非可证明安全的数据形式变换方式的依赖,避免“梯度裸奔”等现象的出现。针对包括模型梯度、嵌入向量等任何敏感信息出域,都必须借助同态加密、秘密共享等经过学术界和专业机构验证的隐私计算在符合国家标准的安全强度下予以保护。在特定模型场景下,还应金融业隐私计算安全验证技术研究报告 29 保证所使用算法能够提供可验证计算能力,防止攻击者于隐私计算过程中篡改数据。模型安全方面,除借助上述数据安全保护策略外,还应于模型部署前和部署后提供如下防御。部署前模型检测。平台应提供模

62、型安全检测工具,对所有待部署模型进行检测,判断是否存在恶意后门。当发现后门后,除对用户进行报警外,亦可选择性地通过模型遗忘、模型蒸馏等方式提供模型后门清洗在内的善后能力。部署后访问控制。上述攻击的一大特点在于,都需要通过构造大量合法或非合法的访问来获取模型相关的额外信息,以辅助攻击者发起攻击。因此,一种最为简单有效的防御策略就是基于访问控制来拒绝越界访问、陌生 IP 访问、非授权访问等非法访问,限制部分用户的访问频次,这可以极大地增加攻击的攻击成本。平台应具备对数据和模型的访问、使用、授权等系统日志的记录与审计能力。当平台受到攻击后,能够对攻击发起方的恶意行为采集证据以供法律追责之用。(5)业

63、务安全风险 1)安全假设应用错误 应用场景的安全假设使用错误可能带来应用安全风险。密码和算法的安全性往往基于一定的假设和前提。比如半诚实模型下的多方安全计算技术,其安全性基于所有的参与方不能违反协议金融业隐私计算安全验证技术研究报告 30 (比如发送错误的数据给其他参与方),当这些技术用于解决金融领域相关问题时,技术服务方和应用方应该就技术成立的安全条件和实际环境的匹配性达成共识,如果实际环境与技术安全性假设不符,则相关产品在正式应用时就可能存在安全漏洞。工业界大部分产品采用的算法实现是基于半诚实的安全假设,当然也有一些产品,为了支持更高等级的安全性,支持恶意参与方的场景。同时为了实用性,多数

64、产品都会在一定的可控条件下,进行工程或者算法层面的效率优化,这都为安全验证工作带来了很大挑战。无论对半诚实模型和恶意模型来说,其验证都是需要理论的证明,有理论上的背书,其验证才有据可依,随后验证算法流程按照协议执行即可。但一些工程或者算法层面的优化,仍会给验证带来一定的不确定性,这也应该是安全模型验证的重点。2)隐私计算场景应用风险 隐私计算在不同场景中安全性的定义也是不同的,常见的应用有:联合统计、联合建模、隐私集合求交(PSI)、匿踪查询(PIR)等。尽管如此,各场景面临的安全风险实际上大体可分为两大类,即算法本身的安全性和应用安全性,具体介绍如下:联合统计安全性联合统计安全性 底层多方安

65、全计算协议的安全性,如安全模型是半诚实模型还是恶意模型,是否抗共谋,协议的不诚实门限等。金融业隐私计算安全验证技术研究报告 31 应用时常见的风险有:联合统计的计算结果可否推断出原始数据,联合统计的计算逻辑是否可进行归约,从而直接暴露原始数据等(如 a+b-a 等价于 b)。联合建模安全性联合建模安全性 建模算法协议的安全性,原始数据是否出本地,本地中间数据是否被保护,全局中间数据是否被保护等。应用时常见的风险有,在联合建模中,面临的一些攻击,如对抗攻击,投毒攻击,后门攻击,标签推理攻击等。隐私集合求交安全性隐私集合求交安全性 PSI 协议安全性,如安全模型是半诚实模型还是恶意模型,是否抗共谋

66、,协议的不诚实门限等。应用时常见风险有:学术上的 PSI 技术通常是指定一方为结果方,所以 PSI 协议上安全性的保证只到结果方获得结果,但在实际应用中,参与方都需要知道最终的交集结果,如纵向联邦学习中。常见的做法是结果方将结果同步其他参与方,此过程存在两个风险,一是在半诚实敌手模型下,学术上很难给出针对最后额外将交集结果信息同步至接收方的安全证明,二是结果方可能发送假的结果。在有些业务中需要三方的数据进行融合应用,要求只把三方的交集数据作为最终结果输出,并且不泄露两两之间的交集,如果先两两之间进行求交,再对两两的中间结果进行求交,则无法满足业务要求,存在泄露两方之间隐私的风险。匿踪查询安全性

67、匿踪查询安全性 金融业隐私计算安全验证技术研究报告 32 PIR 协议安全性,如安全模型是半诚实模型还是恶意模型,是否抗共谋,协议的不诚实门限等 应用时常见风险有:很多 PIR 协议会采用分桶优化来提升查询速度,本质上是对被查询数据做了分片,通过缩小待查数据的空间规模来降低计算开销,这同时会造成桶内元素不可区分度的线性下降,从而降低 PIR 协议查询过程的安全性;另一方面是数据库的可信性问题,即被查询方提供的数据集为假。2 2.通用的安全风险通用的安全风险 (1)网络层风险 随着国内互联网快速发展,在网络层的安全性控制机制比较多,方案也比较完善,目前网络攻击是指针对计算机信息系统、联网基础设施

68、、计算机网络或个人计算机设备的任何类型的进攻动作。这些攻击包括破坏、揭露、修改、使软件或服务失去功能、在没有得到授权的情况下窃取或访问任何一台计算机的数据。网络攻击分为主动攻击和被动攻击以及高等持续性威胁等。主动攻击会导致某些数据流的篡改和虚假数据流的产生。这类攻击可分为篡改消息是指一个合法消息的某些部分被改变、删除,消息被延迟或改变顺序;伪造指的是某个实体(人或系统)发出含有其他实体身份信息的数据信息,假扮成其他实体;终端拒绝服务,会导致对通讯设备正常使用或管理被无条件地中断,等等。金融业隐私计算安全验证技术研究报告 33 被动攻击中攻击者不对数据信息作任何修改,截取/窃听是指在未经用户同意

69、和认可的情况下攻击者获得了信息或相关数据。通常包括窃听(包括操作记录、网络监听、破解弱加密、非法访问数据、获取密码文件等)、欺骗(包括获取口令、恶意代码、网络欺骗等)、流量分析(包括导致异常型、资源耗尽型、欺骗型等)、数据流(包括缓冲区溢出、格式化字符串攻击、输入验证攻击、同步漏洞攻击、信任漏洞攻击等)攻击方式。被动攻击主要是收集信息而不是进行访问,数据的合法用户对这种活动一般不会觉察到。高等持续性威胁(APT)攻击是对特定目标进行长期持续性网络攻击的攻击形式,属主动攻击的一类。APT 在发动攻击之前需要对攻击对象的业务流程和目标系统进行精确的收集。在此收集的过程中,此攻击会主动挖掘被攻击对象

70、受信系统和应用程序的漏洞,利用这些漏洞组建攻击者所需的网络,并针对系统漏洞进行攻击。对于网络攻击潜在的风险,一般采取的解决方法主要是在服务器前置部署相关的网络安全基础设施,包括建立 DMZ 区与内部服务环境进行隔离,架设防火墙、负载均衡、数据防泄漏系统等。(2)主机层风险 应用程序运行于各种操作系统和基础软件之上,品类和版本繁多,比如:Linux,BSD,Windows 等操作系统,MySQL、redis、sftp、ssh、apache、tomcat 等基础软件。在引入各类软件的同金融业隐私计算安全验证技术研究报告 34 时,也引入了软件的安全缺陷和安全风险,为应对各类软件带来的安全风险,一方

71、面,通过要安装的各类软件进行管理,建立安全情报机制,快速识别出新的安全漏洞,以快速修复发现的问题,将安全防控机制,进行常态化,建立软件管理、安全情报管理、定期安全扫描、病毒查杀、快速漏洞修复、安全补丁机制来确保主机层的安全能力。(二)(二)安全验证技术安全验证技术 1.1.基于基于 TEETEE 的计算安全验证技术的计算安全验证技术 (1)远程验证机制 在基于 TEE 的计算环境中,可以使用远程认证机制来远程证明用户身份和平台可信性。远程认证机制主要包括可信认证报告生成和可信认证过程两部分实现。可信认证报告和可信认证过程的基础是 TEE 可信根中的背书密钥(Endorsement Key)。背

72、书密钥一般是一个非对称密钥,与硬件有唯一性绑定关系。为了增强可信根的安全性,背书密钥一般不会被直接参与到报告生成和认证过程中,而是派生出一对身份认证密钥(Attestation Identity Key)。可信认证报告核心是一个包含 TEE 运行状态和带有软硬件度量值的原始证明报告。原始证明报告使用 AIK 签发后形成可信认证报告。可信认证过程如上图所示,由三方交互完成,包括 TEE执行节点所在的被验证方、客户端所在的验证方和 TEE 可信认证中心。TEE 可信认证中心本身作为一个 CA 服务,负责可信报告金融业隐私计算安全验证技术研究报告 35 相关密钥证书的发放。验证方和被验证方都拥有认证

73、中心的 CA公钥证书,以验证 CA 所签发证书的合法性。被验证方向验证方提供可信认证报告,由验证方完成报告的可信认证。验证方获取可信报告后,首先验证 AIK 证书的有效性确保证明报告的合法性,通过 AIK 签名验证证明报告的完整性。之后,验证方再根据可信策略验证报告本身,比对度量值等关键字段,确认 TEE 端计算环境的机密性以及代码的完整性,TEE 远程验证机制如图 3 所示。图 3 TEE 远程验证机制(2)节点互信验证机制 TEE节点互信指的是不同机密计算节点之间达成信任关联的过程,如图 4 所示。节点互信机制满足如下要求:金融业隐私计算安全验证技术研究报告 36 1)系统应在节点通信发生

74、之前,在节点识别之后,预先设定需要互信的节点范围;2)系统应保证节点互信的信任凭据具备有效性时长或只在会话内有效。3)节点互信应包含身份互信、通信安全互信、计算要素互信,宜包含计算执行代码互信。图 4 节点互信验证机制 节点互信的维度包括:1)身份互信:各个节点应具有独立身份,或具有所属组织的身份。身份具备动态认证的特性。可采用通用的 PKI(Public Key Infrastructure)、IBE(Identity Based Encryption)和CPK(Combined Public Key)等认证体系构建;2)通信安全互信:节点之间应实现加密通信,通过安全连接交换数据,处理请求。

75、加密通信宜采取 TLS 协议或类似的加密方案。同时,系统需要给出安全的密钥握手方案,比如 PKI 体金融业隐私计算安全验证技术研究报告 37 系或将节点公钥与白名单一起通过安全通道预同步到关联节点的方案。通讯密钥与节点身份认证密钥应分离;3)计算要素互信:各个节点之间应只在关联的任务计算必要时进行交互通信。计算要素包括:计算任务的参与方信息、计算节点信息、权限信息、计算参数、数据一致性信息。各方之间对参与任务的各个要素需要互证一致;4)计算执行代码互信:计算节点之间可通过远程验证机制,提供计算执行代码的一致性证明。2 2.基于区块链的全流程存证基于区块链的全流程存证 区块链是一种去中心化的分布

76、式账本。该技术由分布式数据存储、点对点传输、共识机制、智能合约、加密算法等多种子技术共同组成,具有可追溯性、防篡改性、不可伪造性等特性,可以有效解决无第三方背书的情况下的信任问题。基于这些特性,区块链可以对数据从产生到处理、从交易到计算的全生命周期进行记录和存证,保证过程的可验证性和可信性。进一步来说,区块链技术能够对隐私计算任务的全流程进行存证。各参与方可作为区块链上的节点,保存有数据共享中的目录信息、权限控制信息、协调信息、存证信息及交易信息等,可根据审计要求追溯任意历史的变更记录,从而解决隐私计算任务存证的数据难验证、交易难溯源、多方难互信、多方协作难等问题,使得隐私计算全流程可验证、可

77、溯源、可信任、易实现多方协作。金融业隐私计算安全验证技术研究报告 38 (1)共识机制 共识机制是区块链技术的重要组件。与中心化架构不同,在区块链中各个参与节点都有平等的记录数据的能力,那么需要一个共识机制来决定谁最终拥有数据的记账权,即让这些节点通过一个规则同意这个特殊节点在很短的时间内完成了对交易的验证和确认。共识机制具有两个作用:1.一致性:对区块链系统中所有诚实参与节点保持账本一致性。2.有效性:筛选出一个节点来往链上写入数据,其他所有诚实节点把该发布的信息记录在自己的区块中。目前常见的共识机制有:工作量证明 PoW(Proof of Work)、权益证明 PoS(Proof of S

78、take)以及委托权益证明 DPoS(Delegated Proof of Stake)。工作量证明机制工作量证明机制 PoWPoW 当一笔交易发生时,就会产生一个区块,为了保持数据一致性,每个区块数据只能由一个节点(有记账权的)进行记录。比特币就是通过 PoW 机制(如图 5 所示)来确认这个记账节点。比特币网络提出了这个 PoW 问题。其关键要素是工作量证明函数、区块信息及难度值。工作量证明函数是这道题的计算方式,区块决定了这道题的输入数据,难度值决定了这道题所需要的计算量。可以理解成节点为了获得记账权需要将不同的 Nonce 值 代入到工作量证明函数中,尝试进行 SHA256 哈希运算,

79、直到找出满足条件的 Nonce 值为止。计算得出满足条件的 Nonce 值的个数越多,代表难度越大。金融业隐私计算安全验证技术研究报告 39 图 5 工作量证明机制 PoW(2)分布式存储 区块链使用点对点传输技术进行分布式存储。假设黑客破解和篡改了一个节点上的信息,并不能影响区块链的账本,因为篡改者需要同时修改网络上超过半数的系统节点数据才能真正地篡改数据。这种篡改的代价极高,导致几乎不可能完成,从而造就了区块链的安全性。(3)智能合约 智能合约是存储在区块链上的数字合约,在满足确定的条款和条件时会自动执行这些合约。智能合约工作时遵循简单的“if/when.then.”语句,这些语句被写入区

80、块链代码中。当满足并验证预先确定的条件时,计算机节点将执行操作,这些操作可能包括相应的各方发放资金、发送通知或开具凭单等。然金融业隐私计算安全验证技术研究报告 40 后,在交易完成时更新区块链。这意味着无法更改,只有获得许可的节点才能看到结果。因为没有第三方的参与,减少了人为失误或者合谋干预的风险。因为一旦更新了区块链,交易记录会被所有节点共享,所以数据是无法被篡改及安全的。(4)密码学 在区块链系统(如图 6 所示)中,运用了多种的密码学技术,包括哈希算法、公钥私钥、数字证书与签名、零知识证明、同态加密等,以此来保护整个区块链系统的安全。其中,数字签名技术可以证实某数据内容的完整性并确认其来

81、源,即可证明数据的归属。区块链交易记录经过加密,这使得它们很难被破解。此外,由于每条记录都与分布式账本上的前后记录相关联,黑客必须改变整个链才能更改单个记录。图 6 区块链系统 3 3.基于区块链智能合约的计算合约基于区块链智能合约的计算合约 计算合约由数据、算力、算法等信息组合而成,体现数据用途和用量的服务契约;计算合约允许各计算参与方在计算任务发起时对使用的数据集、算法(即数据用途)和使用次数进行审阅。金融业隐私计算安全验证技术研究报告 41 在所有参与方达成一致后,平台方可开始执行计算任务。主要内容包括:1)算法逻辑及其他约定:体现数据的用途、用量、时限等。2)电子签名:体现多方监督,抗

82、抵赖,可具备一定的法律效力。计算合约的特点包括:1)数字化、可机读:不只是将纸质合同电子化,须实现条款可自动执行。2)各方约定:以各方达成一致为前提,责任共担,分散风险。3)数据使用透明化:确认数据加工、计算的算法逻辑(对于保密部分可使用密码技术处理)。4)涵盖计算任务全流程:具备不可篡改、可追溯等特性。计算合约的执行流程:1)任务准备:算法提供方基于算法形成合约模板;2)任务发起:任务发起方选择合约模板,完善合约内容;所有参与方提供相关信息,审查并签署合约;3)任务执行:任务发起方执行合约,发起任务;调度方验证任务,调度资源;计算方验证任务,完成计算,同时对计算过程进行存证 金融业隐私计算安

83、全验证技术研究报告 42 4)任务结算:结果使用方对照合约,验证结果;调度方进行任务结算和清算;5)任务审计:对照合约、存证、日志等,进行任务审计。4 4.基础性检测基础性检测 基础性检测技术,指隐私计算系统在数据流入和流出前进行的一些系列数据安全核验动作,包括数据来源可信、授权可用、质量检测、合规性审查等。(1)数据来源检测 利用数字证书检测、硬件 token 验证等方式对数据提供方身份进行认证,确保数据来源方身份可信。采用限制 IP 地址、端口号等技术防止第三方的恶意接入,确保仅有经过许可的主体有权限接入系统中。(2)数据权限管控 依照最小授权原则,设计数据权限控制机制,对数据非法访问进行

84、识别与实时阻断,确保隔离区内的数据只有通过指定的访问管控入口才可流入流出,防止绕过管控读写数据。(3)数据质量检测 对数据的一致性、完整性、及时性和可用性等数据质量进行确认的能力,确认数据质量满足合作需求,并确认输出结果符合参与方的约定。金融业隐私计算安全验证技术研究报告 43 (4)数据合规性审查 事先对数据使用的目的、方式、范围、频率、权限、存储的有效期、过期数据的处理策略等进行约定,并不定期采用人工或自动拦截的方式进行合规性审查。(5)异常输入告警 对大量相同数据重复流入、传输中断、校验不通过、长时间没有数据流入和识别到敏感数据等数据的异常流入进行告警,并对异常流入的文件名、异常信息描述

85、等内容进行日志记录,为后续处理提供参考。5 5.通信数据解析通信数据解析 通信数据解析技术,通过端口监测、流量分析等技术,监听网络通信行为,抓取并解析通信数据,实现对隐私计算算法协议运行一致性和关键信令执行正确性进行验证。(1)访问控制 在网络边界或区域之间根据访问控制策略设置访问控制规则,默认情况下除允许通信外,受控接口拒绝所有通信;对源地址、目的地址、源端口、目的端口和协议等进行检查,以允许/拒绝数据包进出;在关键网络节点处对进出网络的信息内容进行过滤,实现对内容的访问控制。金融业隐私计算安全验证技术研究报告 44 (2)数据包解析 对隐私计算算法执行过程中侦听到的网络信息流及其所有的数据

86、包进行解析,基于解析结果对隐私计算算法运行一致性和过程数据保密性进行判别和验证。(3)信令监控 侦听用户签约、授权等关键事件的日期、用户、事件类型和成功与否等信令,后台定期对信令情况进行统计分析。(4)运行状况监测 通过对网络链路、安全设备、网络设备和服务器等的运行状况进行集中监测,能够正确和及时地了解系统的运行状态。6 6.日志分析日志分析 日志分析技术,对隐私计算系统中关键操作和关键数据进行日志采集和存储,对日志记录进行检索和统计分析。(1)日志采集 采集应用系统多个维度数据日志,包括但不限于 API 调用日志,安全计算日志,操作日志、技术中间件日志、业务服务日志、操作系统日志、数据库日志

87、等。(2)日志分析 对采集的日志进行解析、聚合、关键数据提取等相关处理。金融业隐私计算安全验证技术研究报告 45 (3)日志存储 对全文日志文件或提取的关键数据提供存储能力,包括分布式文件存储、大数据存储及关系型数据库存储能力。(4)日志检索 提供日志检索功能,查询指定的异常日志或者操作日志。7 7.代码审计代码审计 代码审计技术,通过对源代码进行白盒分析,发现其中对网络或系统会产生威胁或存在潜在威胁的恶意代码。(1)特征码扫描 进行恶意代码扫描时,扫描引擎会将系统中的文件与特征码进行匹配,如果发现系统中的文件存在与某种恶意代码相同的特征码,就认为存在恶意代码。(2)恶意行为检测 通过对恶意代

88、码的典型行为特征分析,如频繁连接网络、修改注册表、内存消耗过大等,当某个程序运行时,检测发现其行为违反了合法程序操作规则,或者符合恶意程序操作规则,则可以判断其为恶意代码。(3)沙箱技术 将经过加密、混淆或多态变形的恶意代码放入虚拟环境后将自动解码并开始执行恶意操作,由于运行在可控的环境中,通过配合其他方法能够检测出恶意代码的存在。金融业隐私计算安全验证技术研究报告 46 (4)代码分析 利用常见的代码分析工具掌握恶意代码样本程序的行为特征,了解其运行方式及安全危害,方便准确检测和清除恶意代码。8 8.可视化可视化 利用常见的代码分析工具掌握恶意代码样本程序的行为特征,了解其运行方式及安全危害

89、,方便准确检测和清除恶意代码。(1)流程可视化 提供算法流程透视窗和实时状态监控实时跟踪算法进度,通过异常/错误日志打印功能,方便用户快速定位问题。(2)运维可视化 通过设计数字大屏,直观展示节点状态、硬件资源、网络情况等信息,方便运维人员实时监控系统运作健康情况,及时发现异常风险。(三)(三)验证方式验证方式 隐私计算安全可验证的形式可包括:1.1.文档审查文档审查 (1)提供理论安全性证明材料,通常包括有论文及出处、基于论文的改造、专家审查报告背书等,供检测人员审查和存档。(2)提供隐私计算系统设计文档,包括算法协议原理、数据交互流程图、安全设计说明等,供检测人员审查和存档。金融业隐私计算

90、安全验证技术研究报告 47 2 2.代码验证代码验证 (1)提供系统关键步骤和关键数据的日志记录,包括数据用法用量,删除、修改数据集,终止任务等异常操作信息,节点证书、时间戳等,供检测人员审查和存档。(2)提供算法关键部分实现代码实现截图,检测人员验证其代码实现是否与所提供的算法原理说明、数据交互流程等文档所述一致;(3)在厂商授权的前提下提供代码包,利用代码审计工具,检测代码实现中是否存在安全威胁和高危漏洞。3 3.平台演示平台演示 (1)提供关于待测隐私计算平台操作流程、界面设计、功能设计的讲解视频,帮助检测人员理解、审查和存档;(2)准备平台演示环境,按考察点逐一为检测人员提供即时的平台

91、操作演示,检测人员进行提问和功能细节查看;(3)提供测试环境下的外部访问地址,供检测人员按照平台设计文档自行进行平台操作。4 4.自动化安全验证自动化安全验证 检测人员利用自动化安全验证工具,检查隐私计算在金融应用中是否满足协议一致性要求,验证输入输出数据和中间数据是否满足加密要求,深度解析隐私计算信令和数据通信包,并以可视化方式进行展示隐私计算内部流程,使得整个过程变得更加透明可控,识别异常风险并进行实时报警,审核各环节计算及数据金融业隐私计算安全验证技术研究报告 48 出入的处理逻辑,确认是否与安全性原理材料和设计文档描述一致。(1)通信方监测:参与方事先提交一个通信方的白名单列表,执行计

92、算时,系统需通过端口监控所有通信均在白名单列表当中。(2)通信量监测:需监测计算任务的通信量。对于每个隐私计算任务,需事先给出一个通信量的预估,当监测到的通信超过阈值时接入预警系统。通信内容监测:拿明文数据到通信内容检索,看有没有在通信内容中出现。(3)用法用量监测:记录每个计算任务的用法用量。若计算任务超出规定的用法用量则接入预警系统。(4)敏感异常操作监测:-终止任务-持续尝试同一计算任务-频繁扫描数据源等情况-没有跑计算任务,却大量消耗计算资源等。金融业隐私计算安全验证技术研究报告 49 四、未来发展趋势及建议 隐私计算安全验证技术从技术角度约束隐私计算产品的安全风险,降低应用方安全顾虑

93、,建立市场信任,为隐私计算行业良性、可持续发展提供助力,但目前相关工作和研究成果较少,未来还需要做进一步探索和研究,主要包括以下几方面:(一)挖掘隐私计算安全验证技术(一)挖掘隐私计算安全验证技术 目前隐私计算算法逻辑安全性和一致性问题仍然缺少可行的解决方法,进一步研究验证算法逻辑安全的安全验证技术。(二)打造通用化隐私计算安全验证工具(二)打造通用化隐私计算安全验证工具 一方面,单一的验证技术无法对隐私计算产品进行全方位的安全验证,另一方面,尽管隐私计算产品涉及多种技术路线,最终都是实现数据的安全保护。将多种技术组合打造通用化隐私计算安全验证工具,对隐私计算过程中的关键路径采集、分析,并进行

94、可视化呈现,验证隐私计算全流程的数据安全、模型安全等,是进一步的工作方向。(三)适配安全分类分级(三)适配安全分类分级 隐私计算自身不同算法协议能保证的安全程度不同,不同应用场景中的安全需求具有多样性。隐私计算产品的安全要求应该针对数据保护需求、模型保护需求、场景适用性等划分安全等级,对应的安全验证工具也应该有相应的安全等级配置。在产品开发和实际落地应用中,形成安全与性能、准确性的平衡。金融业隐私计算安全验证技术研究报告 50 (四)推动(四)推动金融行金融行业形成技术标准化共识业形成技术标准化共识 推动隐私计算安全验证、安全检测相关标准的研究,完善的标准有助于产品规范,形成行业共识,结合互联

95、互通等行业标准化工作,逐步推进隐私计算安全验证通用化技术,为金融行业方案设计、系统开发、产品验证、技术选型等方面提供参考。金融业隐私计算安全验证技术研究报告 51 参 考 文 献 1 J.Van Bulck,M.Minkin,O.Weisse,D.Genkin,B.Kasikci,F.Piessens,M.Silberstein,T.F.Wenisch,Y.Yarom,and R.Strackx.“Foreshadow:Extracting the keys to the intel SGX kingdom with transient out-of-order execution”.In U

96、SENIX Security,pages 9911008,2018.2 BRASSER,F.,MLLER,U.,DMITRIENKO,A.,KOSTIAINEN,K.,CAPKUN,S.,AND SADEGHI,A.-R.“Software grand exposure:SGX cache attacks are practical”.In 11th USENIX Workshop on Offensive Technologies(2017),WOOT 17,USENIX Association.3 O.Goldreich,S.Micali,and A.Wigderson.“How to p

97、lay any mental game”.In STOC,pages 218229.ACM,1987.4 McMahan B,Moore E,Ramage D,et al.“Communication-efficient learning of deep networks from decentralized dataC”.Artificial Intelligence and Statistics.PMLR,2017:1273-1282.5 Geiping J,Bauermeister H,Dr ge H,et al.“Inverting Gradients-How easy is it t

98、o break privacy in federated learning?J”.arXiv preprint arXiv:2003.14053,2020.6 Wang Z,Song M,Zhang Z,et al.“Beyond inferring class representatives:User-level privacy leakage from federated learningC”.IEEE INFOCOM 2019-IEEE Conference on Computer Communications.IEEE,2019:2512-2520.7 Tolpegin V,Truex

99、 S,Gursoy M E,et al.“Data poisoning attacks against federated learning systemsC”.European Symposium on Research in Computer Security.Springer,Cham,2020:480-501.8 Bagdasaryan E,Veit A,Hua Y,et al.“How to backdoor federated learningC”.International Conference on Artificial Intelligence and Statistics.

100、PMLR,2020:2938-2948.9 Huang,Hai,et al.“Data Poisoning Attacks to Deep Learning Based Recommender Systems”.NDSS 2021,Fall.10 Azizi,Ahmadreza,et al.“T-Miner:A Generative Approach to Defend Against Trojan Attacks on DNN-based Text Classification”.30th USENIX Security Symposium(USENIX Security 21).2021.

101、11 Severi G,Meyer J,Coull S,et al.“Explanation-Guided Backdoor Poisoning Attacks Against Malware ClassifiersC”.30th USENIX Security Symposium(USENIX Security 21).2021.12 Carlini N,Liu C,Erlingsson,et al.“The secret sharer:Evaluating and testing unintended memorization in neural networksC”.28th USENI

102、X Security Symposium(USENIX Security 19).2019:267-284.13 Chandrasekaran V,Chaudhuri K,Giacomelli I,et al.“Exploring connections between active learning and model extractionC”.29th USENIX Security Symposium(USENIX Security 20).2020:1309-1326.14 Ilyas A,Engstrom L,Athalye A,et al.“Black-box adversaria

103、l attacks with limited queries and informationC”.International Conference on Machine Learning.PMLR,2018:2137-2146.15Shokri R,Stronati M,Song C,et al.“Membership inference attacks against machine learning modelsC”.2017 IEEE Symposium on Security and Privacy(SP).IEEE,2017:3-18.16Salem A,Bhattacharya A

104、,Backes M,et al.“Updates-leak:Data set inference and reconstruction 金融业隐私计算安全验证技术研究报告 52 attacks in online learningC”.29th USENIX Security Symposium(USENIX Security 20).2020:1291-1308.17 GEYER R C,KLEIN T,NABI M.“Differentially private federated learning:A client level perspectiveJ”.arXiv preprint,a

105、rXiv:1712.07557,2017.18 ABADI M,CHU A,GOODFELLOW I,et al.“Deep learning with differential privacyC”.Proceedings of the 2016 ACM SIGSAC Conference on Computer and Communications Security.Vienna,Austria:ACM,2016:308 318.19 BHOWMICK A,DUCHI J,FREUDIGER J,et al.“Protection against reconstruction and its

106、 applications in private federated learningJ”.arXiv preprint,arXiv:1812.00984,2018.20 BONAWITZ K,IVANOV V,KREUTER B,et al.“Practical secure aggregation for privacy-preserving ma-chine learningC”.Proceedings of the 2017 ACM SIG-SAC Conference on Computer and Communications Secur-ity.Dallas Texas,USA:

107、ACM,2017:1175 1191.21 AONO Y,HAYASHI T,WANG L,et al.“Pri-vacy-preserving deep learning via additively homomorphic encryptionJ”.IEEE Transactions on Information Forensics and Security,2017,13(5):1333 1345.22 HESAMIFARD E,TAKABI H,GHASEMI M.“Cryptodl:Deep neural networks over encrypted dataJ”.arXiv pr

108、eprint,arXiv:1711.05189,2017.23 HAO M,LI H,XU G,et al.“Towards efficient and privacy-preserving federated deep learningC”.ICC 2019-2019 IEEE International Conference on Communications(ICC).Shanghai,China:IEEE,2019:1 6.24 BARACALDO N,CHEN B,LUDWIG H,et al.“Mitigating poisoning attacks on machine lear

109、ning models:A data provenance based approachC”.Proceedings of the 10th ACM Workshop on Artificial Intelligence and Secur-ity.Dallas,Texas,USA:ACM,2017:103-110.25 LIU C,LI B,VOROBEYCHIK Y,et al.“Robust lin-ear regression against training data poisoning C”.Proceed-ings of the 10th ACM Workshop on Artificial Intelligence and Security.Dallas,Texas,USA:ACM,2017:91 102.

友情提示

1、下载报告失败解决办法
2、PDF文件下载后,可能会被浏览器默认打开,此种情况可以点击浏览器菜单,保存网页到桌面,就可以正常下载了。
3、本站不支持迅雷下载,请使用电脑自带的IE浏览器,或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩,下载后原文更清晰。

本文(北京金融科技产业联盟:2023金融业隐私计算安全验证技术研究报告(58页).pdf)为本站 (分析师) 主动上传,三个皮匠报告文库仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对上载内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知三个皮匠报告文库(点击联系客服),我们立即给予删除!

温馨提示:如果因为网速或其他原因下载失败请重新下载,重复下载不扣分。
客服
商务合作
小程序
服务号
会员动态
会员动态 会员动态:

wei**n_... 升级为标准VIP   wei**n_... 升级为标准VIP

 wei**n_... 升级为至尊VIP  137**64... 升级为至尊VIP

 139**41... 升级为高级VIP  Si**id 升级为至尊VIP

180**14...  升级为标准VIP  138**48...  升级为高级VIP

180**08...  升级为高级VIP wei**n_... 升级为标准VIP 

wei**n_...   升级为高级VIP  136**67... 升级为标准VIP

 136**08... 升级为标准VIP 177**34... 升级为标准VIP

186**59... 升级为标准VIP  139**48... 升级为至尊VIP

wei**n_... 升级为标准VIP  188**95...   升级为至尊VIP

 wei**n_... 升级为至尊VIP   wei**n_...  升级为高级VIP

wei**n_...  升级为至尊VIP 微**... 升级为至尊VIP

139**01... 升级为高级VIP  136**15... 升级为至尊VIP 

jia**ia...  升级为至尊VIP   wei**n_... 升级为至尊VIP

183**14...  升级为标准VIP wei**n_... 升级为至尊VIP 

 微**...  升级为高级VIP   wei**n_... 升级为至尊VIP

Be**en 升级为至尊VIP    微**... 升级为高级VIP

 186**86... 升级为高级VIP Ji**n方... 升级为至尊VIP 

 188**48... 升级为标准VIP  wei**n_...  升级为高级VIP

iam**in...  升级为至尊VIP wei**n_... 升级为标准VIP 

135**70...  升级为至尊VIP 199**28...  升级为高级VIP

  wei**n_... 升级为至尊VIP  wei**n_... 升级为标准VIP 

wei**n_...   升级为至尊VIP 火星**r...  升级为至尊VIP

 139**13...  升级为至尊VIP 186**69... 升级为高级VIP 

157**87...  升级为至尊VIP 鸿**...  升级为至尊VIP

wei**n_...  升级为标准VIP 137**18... 升级为至尊VIP

  wei**n_... 升级为至尊VIP wei**n_... 升级为标准VIP 

139**24...  升级为标准VIP   158**25... 升级为标准VIP

wei**n_... 升级为高级VIP   188**60... 升级为高级VIP

Fly**g ... 升级为至尊VIP  wei**n_... 升级为标准VIP  

186**52... 升级为至尊VIP  布**  升级为至尊VIP

 186**69... 升级为高级VIP  wei**n_... 升级为标准VIP 

139**98...  升级为至尊VIP 152**90...   升级为标准VIP

138**98...  升级为标准VIP  181**96... 升级为标准VIP

185**10...  升级为标准VIP wei**n_... 升级为至尊VIP

高兴 升级为至尊VIP   wei**n_...  升级为高级VIP

wei**n_...  升级为高级VIP 阿**... 升级为标准VIP

 wei**n_... 升级为高级VIP  lin**fe...  升级为高级VIP

wei**n_... 升级为标准VIP   wei**n_... 升级为高级VIP

 wei**n_...  升级为标准VIP  wei**n_...  升级为高级VIP

 wei**n_... 升级为高级VIP wei**n_...  升级为至尊VIP

wei**n_...  升级为高级VIP  wei**n_... 升级为高级VIP

180**21... 升级为标准VIP   183**36... 升级为标准VIP

wei**n_... 升级为标准VIP   wei**n_...  升级为标准VIP

 xie**.g...  升级为至尊VIP  王** 升级为标准VIP

172**75... 升级为标准VIP  wei**n_... 升级为标准VIP

wei**n_... 升级为标准VIP   wei**n_... 升级为高级VIP

135**82...  升级为至尊VIP 130**18... 升级为至尊VIP  

wei**n_... 升级为标准VIP  wei**n_...  升级为至尊VIP 

wei**n_...  升级为高级VIP 130**88...  升级为标准VIP

 张川 升级为标准VIP   wei**n_...  升级为高级VIP