1、可证明安全的隐私计算洪澄 阿里安全双子座实验室|01隐私计算的安隐私计算的安全性与效率全性与效率020304总结总结目录目录 CONTENT|其他可证明其他可证明安全方法安全方法密码学中的可密码学中的可证明安全简介证明安全简介隐私计算：Privacy-preserving computation视隐私保护程度的不同，计算的效率也有所不同例：广域网下，多方合作训练一个LR模型，1024行64列，迭代1次SecureMLSP17需要100秒ABY3CCS18需要0.3秒BlazeNDSS20需要2秒HelenSP20需要15分钟Q Q：“请问现在隐私计算能做到比明文慢多少倍？”A A：|只有同时给

2、出安全性和效率两方面的数据，才是有意义的数据业界现状：计算的效率是容易衡量的，各家PR都擅长此道安全指标则甚少有厂商主动提及客户有如盲人摸象“比明文仅慢X倍”，X已经从3个量级来到2个量级，甚至3-5倍都有之看不见看不见摸不着摸不着看得见看得见摸得着摸得着安全性：安全性：效率：效率：|最高级安全性的代价太高不需要最高级安全性的场合，可以适当降低安全性以提升效率但是一定要厘清安全性在哪里进行了取舍，有什么样的风险如何讲清楚一个方案的安全性？明确定义安全假设：能防什么样的攻击者，不能防什么样的攻击者明确定义防护效果：有没有中间信息泄露若有，应清晰的描述泄露内容“我的方案是安全的”“我的方案是安全的

3、”“我的方案在双方都是半诚实“我的方案在双方都是半诚实的假设下，除了数据行数、列的假设下，除了数据行数、列数、最终建模结果之外，没有数、最终建模结果之外，没有其他信息泄露”其他信息泄露”|反例：Dragon in my garage 安全性需要正向定义：需要描述“龙”到底能在什么环境下做到什么，才有办法证明它的存在我的仓库里有一条喷火龙我的仓库里有一条喷火龙Q Q：你的龙为什么看不见？：你的龙为什么看不见？A A：因为它是透明的：因为它是透明的Q Q：你的龙为什么没有脚印？：你的龙为什么没有脚印？A A：因为它是飞着的：因为它是飞着的Q Q：你的龙为什么摸不着？：你的龙为什么摸不着？A A：因

4、为它是等离子态的：因为它是等离子态的我有一个隐私计算解决方案我有一个隐私计算解决方案Q Q：你的方案可能会泄露：你的方案可能会泄露XXXX统计信息？统计信息？A A：我们认为：我们认为XXXX统计信息不影响方案的安全统计信息不影响方案的安全性性Q Q：你的方案需要额外的第三方？：你的方案需要额外的第三方？A A：我们认为只要严格审计是可以接受第三：我们认为只要严格审计是可以接受第三方的方的Q Q：你们的自研算法有严格的安全证明吗？：你们的自研算法有严格的安全证明吗？A A：有专利，论文还在投稿中：有专利，论文还在投稿中|01隐私计算的安隐私计算的安全性与效率全性与效率020304总结总结目录目

5、录 CONTENT其他可证明其他可证明安全方法安全方法密码学中的可密码学中的可证明安全简介证明安全简介|可证明安全：密码学领域评估安全性的黄金准则两种安全证明方式基于游戏的证明方式基于模拟的证明方式我从bob给我的信息中无法区分他用的是哪个原始数据data1data2Bob给的这些信息和模拟器给的是不可区分的data|基于游戏的证明方式举例：PaillierAlice选择 m0,m1Bob选择 c Enc(m0),Enc(m1)Alice猜测c的明文，猜对则赢得游戏密钥生成：生成两个大质数p,q,n=p*q,=lcm(p-1,q-1),g=n+1g,n是公钥，是私钥加密m选择随机数r,计算c=

6、gm*rnmod n2m0m1c=gc=gmm*r rn nmod nmod n2 2这个c加密的到底是m0还是m1？|反证法：假设Alice能以不可忽略的优势(50%的概率)赢得游戏设Alice能成功判断出c是m0的密文，因为d=c*g-m0=rnmod n2，所以她也能判断出d是一个n次幂而判别一个数是不是mod n2 上的n次幂，这个问题称为DCR问题（decisional composite residuosity problem），目前认为是困难的，与大数分解接近矛盾，证毕你如果能赢得游戏，就能去破解XX数学难题了|公开g基于模拟的证明方式举例：OT随机选择a,s随机选择r0,r1c

7、0=gr0,H(h0r0)x0c1=gr1,H(h1r1)x1c0,c1xb=H(grb)a)cb2hb=ga,h1-b=s 我想得到我想得到x xb b我拥有我拥有x x0 0和和x x1 1|Real vs Ideal（半诚实模型）随机选择r0,r1 c0=gr0,H(h0r0)x0c1=gr1,H(h1r1)x1c0,c1x0=H(gr0)a)c02h0=ga,h1=s 随机选择a,s随机选择t0,t1,t2 c0=gt0,H(h0t0)x0c1=gt1,t2c0,c1我无法区分哪我无法区分哪个是真实的个是真实的BobBob，哪个是，哪个是模拟器模拟器Real WorldReal Wor

8、ldIdeal WorldIdeal Worldh1r1与随机数不可区分（DDH）|恶意模型下，基于模拟的证明更加复杂|Step 1：证明每个底层模块的安全性只有每个模块都安全，才可以讨论整体方案的安全Step 2：判断模块的运行方式模块之间是串行运行：方案满足可证明安全因为证明是sequential composable的模块之间不是串行运行：则还需要相关模块满足UC（universal composable）特性一般的PPML任务可认为是串行的，不必考虑UC问题如何证明方案的安全性？|算法在xxx步骤使用了Paillier同态加密，Paillier可证明安全，所以算法是安全的需要算法中所有

9、的模块都是可证明安全例：某个模块直接把中间结果发回去解密只要不能反推原始数据，就是安全的有的泄露一开始认为不可反推，后来发现可反推例：Deep leakage from gradients有的泄露是原始数据的一个函数约束虽然不可直接反推原始数据，但可以间接反推例：泄露了张三的年龄+工资=25000一些错误的打开方式密文密文中间密文中间密文我具有解密能力可证明可证明安全安全安全性未安全性未知知|01隐私计算的安隐私计算的安全性与效率全性与效率02密码学中的可密码学中的可证明安全简介证明安全简介0304总结总结目录目录 CONTENT其他可证明其他可证明安全方法安全方法|Q：这些证明太难学了，还有

10、别的方法可以证明隐私计算方案的安全性吗？A：好消息：有别的方法坏消息：也很难|差分隐私 Differential PrivacyAlice从Bob的信息中难以知晓任意指定行的信息推论：Bob数据集里所有的行都得到了保护特征特征1特征特征2张三xxxxxx李四xxxxxx王五xxxxxx特征特征1特征特征2李四xxxxxx王五xxxxxx我从Bob发的信息里很难判断数据集里有没有张三m1m2mm1 1和和mm2 2的统计分布非常接近：的统计分布非常接近：PrPrmm1 1=x=x e e*PrPrmm2 2=x=x|例：DP-SGDClip,aggregate,then add noiseNoi

11、se值与每条记录算得梯度的最大值（args.max_grad_norm）有关TensorFlow Privacy集成了相关算法可以容易的用于横向分割的联邦学习|DP不仅可以用在FL，也可以用在MPC例：1 使用DP保护PSI中的桶内元素数目，以降低padding，提高PSI性能|1:Cheaper Private Set Intersection via Differentially Private Leakage,PETS19DPDP挑战挑战1 1：DPDP会大幅影响数据分析的准确率会大幅影响数据分析的准确率Google:Toward Training at ImageNet Scale w

12、ith Differential Privacy|纵向分割方面的研究不多而纵向是国内隐私计算的主流应用场景有待从业者投入研究DPDP挑战挑战2 2：目前：目前DP+DP+隐私计算的研究集中在横向分割隐私计算的研究集中在横向分割特征特征3特征特征4张三xxxxxx李四xxxxxx王五xxxxxx特征特征1特征特征2张三xxxxxx李四xxxxxx王五xxxxxxmAlice已经知道了我有张三的数据，我需要保护的是特征3和特征4|01隐私计算的安隐私计算的安全性与效率全性与效率020304总结总结目录目录 CONTENT其他可证明其他可证明安全方法安全方法密码学中的可密码学中的可证明安全简介证明安全简介|基于游戏/模拟的证明方式目标是刻画信息的泄露边界基于差分隐私的证明方式目标是防止信息重识别到单条记录呼吁隐私计算业界做好安全证明，让方案的安全性看得见，摸得着总结：隐私计算领域公认的两种可证明安全方法总结：隐私计算领域公认的两种可证明安全方法|可证明安全可证明安全效率效率THANKS|