1、物联网和人工智能中的隐私保护胡海波胡海波香港理工大学香港理工大学电子及资讯工程学系电子及资讯工程学系胡海波安全多方学习论坛-数据安全与隐私计算峰会20221何谓隐私WHAT IS PRIVACY个人、团体或机构决定怎样、在多大程度上与他人交流有关他们自己的信息的权利。The claim/right of individuals,groups and institutions to determine for themselves,when,how and to what extent information about them is communicated to others.-“Priv

2、acy and Freedom”,1967 by Alan F.Westin,Professor of Public Law&Government,Columbia University胡海波安全多方学习论坛-数据安全与隐私计算峰会20222隐私何价？欧盟网络和信息安全局（ENSIA）在2011年做的一个实验443个德国受访者在线购买电影票购票平台A售价比B高0.5欧元，但无需提供额外个人信息41.5%的受访者选择A,58.5%的受访者选择BCredits:N.Jentzsch.“Study on monetising privacy-An economic model for pricing

3、 personal information.”ENISA,2012.胡海波安全多方学习论坛-数据安全与隐私计算峰会20223隐私何价？(2)2019年7月美国联邦贸易委员会FTC与Facebook达成了协议，后者认罚50亿美元，作为对其在2016年泄露8700万用户隐私数据给Cambridge Analytica事件的索偿每个用户的隐私=57 USD背景：Cambridge Analytica事件胡海波安全多方学习论坛-数据安全与隐私计算峰会20224隐私保护法律法规Childrens Online Privacy Protection Act(COPPA）网站使用13岁以下儿童在互联网上提供

4、或分享的个人资料时，必须获得家长的同意罚款金额为每个案例 40,000 USDCOPPA的保护范围已延伸至浏览记录、Cookie等2019年10月，Youtube因违反COPPA 被FTC罚款1.7亿美元，因未经家长授权将用户在儿童频道中的收看历史记录提供给广告商。后果：自2020年1月起Youtube不再跟踪收看儿童类视频的记录，并因此不再提供此类针对儿童的广告2020年2月TikTok以同样法律罚款570万美元，因儿童注册账户时未有获得家长同意Childrens Code of U.K.Data Protection Act(DPA)2021年9月起在英国生效保护18岁以下青少年在各类在线

5、应用（游戏社交媒体搜索引擎新闻及教育类在线视频即时消息）的个人资料胡海波安全多方学习论坛-数据安全与隐私计算峰会20225隐私保护法律法规（2）加州消费者隐私法案 California Consumer Privacy Act(CCPA)2020年1月生效对拥有超过5万客户资料或者年销售额2500万美元的企业强制信息安全和隐私资料保护全加州企业将花费550亿美元（加州2018年GDP的1.8%）启动合规操作，保护4千万加州居民的隐私每个加州居民的隐私=1,375 USD加州物联网法案California IoT Law(SB 327)2020年1月生效对物联网设备制造商强制要求用户信息资料的保

6、护欧盟数据法案（草案）Data Act于2022年3月提出，预计在2023-24实行用户数据可以在用户自愿前提下在各云计算、边缘计算和物联网服务提供商之间自由流动，但不得保留胡海波安全多方学习论坛-数据安全与隐私计算峰会20226物联网中的隐私保护问题胡海波安全多方学习论坛-数据安全与隐私计算峰会20227案例一：智慧灯柱（SMART LAMPPOST）AI全景摄像机（车牌识别、车流检测）BLE蓝牙探测器（车速检测）BLE定位器（手机定位）主动式RFID定位器（盲人拐杖定位）已被已被LiDAR激光雷达测距替代激光雷达测距替代胡海波安全多方学习论坛-数据安全与隐私计算峰会20228案例二：智能家

7、居（SMART HOME）2015年阿肯色州居民Bates被指控在家中谋杀他的朋友并置于浴缸中警察通过疑犯家中的智能水表，检测到在当晚1-3点使用了140加仑的水，检方认为这些水是用来清洗犯罪证据的。警方继续要求亚马逊提供疑犯家中的智能音箱Echo所记录的声音信息亚马逊起初基于隐私，并未同意疑犯为自证清白，授权亚马逊交出其声音信息法庭和检控官最终撤回诉讼胡海波安全多方学习论坛-数据安全与隐私计算峰会20229案例三：基于手机传感器的室内位置追踪手机中有大量传感器由于这些传感器过于基本，安卓和iOS均不需要应用程序额外申请访问权限侧信道攻击：通过对室内特定位置的传感器信号的采集和学习，攻击者可以

8、在不获取GPS定位权限的情况下，追踪用户手机的位置胡海波安全多方学习论坛-数据安全与隐私计算峰会202210运动传感器:Accelerometer,Gyroscope环境传感器：Magnetometer,Barometer,Light Sensor,Thermal Sensor案例三：基于手机传感器的室内位置追踪（2）11攻击流程实验效果15个特定位置案例三：基于手机传感器的室内位置追踪（3）胡海波安全多方学习论坛-数据安全与隐私计算峰会202212首5个特征已达到很高的精度最终定位精度：Decision Tree vs.Random Forest w/Rotation Matrix案例三：基

9、于手机传感器的室内位置追踪（4）胡海波安全多方学习论坛-数据安全与隐私计算峰会202213人工智能中的隐私保护问题胡海波安全多方学习论坛-数据安全与隐私计算峰会202214对抗机器学习(ADVERSARIAL MACHINE LEARNING)机器学习研究的一个分支，主要研究在有攻击者(Adversary)时机器学习面临的各类安全问题，包含如下细分研究领域训练样本/模型污染攻击Training Data/Model Poisoning Attack对抗样本Adversarial Samples 及闪避攻击攻击 Model Evasion Attack成员推断Membership Inferen

10、ce及模型逆向攻击 Model Inversion Attack模型提取 Model Extraction15训练样本污染How to poison a classifier to classify A as B?Attacker takes several BsPerturbs them until the classifier thinks they are AsStill labels them as Bs,and inserts them into the training poolCredit:Shafahi et al.NIPS 2018胡海波安全多方学习论坛-数据安全与隐私计算峰

11、会202216训练样本污染(2)TrojanNetThe blue part is the target model,The red part is TrojanNet.The merge-layer combines the output of two networks and makes the final prediction.Credit:Tang et al.KDD 202017模型污染攻击（LOCAL MODEL POISONING ATTACK)针对联邦学习联邦学习能充分使用客户端算力和数据，同时也保障了用户隐私Xie等人于UAI 2019首先提出了基于内积（inner prod

12、uct）操控的针对联邦随机梯度下降的攻击，随后Fang等人于USENIX Security 20提出了基于多个拜占庭攻击者的针对联邦聚合的协同攻击18对抗样本攻击ADVERSARIAL EXAMPLE(MODEL EVASION)Adversarial examples are specialized inputs created with the purpose of confusing a neural network,resulting in the misclassification of a given input.Image recognition:the inputs are i

13、ndistinguishable to the human eye.Credit:Goodfellow et al.胡海波安全多方学习论坛-数据安全与隐私计算峰会202219对抗样本攻击ADVERSARIAL EXAMPLE(MODEL EVASION)（2）人脸识别Credit:Dong et al.CVPR 2019Target Image Base Image Poison Images 胡海波安全多方学习论坛-数据安全与隐私计算峰会202220对抗样本攻击ADVERSARIAL EXAMPLE(MODEL EVASION)（3）Fawkes(when adversarial examp

14、le does“good”)Credit:Shan et al.USENIX Security 2020胡海波安全多方学习论坛-数据安全与隐私计算峰会202221案例一：成员推断攻击（MEMBERSHIP INFERENCE ATTACK）Machine learning models tend to perform better on their training data.So the confidence scores they provide on the training examples are higher than those unseen examples.22胡海波安全多方

15、学习论坛-数据安全与隐私计算峰会2022案例一：成员推断攻击（MEMBERSHIP INFERENCE ATTACK)（2）Shokri et al.(IEEE S&P,2017)模型逆向攻击的一种特例攻击者通过AI模型的API和一些数据记录信息推测出这些数据记录是否是模型训练集的一部分如果运用在以病患资料训练而成的模型中，将会泄漏训练数据中个别病患的信息。攻击方法：训练shadow model=训练二分类classifier(In/Out)Credit:Shokri et al.IEEE S&P 201723案例一：成员推断攻击（MEMBERSHIP INFERENCE ATTACK)（3）

16、Case study:image recognitionCredit:Lucas Tindall24胡海波安全多方学习论坛-数据安全与隐私计算峰会2022案例二：模型逆向攻击（MODEL INVERSION ATTACK)Face reconstructionAn adversary knows a label produced by the facial recognition model,i.e.a persons name or unique identifier.Based on the confidence score returned by this model,he can pr

17、oduce an image of this person.Credit:Fredrikson et al.CCS 2015胡海波安全多方学习论坛-数据安全与隐私计算峰会2022案例三：模型提取攻击（MODEL EXTRACTION ATTACK）首次由Tram r等人于USENIX Security 2016提出，并在S&P 18,EuroS&P 19等后续工作中改进针对机器学习即服务的应用场景模型服务商通过云平台提供付费推断/分类的API接口。攻击者假扮用户不断问询(Query)该接口获取训练样本以提取原模型的复制品。难点在于如何选取Query的样本近期的工作（AAAI 20,USENIX

18、Security 20）均把问题归结为主动学习（Active Learning）Machine Learning As A ServiceData OwnerModelf(x)Query APITrainingAPICustomer$Paid,Ask xyIncome$UploadMachine Learning As A ServiceModelf(x)Query APITrainingAPIAdversary$Paid,Ask xyX=x1,x2,x3.Y=y1,y2,y3.ExtractedModelg(x)胡海波安全多方学习论坛-数据安全与隐私计算峰会202226案例三：模型提取攻击（

19、MODEL EXTRACTION ATTACK）(2)智能设备端的语音识别模型提取Google On-Device ASR100GB online model-450MB distilled device model-50MB compressed modelShared Model,Free access“Turn on all the lights”“Navigate to PolyU”胡海波安全多方学习论坛-数据安全与隐私计算峰会202227案例三：模型提取攻击（MODEL EXTRACTION ATTACK）(3)胡海波安全多方学习论坛-数据安全与隐私计算峰会202228案例三：模型提

20、取攻击（MODEL EXTRACTION ATTACK）(4)Token Diversification整体效果TIMIT 4 hours(630 speakers of 8 dialects of American English each reading 10 phonetically-rich sentences)Librispeech 100 hours(audiobooks from the LibriVox project)29Temporal Augmentation案例三：模型提取攻击（MODEL EXTRACTION ATTACK）(5)模型提取的上界是多少，可否达到100%

21、？Question 1:Can a 100%accurate training set help?(By membership inference)Answer:NoQuestion 2:Can a same model infrastructure help?Answer:No,over-parametrization is probably better.Question 3:Can a good model parameter initialization help?Answer:Yes,but only if we know the probability density functi

22、on of the examples near the decision boundary.Reference:Song et al.“Sliced Score Matching:A Scalable Approach to Density and Score Estimation”,UAI 201930胡海波安全多方学习论坛-数据安全与隐私计算峰会2022案例四：模型提取攻击保护 MODEL EXTRACTION ATTACK PROTECTION基于本地化差分隐私的模型提取保护模型最重要的其决策边界在模型输出端增加一个扰动层，扰动输出标签仅对敏感区域内的样本进行扰动差分隐私保证了该模型被提

23、取的准确率(fidelity)的理论上界（无限查询次数）Decision boundaryProximity boundary胡海波安全多方学习论坛-数据安全与隐私计算峰会202231案例四：模型提取攻击保护 MODEL EXTRACTION ATTACK PROTECTION（2）扰动方案Prediction APIBDPLNew query?No,return history responseSensitive?No,return true responsePerturbation apply BRR to the responses胡海波安全多方学习论坛-数据安全与隐私计算峰会20223

24、2案例五：联邦学习的隐私保护能力开启了隐私保护新阵地Membership Inference attack 仍然存在于参数上传时同态加密？差分隐私？胡海波安全多方学习论坛-数据安全与隐私计算峰会202233案例五：联邦学习的隐私保护能力（2）LDP vs.FML 胡海波安全多方学习论坛-数据安全与隐私计算峰会202234结语火！隐私保护热！本地化差分隐私难！数据隐私与效用的平衡巧！对抗机器学习与隐私保护的辨证胡海波安全多方学习论坛-数据安全与隐私计算峰会202235对抗机器学习与隐私保护的辨证Model generalityOverfittingUnderfittingPoisoningAdversarial Samples(Evasion)Model unsafetyExtractionInversion/Membership Inference胡海波安全多方学习论坛-数据安全与隐私计算峰会202236THANK YOU！Personal web:www.haibohu.orgMy research lab:胡海波安全多方学习论坛-数据安全与隐私计算峰会202237