1、针对云端AI服务的攻击和防护兜哥兜哥百度安全高级架构师云端AI服务日益风行典型收益：l 不用在端上部署昂贵的GPUl 充分利用云端GPU集群的资源l 降低开发者使用AI的门槛l 模型升级便利l 便于收集bad case，加速模型优化典型的云端AI服务：l CV类，比如图像分类、图像审核、人脸识别l 语音类，比如语音识别、语音合成l NLP类，比如文本情感分析、文本内容过滤典型的调用者：l IoT设备l 开发者l 第三方应用攻击云端图片分类服务Cloud-based Image Classification Service+perturbationOriginal ImageAdversaria

2、l ImageClass:CatScore:0.99Black-box AttackClass:ToasterScore:0.99A FALSE sense of security!攻击云端AI服务困难重重未知的模型未知的预处理环节未知的网络结构未知的网络权重参数缩放、去燥、编码转化等攻击者只能访问API服务，访问的QPS和次数也受限(Img from:http:/ Hosseini,Baicen Xiao,and Radha Poovendran.2017.Googles Cloud Vision API is Not Robust to Noise通过叠加高斯或者椒盐噪声，也可以有攻击效果

3、几何攻击Hossein Hosseini,Baicen Xiao,and Radha Poovendran.2017.Googles Cloud Vision API is Not Robust to Noise通过叠加高斯或者椒盐噪声，也可以有攻击效果基于查询的攻击暴力搜索的方式（W,H,C）=(224,224,3)RGB Format搜索空间大小为：224*224*3*256=38,535,168 !Andrew Ilyas,Logan Engstrom,Anish Athalye,and Jessy Lin.Query-efficient black-box adversarial ex

4、amples(superceded).arXiv preprint arXiv:1712.07113,2017.优化检索策略后，攻击成功率达95.5%，平均查询次数为104342基于查询的攻击语义分割可以充分利用图像的原有信息Subject-based Local Search(SBLS)Attack.Xurong Li,Shouling Ji,Meng Han,Juntao Ji,Zhenyu Ren,Yushan Liu,Chunming Wu.Adversarial Examples Versus Cloud-based Detectors:A Black-box Empirical S

5、tudy攻击Google的图像分类服务，成功率达到98%，平均查询次数为576迁移攻击The cell(i,j)indicates the accuracy of the adversarial images generated for model i(row)evaluated over model j(column).Yanpei Liu,Xinyun Chen,Liu Chang,and Dawn Song.Delving into transferable adversarial examples and black-box attacks.2016.对抗攻击可以在模型之间传递，针对模

6、型A白盒生成的对抗样本，也有可能可以对模型B奏效。A和B结构越接近，攻击成功率越高基于模型指纹的攻击百度安全在Blackhat Asia 2019上提出模型指纹攻击The Cost of Learning from the Best:How Prior Knowledge Weakens the Security of Deep NeuralNetworks迁移学习在CV领域被广泛使用，比如使用基于ImageNet预训练的经典模型继续训练显然，如果可以欺骗第K层，就可以欺骗整个模型基于模型指纹的攻击第K层模型的问题，可以转换为让第K层的每个神经元的输出都非常接近，即标准差尽可能小基于模型指纹的

7、攻击遍历常见的经典模型，找出置信度下降最多的的情况，对应的经典模型疑似为对应云平台使用的预训练模型。这一过程称为指纹嗅探。基于模型指纹的攻击以攻击某云平台的目标检测API为例，在每张图片查询100次限制下，非定向攻击成功率达到了86%替身攻击Step1:通过少量样本，查询API，在本地训练出一个替身模型Step2:白盒攻击替身模型，生成对抗样本Step3:用生成的对抗样本攻击云端Step 1 Step 2 Step 3替身攻击百度安全在HITB+CyberWeek提出了快速特征图的PGD攻击算法(FFL-PGD)Top1 work.Top-1 validation accuracies for top scoring single-model architectures(Img from https:/arxiv.org/abs/1605.07678v1)选择特征提取能力强的经典模型作为替身模型更加高效的替身学习算法传统替身学习算法我们的一次查询Top-N置信度分数对齐输出层标签对齐数据增强+多次查询输出层标签对齐替身攻击在STOA的PGD算法的基础上，最大化在高层特征，即语义层上的差异，进一步提高生成对抗样本的有效性替身攻击对主流的图像分类服务进行评估，攻击成功率均达到90%以上替身攻击对Google图像分类服务生成的对抗样本，对图像搜索依然有攻击效果有奖问答环节