1、以子之矛攻子之盾，AI攻防的那些事杜培杜培蚂蚁金服天穹实验室 安全专家以子之矛攻子之盾，AI攻防的那些事IoT安全研究、AI攻防研究天穹安全实验室以子之矛攻子之盾，AI攻防的那些事隐身术的秘密物理世界的差异白、灰、黑未来趋势以子之矛攻子之盾，AI攻防的那些事隐身术Imgsrc:https:/ DetectionImgsrc:https:/ BoxesObject ProbabilityClass Probability以子之矛攻子之盾，AI攻防的那些事简化后的Object DetectionYOLOBounding boxesObject probabilitiesClass probabil

2、ities减小Object prob.减小Class prob.同时减小Object/Classprobabilities攻击目标模型是不能改变的！Prob.=0.9Prob.=0.4Threshold=0.5以子之矛攻子之盾，AI攻防的那些事问题：如何减小Probabilities?先补一些基础知识：1.梯度与优化求解2.神经网络以子之矛攻子之盾，AI攻防的那些事梯度与优化求解一维线性回归问题的损失函数曲线L()损失函数与参数之间存在一个未知的对应关系以子之矛攻子之盾，AI攻防的那些事梯度与优化求解一维线性回归问题的损失函数曲线=()=()其中，()=*+(,)*,-,*+(,)*,.,*+

3、(,)*,/0梯度下降梯度下降是求解损失函数（局部）最优解的一种方法L()的变化影响到，则梯度为3以子之矛攻子之盾，AI攻防的那些事神经网络Imgsrc:https:/ Entropy，使用反向传播算法计算梯度梯度下降45这里,W的变化会影响L的变化影响到，则梯度为3以子之矛攻子之盾，AI攻防的那些事视频:dnn.mov以子之矛攻子之盾，AI攻防的那些事6 y=(;)(;,)=(;,)通过梯度下降，修改参数指网络结构，是参数定义损失函数计算损失函数对参数的梯度=L()(;)指网络结构，是固定的参数模型训练过程(;,)定义损失函数=(;,)计算损失函数对输入的梯度通过梯度上升，修改输入=+sgn

4、()对抗样本训练过程采用梯度上升，还是梯度下降，依赖损失函数的定义FGSMPGD的变化会影响，则梯度为3BIM以子之矛攻子之盾，AI攻防的那些事攻击方法和工具https:/ JAX,PyTorch,and TensorflowSupports TensorFlow,PyTorch,Keras,JAX,MXNet,Theano,Lasagnehttps:/ PaddlePaddle、PyTorch、Caffe2、MxNet、Keras、TensorFlowWhitebox,Blackbox,DefenseGradient-based,Decision-based,Score-basedFGSM,

5、BIM,PGD,JSMA,C&W,DeepFool,etchttps:/ TensorFlow,Keras,PyTorch,MxNetGradient-based,Decision-based,Score-basedAnd Defense以子之矛攻子之盾，AI攻防的那些事物理世界与数字世界 数字世界的场景 黄赌毒等违规内容检测 物理世界的场景 自动驾驶-stop sign 目标检测-tracking特点：a)可以做到轻微扰动，让目标模型识别错误b)可以扰动全幅图像上任意像素点特点：a)可以修改图像的一部分，而不是全部b)摄像头采集图像，会产生损失c)受到光线、patch位置、视角变化，甚至打印

6、机等因素的影响近年的对抗样本比赛集中于此以子之矛攻子之盾，AI攻防的那些事增强鲁棒性 影响因素 旋转与扭曲变形 尺寸缩放 光照和对比度 颜色（打印机）随机噪声 A=1mD(+;)+();)5 (+;)=A+NOP+R+STUNOPR旋转变形缩放变形模型预测x+patch的分值不可打印的颜色的损失函数颜色变化平滑度的损失函数 变形也是函数定义变形的MSE损失：以子之矛攻子之盾，AI攻防的那些事白盒、灰盒、黑盒白盒灰盒黑盒可以访问到模型不能访问到模型但是可以得到预测分值不能访问到模型也不能得到预测分值仅有预测值梯度下降迁移攻击构造代理模型利用预测分值进行优化求解暴露程度攻击方法无梯度优化FGSM,BIM,PGD,DeepFool,etcGA,CMA,PSO,etcBoundaryCheck,Zero-Order Opt.,HopSkipJump,etc以子之矛攻子之盾，AI攻防的那些事白盒、黑盒、灰盒93.06%12.29%*将ResNet50版本的ImageNet模型当成灰盒模型，仅提供预测概率在猪鼻子上贴上一个patch，预测的概率降低至12.29%1.迭代200次左右，就可以达到较好的效果2.Patch的位置影响效果3.思路可用于其他领域以子之矛攻子之盾，AI攻防的那些事未来的趋势增强鲁棒性增强隐蔽性增强迁移性防守对抗姓名：杜培公司：蚂蚁金服，天穹实验室联系方式：