人工智能安全技术现状

1.人工智能安全领域近年来论文数量增长迅速

近10 年，人工智能安全风险和防御领域论文发表情况。可以看出，自2014 年谷歌研究人员首次证实深度神经网络面临对抗样本攻击威胁后，人工智能安全风险和防御领域论文数量迅速增长。

2.人工智能安全热点技术方向

近年来，人工智能安全热点技术方向发表论文发表情况。根据论文发表量可以看出，对抗样本攻击和防御是人工智能安全领域最受关注的研究方向。随后，数据投毒攻击和防御、模型可解释、算法后门攻击和防御这三个方向的论文发表量也均在9000 篇以上，关注度较高。其次，联邦学习、差分隐私机器学习和深度伪造及检测近年来也逐渐成为受关注的技术方向。随着人工智能技术应用愈加频繁，机器学习开源框架平台的安全性逐渐受到重视。机器学习开源框架平台安全漏洞挖掘修复也成为人工智能安全领域的热点研究方向。全球著名漏洞数据库CVE 披露的典型机器学习开源框架平台安全漏洞数量逐渐增多。

尽管人工智能安全热点技术方向大多是由美国研究人员首次提出，我国科研人员在相关领域已开展了大量创新性工作并取得了全球领先的研究成果。机器学习开源框架平台安全漏洞挖掘修复是由我国首次提出并贡献主要成果的人工智能安全热点技术方向。

3.人工智能安全技术取得局部突破

人工智能安全热点技术方向中，联邦学习、差分隐私机器学习和深度伪造检测的商用步伐最快，已具有工业级产品并在部分领域开展试点应用。联邦学习方向，微众银行、字节跳动、京东数科等科技企业均推出了商用级联邦学习平台，并在保险定价、金融信贷、电商广告、智慧城市等领域开展试点商用。差分隐私机器学习方向，谷歌开源了差分隐私函数库Differential Privacy Library，并已在谷歌地图、谷歌浏览器Chrome 中开展实际应用。深度伪造检测方向，百度和瑞莱智慧推出了深度伪造检测服务平台，可向视频网站、网络论坛、新闻机构等提供人脸和人声伪造检测能力。

对抗样本攻击和防御技术方向处于由学术研究转化为商业应用的探索期，吸引了大量科技企业、科研院所和高校的关注。目前，已经涌现出Cleverhans、Foolbox、ART、Advbox 等支持学术研究的开源工具，以及利用对抗样本攻击评测计算机视觉模型安全性的商用平台RealSafe。阿里巴巴、腾讯、百度等科技企业通过举办人工智能对抗攻防大赛，积极发现针对人脸识别、图像分类、文本分析、目标检测等人工智能典型应用的有效对抗样本攻击和防御方法，为企业部署人工智能安全防护措施积累技术方案。

模型可解释技术为诊断发现“黑盒”人工智能算法模型缺陷提供可行路径，成为麻省理工大学、微软、谷歌、脸书、OpenAI 等全球知名高校以及科技企业竞相布局的技术方向。麻省理工大学联合谷歌、伯克利等机构举办了2018 年NIPS“可解释性机器学习挑战赛”，有效推动了模型可解释技术发展。微软推出了InterpretML 可解释开源工具包，不仅具有广义加性模型等自身具有可解释性的算法模型，而且提供对黑盒算法模型行为和预测结果进行解释的方法。谷歌在其云平台上推出了“可解释AI”服务，旨在通过量化每个数据对模型决策的影响，帮助用户理解模型产生某项决策的原因。脸书开源的模型可解释库Captum 以及OpenAI 推出的神经元可视化工具Microscope，能够帮助开发者更好地理解深度神经网络中不同神经元的行为和重要性。

点击下载报告：中国信通院科技行业：人工智能安全框架（2020年）（附下载）