1、1 人工智能安全框架人工智能安全框架 （20202020 年）年） 中国信息通信研究院安全研究所中国信息通信研究院安全研究所 20202020 年年 1212 月月 pOtMmMtOyRpOrOnMmRnQtNbRaOaQnPrRpNnNkPnMmOiNpOrO7NpOnRxNoPnONZoOrO 牵头编写单位：牵头编写单位：中国信息通信研究院安全研究所 参与编写单位：参与编写单位：北京瑞莱智慧科技有限公司 北京百度网讯科技有限公司 腾讯科技（深圳）有限公司 三六零安全科技股份有限公司 中国科学院信息工程研究所 编写组成员：编写组成员：魏亮、魏薇、景慧昀、彭志艺、张旭东、 董胤蓬、王海棠、唐佳

2、伟、邹权臣、张德岳、杨勇、刘水生、 马多贺、徐世真、唐家渝、萧子豪、吴月升、黄超、唐梦云、 陈昊、郝利民、孙振强、曹亮、刘昭、钱佳宇、周川、陈凯 前前 言言 人工智能作为引领新一轮科技革命和产业变革的战略性技术， 正 成为世界主要国家推动科技跨越式发展、实现产业优化升级、赢得全 球竞争主动权的重要战略抓手。 随着全球人工智能规模化建设和应用 加速，人工智能基础设施、设计研发以及融合应用面临的安全风险日 益凸显。世界主要国家纷纷通过制定人工智能伦理准则、完善法律法 规和行业管理等方式开展人工智能安全治理。 人工智能安全技术体系 是人工智能安全治理的重要组成部分， 是落实人工智能伦理规范和法 律监

3、管要求的重要支撑，是人工智能产业健康有序发展的重要保障。 人工智能安全框架是构建人工智能安全技术体系的重要指南， 旨 在为人工智能相关企业循序渐进提升安全能力、 部署安全技术措施提 供指导。在工业和信息化部网络安全管理局指导下，中国信息通信研 究院联合瑞莱智慧、百度、腾讯、360、中科院信工所共同编制人 工智能安全框架（2020 年）蓝皮书。本蓝皮书针对全球人工智能 安全框架缺失问题，凝聚业界专家共识，聚焦当前人工智能突出安全 风险，提出涵盖人工智能安全目标，人工智能安全分级能力，以及人 工智能安全技术和管理体系的人工智能安全框架， 期待为社会各方提 升人工智能安全防护能力提供有益参考。 目目

4、 录录 一、人工智能安全现状. 1 (一)人工智能安全挑战. 1 (二)人工智能风险地图. 3 (三)人工智能安全技术现状. 6 (四)人工智能安全框架缺失. 11 二、人工智能安全框架. 12 (一)设计思路. 12 1.框架范围. 12 2.设计原则. 12 3.核心要素. 13 (二)安全框架. 14 (三)框架分析. 17 1.安全目标. 17 2.安全能力. 18 3.安全技术. 23 4.安全管理. 24 三、人工智能安全技术实施. 28 (一)业务安全. 28 1.业务合规性评估. 28 2.安全攻击检测. 28 3.业务安全机制. 30 4.恶意应用检测. 31 (二)算法安全

5、. 32 1.算法鲁棒性增强. 32 2.算法公平性保障. 35 3.算法可解释性提升. 36 4.算法知识产权保护. 37 5.算法安全评测. 38 (三)数据安全. 39 1.数据隐私计算. 39 2.数据追踪溯源. 42 3.问题数据清洗. 42 4.数据公平性增强. 43 5.数据安全评测. 44 (四)平台安全. 44 1.漏洞挖掘修复. 44 2.模型文件校验. 45 3.框架平台安全部署. 46 (五)安全技术图谱. 46 四、人工智能重点应用安全防护实践. 48 (一)自动驾驶安全防护. 48 1.安全风险. 48 2.安全防护. 50 (二)智能信贷风控安全防护. 53 1.

6、安全风险. 53 2.安全防护. 54 (三)深度伪造应用安全防护. 55 1.安全风险. 55 2.安全防护. 56 图图 目目 录录 图 1 人工智能安全风险地图. 4 图 2 人工智能安全领域发表论文趋势. 7 图 3 人工智能安全热点技术方向发表论文情况. 7 图 4 CVE 收录典型机器学习开源框架平台安全漏洞数量 . 8 图 5 人工智能安全框架. 15 图 6 人工智能安全技术图谱. 47 图 7 自动驾驶安全风险. 49 图 8 自动驾驶安全防护技术体系. 50 表表 目目 录录 表 1 人工智能安全热点技术方向提出国家及中国创新成果 . 8 人工智能安全框架（2020 年）

7、1 一、人工智能安全现状一、人工智能安全现状 ( (一一) )人工智能安全挑战人工智能安全挑战 1.人工智能“基建化”加速，基础设施面临安全挑战 2020 年 5 月，我国政府工作报告提出以 5G、人工智能等为 代表的新型基础设施建设政策， 此举按下了人工智能国家战略推进的 快进键。随后，25 省市发布“新基建”政策方案，累计投资 30 余万亿 人民币，加快推动人工智能算力、算法和数据基础设施建设。在新基 建推动催化下， 人工智能技术将加快转变为像水、 电一样的基础设施， 向社会全行业全领域赋能。 然而， 人工智能基础设施却潜藏安全风险。 以机器学习开源框架平台和预训练模型库为代表的算法基础设

8、施因 开发者蓄意破坏或代码实现不完善面临算法后门嵌入、 代码安全漏洞 等风险。2020 年 9 月，安全厂商 360 公开披露谷歌开源框架平台 TensorFlow 存在 24 个安全漏洞。开源数据集以及提供数据采集、清 洗、标注等服务的人工智能基础数据设施面临训练数据不均衡、训练 数据投毒、训练数据泄露等安全风险。2020 年，美国麻省理工学院 的研究人员通过实验证实 CIFAR-100-LT、ImageNet-LT、SVHN-LT 等 广泛应用的数据集存在严重不均衡问题。 2.人工智能“协同性”增强，设计研发安全风险突出 联邦学习、迁移学习等人工智能新技术的应用，促进跨机构间人 工智能研发

9、协作进一步增多。因遵循了不同目标和规范，使得人工智 能设计研发阶段的安全风险更加复杂且难以检测发现。 一是人工智能 人工智能安全框架（2020 年） 2 算法自身存在技术脆弱性。当前，人工智能尚处于依托海量数据驱动 知识学习的阶段， 以深度神经网络为代表的人工智能算法仍存在弱鲁 棒性、不可解释性、偏见歧视等尚未克服的技术局限。二是人工智能 新型安全攻击不断涌现。近年来，对抗样本攻击、算法后门攻击、模 型窃取攻击、模型反馈误导、数据逆向还原、成员推理攻击等破坏人 工智能算法和数据机密性、 完整性、 可用性的新型安全攻击快速涌现， 人工智能安全性获得全球学术界和工业界广泛关注。 三是算法设计实 施

10、有误产生非预期结果。 人工智能算法的设计和实施有可能无法实现 设计者的预设目标，导致产生偏离预期的不可控行为。例如设计者为 算法定义了错误的目标函数， 导致算法在执行任务时对周围环境造成 不良影响。 3.人工智能“内嵌化”加深，应用失控风险危害显著 产业智能转型升级的内在驱动， 不断推动人工智能深度内嵌于各 行各业各环节中，真正实现物理世界变化实时映射于数字世界，以及 数字世界演进优化带动物理世界发展的双向融合。然而，人工智能各 行业应用带来的数字和物理世界双向融合， 将促使人工智能在数字世 界中的安全风险向物理世界和人类社会蔓延。一是威胁物理环境安 全。应用于农业、化工、核工业等领域的智能系

11、统非正常运行或遭受 攻击，可能破坏土壤、海洋、大气等环境安全。二是威胁人身财产安 全。自动驾驶、无人机、医疗机器人、智慧金融等智能系统的非正常 运行将可能直接危害人类身体健康和财产安全。 三是威胁国家社会安 全。 不法分子恶意利用基于人工智能的换脸换声技术伪造政治领袖和 人工智能安全框架（2020 年） 3 公众人物的高逼真度新闻视频，可能引发民众骚乱甚至国内动乱，威 胁国家安全。 ( (二二) )人工智能风险地图人工智能风险地图 与人工智能系统设计运营等全流程相结合， 详尽剖析人工智能系 统在各生命周期阶段面临的安全风险， 将有助于分析定位人工智能安 全风险来源，研究和部署针对性安全防御理论

12、和技术。国际标准化组 织（ISO）开展了人工智能系统生命周期过程标准项目，将人工 智能系统全生命周期概括为初始、设计研发、检验验证、部署、运行 监控、持续验证、重新评估、废弃八个阶段。基于 ISO 对于人工智能 系统全生命周期的划分， 项目组描绘出人工智能全生命周期安全风险 地图，如图 1 所示。 初始阶段安全风险。初始阶段是指将想法转化为有形系统的过 程，主要包括任务分析、需求定义、风险管理等过程。这个阶段的安 全风险主要表现为对人工智能应用目标的设定有悖国家法律法规和 社会伦理规范。 设计研发阶段安全风险。 设计研发阶段是指完成可部署人工智能 系统创建的过程，主要包括确定设计方法、定义系统

13、框架、软件代码 实现、风险管理等过程。这个阶段的安全风险主要表现为人工智能基 础设施不完善、技术脆弱性以及设计研发有误等引发的安全风险。 人工智能安全框架（2020 年） 4 图 1 人工智能安全风险地图 人工智能安全框架（2020 年） 5 检验验证阶段安全风险。 检验验证阶段是指检查人工智能系统是 否按照预期需求工作以及是否完全满足预定目标。 这个阶段的安全风 险主要表现为测试验证不充分， 未及时发现和修复前序阶段的安全风 险。 部署阶段安全风险。 部署阶段是指在目标环境中安装和配置人工 智能系统的过程。 这个阶段的安全风险主要表现为人工智能系统部署 的软硬件环境不可信，系统可能遭受非授权

14、访问和非授权使用。 运行监控阶段安全风险。运行监控阶段，人工智能系统处于运行 和可使用状态，主要包括运行监控、维护升级等过程。这个阶段的安 全风险主要表现为恶意攻击者对人工智能系统发起的对抗样本、 算法 后门、模型窃取、模型反馈误导、数据逆向还原、成员推理、属性推 断、代码漏洞利用等安全攻击，以及人工智能系统遭受滥用或恶意应 用。 持续验证阶段安全风险。在持续验证阶段，对于开展持续学习的 人工智能系统进行持续检验和验证。 这个阶段的安全风险主要表现为 测试验证数据更新不及时， 未及时发现和修复因持续学习引入的模型 反馈误导等安全风险。 重新评估阶段安全风险。当初始目标无法达到或者需要修改时，

15、进入重新评估阶段。该阶段主要包括设计定义、需求定义、风险管理 等过程。这个阶段主要涉及需求调整和重新定义，因而其安全风险与 初始阶段的安全风险类似， 即人工智能应用目标的设定有悖国家法律 法规和社会伦理规范。 人工智能安全框架（2020 年） 6 废弃阶段安全风险。在废弃阶段，废弃销毁使用目的不复存在或 者有更好解决方法替换的人工智能系统，主要包括数据、算法模型以 及系统整体的废弃销毁过程。 这个阶段的安全风险主要表现为销毁不 彻底，泄露个人隐私。 ( (三三) )人工智能安全技术现状人工智能安全技术现状 1.人工智能安全领域近年来论文数量增长迅速 近 10 年，人工智能安全风险和防御领域论文

16、发表情况如图 2 所 示。可以看出，自 2014 年谷歌研究人员首次证实深度神经网络面临 对抗样本攻击威胁后， 人工智能安全风险和防御领域论文数量迅速增 长。 3170 3730 4650 5660 6640 9130 11700 16700 23600 28700 0 5000 10000 15000 20000 25000 30000 35000 2010年2011年2012年2013年2014年2015年2016年2017年2018年2019年 数量/篇 数据来源：于2020.11.20 检索自学术搜索引擎 人工智能安全风险论文近10年发表趋势 人工智能安全框架（2020 年） 7 图

17、2 人工智能安全领域发表论文趋势 2.人工智能安全热点技术方向 近年来， 人工智能安全热点技术方向发表论文发表情况如图 3 所 示。根据论文发表量可以看出，对抗样本攻击和防御是人工智能安全 领域最受关注的研究方向。 随后， 数据投毒攻击和防御、 模型可解释、 算法后门攻击和防御这三个方向的论文发表量也均在 9000 篇以上， 关注度较高。其次，联邦学习、差分隐私机器学习和深度伪造及检测 近年来也逐渐成为受关注的技术方向。 图 3 人工智能安全热点技术方向发表论文情况 1570 1890 2370 2780 3090 4120 5020 6860 9920 12600 0 2000 4000 6

18、000 8000 10000 12000 14000 2010年2011年2012年2013年2014年2015年2016年2017年2018年2019年 数量/篇 数据来源：于2020.11.20 检索自学术搜索引擎 人工智能安全防御论文近10年发表趋势 3080 3940 5881 9800 10300 13100 17370 050000000 深度伪造及检测 差分隐私机器学习 联邦学习 算法后门攻击和防御 模型可解释 数据投毒攻击和防御 对抗样本攻击和防御 数据来源：于2020.11.20 检索自学术搜索引擎 数量/篇 人工智能安全热点技术方向发表论文情况 人工智

19、能安全框架（2020 年） 8 随着人工智能技术应用愈加频繁， 机器学习开源框架平台的安全 性逐渐受到重视。 机器学习开源框架平台安全漏洞挖掘修复也成为人 工智能安全领域的热点研究方向。 全球著名漏洞数据库 CVE 披露的典 型机器学习开源框架平台安全漏洞数量逐渐增多， 截至 2020 年 11 月 20 日的收录情况如图 4 所示。 图 4 CVE 收录典型机器学习开源框架平台安全漏洞数量 尽管人工智能安全热点技术方向大多是由美国研究人员首次提 出， 我国科研人员在相关领域已开展了大量创新性工作并取得了全球 领先的研究成果。 机器学习开源框架平台安全漏洞挖掘修复是由我国 首次提出并贡献主要成

20、果的人工智能安全热点技术方向。 表 1 人工智能安全热点技术方向提出国家及中国创新成果 序序 号号 热点技术方向热点技术方向 提出提出 年份年份 提出国家提出国家 中国创新成果中国创新成果 1 对抗样本攻击和 防御 2014 美国 谷歌公司研究人 员首次证实针对 深度神经网络的 对抗样本攻击威 胁 1。 2017，清华大学朱军教授 团队在有斯坦福、约翰霍 普金斯等世界著名高校 在内的 100 多支队伍参赛 的 NIPS 2017 AI 对抗性 攻防竞赛中，获得冠军。 2 训练数据投毒攻 击和防御 2017 美国 斯坦福大学首次 证明了针对深度 神经网络的对抗 2019 年，创新工场、南京 大学

21、等提出了一种高效 的训练数据投毒方法，论 文入选人工智能领域顶 1 Christian Szegedy, Wojciech Zaremba, Ilya Sutskever, Joan Bruna, Dumitru Erhan, Ian Goodfellow, and Rob Fergus. Intriguing properties of neural networks. In International Conference on Learning Representations (ICLR), 2014 人工智能安全框架（2020 年） 9 性投毒训练数据 的存在 2。 级国际会议 NIP

22、S 3。 3 模型可解释 2014 美国 纽约大学研究人 员首次提出使用 可视化对卷积神 经网络进行解释 的方法 4。 2017 年， 清华大学朱军教 授团队开源珠算概率编 程库大幅降低具有高可 解释性贝叶斯深度学习 算法的应用门槛。 4 算法后门攻击和 防御 2013 美国 波多黎各理工大 学首次提出神经 网络木马攻击 5。 2020 年，腾讯在第 19 届 XCon 大会上首次演示验 证利用算法模型文件直 接产生后门效果的攻击。 5 联邦学习 2016 美国 谷歌率先提出联 邦学习概念 6。 1.2019 年， 我国香港科技 大学杨强教授提出了横 向和纵向两种联邦学习 框架； 2.2019

23、 年， 微众银行推出 了全球首个工业级联邦 学习开源框架 FATE。 6 差分隐私机器学 习 2016 美国 谷歌率先提出针 对深度神经网络 的 差 分 隐 私 方 法。 2020 年， 第四范式研发的 具有机器学习差分隐私 保护能力的工业级平台 先知（Sage）通过欧盟 GDPR 认证。 7 深度伪造及检测 2017 美国 名为 deepfakes 的用户在 Reddit 网站发布难辨真 假的“假视频”。 2020 年， 中国科技大学俞 能海和张卫明教授团队 在有全球 2265 支队伍参 赛的 Kaggle 深度伪造检 测挑战赛中脱颖而出，获 得亚军。 8 机器学习开源框 架平台安全漏洞 挖

24、掘修复 2017 中国 安全厂商 360 首 次发现并披露机 器学习开源框架 平台供应链安全 风险。 1. 腾 讯 发 现 首 个 Tensorflow 安全漏洞； 2.目前全球著名漏洞数 据库 CVE 披露的 37 个 Tensorflow 漏洞中，24 个由中国安全厂商 360 发 2 Koh P W, Liang P. Understanding black-box predictions via influence functions. arXiv preprint arXiv:1703.04730, 2017. 3 Feng, J., Cai, Q.-Z., Zhou, Z.-H.:

25、 Learning to confuse: generating training time adversarial data with auto-encoder. In: Advances in Neural Information Processing Systems (NeurIPS), pp. 1197111981. 4 M. D. Zeiler and R. Fergus. Visualizing and understanding convolutional neural networks. In ECCV, 2014. 5 Geigel A. Neural network tro

26、jan. Journal of Computer Security, 2013, 21(2): 191-232. 6 Jakub Konecn y, H. Brendan McMahan, Felix X. Yu, Peter Richtarik, Ananda Theertha Suresh, and Dave Bacon. Federated learning: Strategies for improving communication efficiency. In NIPS Workshop on Private Multi-Party Machine Learning, 2016 人

27、工智能安全框架（2020 年） 10 现； 截至 2020 年 11 月 20 日，360 累计发现框架平 台依赖组件漏洞 100 余 个。 3.人工智能安全技术取得局部突破 人工智能安全热点技术方向中，联邦学习、差分隐私机器学习和 深度伪造检测的商用步伐最快， 已具有工业级产品并在部分领域开展 试点应用。联邦学习方向，微众银行、字节跳动、京东数科等科技企 业均推出了商用级联邦学习平台，并在保险定价、金融信贷、电商广 告、智慧城市等领域开展试点商用。差分隐私机器学习方向，谷歌开 源了差分隐私函数库 Differential Privacy Library，并已在谷歌 地图、谷歌浏览器 Chro

28、me 中开展实际应用。深度伪造检测方向，百 度和瑞莱智慧推出了深度伪造检测服务平台，可向视频网站、网络论 坛、新闻机构等提供人脸和人声伪造检测能力。 对抗样本攻击和防御技术方向处于由学术研究转化为商业应用 的探索期，吸引了大量科技企业、科研院所和高校的关注。目前，已 经涌现出 Cleverhans、Foolbox、ART、Advbox 等支持学术研究的开 源工具， 以及利用对抗样本攻击评测计算机视觉模型安全性的商用平 台 RealSafe。阿里巴巴、腾讯、百度等科技企业通过举办人工智能 对抗攻防大赛，积极发现针对人脸识别、图像分类、文本分析、目标 检测等人工智能典型应用的有效对抗样本攻击和防御

29、方法， 为企业部 署人工智能安全防护措施积累技术方案。 模型可解释技术为诊断发现“黑盒”人工智能算法模型缺陷提供 可行路径，成为麻省理工大学、微软、谷歌、脸书、OpenAI 等全球 人工智能安全框架（2020 年） 11 知名高校以及科技企业竞相布局的技术方向。麻省理工大学联合谷 歌、伯克利等机构举办了 2018 年 NIPS “可解释性机器学习挑战赛” ， 有效推动了模型可解释技术发展。 微软推出了 InterpretML 可解释开 源工具包，不仅具有广义加性模型等自身具有可解释性的算法模型， 而且提供对黑盒算法模型行为和预测结果进行解释的方法。 谷歌在其 云平台上推出了“可解释 AI”服务

30、，旨在通过量化每个数据对模型 决策的影响，帮助用户理解模型产生某项决策的原因。脸书开源的模 型可解释库 Captum 以及 OpenAI 推出的神经元可视化工具 Microscope， 能够帮助开发者更好地理解深度神经网络中不同神经元 的行为和重要性。 ( (四四) )人工智能安全框架缺失人工智能安全框架缺失 当前，随着数字经济和智能经济进阶发展，人工智能规模化建设 和应用持续加速，人工智能安全风险日益凸显，并不断向物理世界和 人类社会蔓延。保障人工智能应用安全可靠的需求日渐迫切。然而， 现阶段企业主要聚焦于人工智能技术研发和产品运营， 在人工智能安 全方面投入相对较少、基础薄弱。而且，人工智

31、能安全技术多处于学 术研究和少量试验试用阶段， 尚未形成适用于各类人工智能应用的成 熟安全产品和服务体系。 人工智能安全需求与企业安全投入不足以及 人工智能安全产品服务欠缺之间的严重矛盾， 成为制约人工智能产业 健康发展的瓶颈问题。 人工智能安全框架， 不仅能为企业提供提升人工智能安全能力的 可参考路径，指导企业合理进行人工智能安全资源投入，并能为人工 人工智能安全框架（2020 年） 12 智能安全技术研发提出方向建议， 推动人工智能安全技术产品化和服 务化。然而，目前全球尚未提出人工智能安全框架。而且，由于人工 智能技术特点及安全风险与传统信息系统存在显著差异， 现有网络安 全框架并不适用

32、于人工智能应用。因而，本蓝皮书聚焦人工智能安全 风险，凝聚业界专家共识，构建人工智能安全框架。 二、人工智能安全框架 ( (一一) )设计思路设计思路 1.框架范围 本人工智能安全框架聚焦于人工智能内生安全， 即主要解决人工 智能基础设施和人工智能设计研发面临的安全风险， 以及因前两方面 安全问题直接引发的人工智能应用行为决策失控安全风险。 对于因滥 用或者恶意使用人工智能应用而导致的物理世界和国家社会安全风 险，主要由国家法律法规和行业监管政策对人工智能使用者予以规 制。 研发运营企业通过事前安全评估等内部管理机制可保障人工智能 应用的目标符合国家法律法规和行业监管政策要求。 2.设计原则

33、企业保障其设计研发和运营使用的人工智能应用安全是人工智 能安全治理的基石。 人工智能安全框架应为企业不断提升人工智能安 全能力提供可遵循的迭代演进路径。为此，人工智能安全框架应具有 较强的实用性、整体性和前瞻性。 人工智能安全框架（2020 年） 13 实用性： 当前世界主要国家和头部科技企业发布了人工智能伦理 准则， 提出了用于规范企业研发设计和运营使用人工智能行为的基本 原则，但是并未提供落实相关原则的具体可实施方式。安全框架应对 企业搭建人工智能安全防护体系和配置安全资源提供可操作的指导 建议。 整体性： 人工智能应用是集业务、 算法、 数据于一体的有机整体， 并且其经历了初始分析、设计

34、研发、检验验证、部署、运营监控等多 个生命周期阶段。安全框架应面向人工智能应用的所有关键组件，涵 盖人工智能应用的全生命周期，提出全面且有针对性的安全防护建 议。 前瞻性：当前人工智能安全攻防理论和技术均在快速演变过程 中。应当不仅局限于现阶段人工智能安全风险及防御技术，而是着眼 于实现保障人工智能内生安全这一根本目标， 提出能有效应对新的安 全风险并兼容新的防御理论及技术的人工智能安全框架。 3.核心要素 基于人工智能安全框架应遵循的实用性、前瞻性和整体性原则， 从以下三个方面构建人工智能安全框架。 第一，明确人工智能安全目标是前提。目标的确定是一个根本问 题，为人工智能安全防护工作的实施指

35、明方向。本框架通过全面分析 人工智能应用面临的安全风险，提出人工智能安全目标。 人工智能安全框架（2020 年） 14 第二， 构建人工智能安全能力是关键。 为实现人工智能安全目标， 本框架以建设人工智能安全能力为导向，参考网络安全滑动标尺，提 出人工智能安全能力分级叠加演进模型。 第三，部署安全技术措施和落实安全管理是重要保障。为帮助人 工智能应用研发运营企业有效形成和持续提升人工智能安全能力， 提 出了支撑实现人工智能安全能力的人工智能安全技术体系和管理体 系。 综上所述，人工智能安全框架的构建包含安全目标、安全能力、 安全技术和安全管理四个维度， 从四个不同的层面指导企业开展人工 智能安

36、全防护工作。 ( (二二) )安全框架安全框架 人工智能安全框架包含安全目标、安全能力、安全技术和安全管 理四个维度，如图 5 所示。这四个防护维度基于自顶向下、层层递进 的方式指导企业构建人工智能安全防护体系。其中，设定合理安全目 标是保障人工智能应用安全的起点和基础， 安全能力是实现安全目标 的有效保障，安全技术和安全管理是安全能力的支撑和体现。 人工智能安全框架（2020 年） 15 图 5 人工智能安全框架 人工智能安全框架（2020 年） 16 安全目标：通过系统分析人工智能面临的安全风险及其产生根 源，从应用、功能、数据、决策、行为、事件六个方面提出安全需求 和目标。 安全能力：按

37、照安全能力建设难度逐级递增，以及安全资源投入 产出比逐级递减的方式， 参照网络安全滑动标尺模型， 提出架构安全、 被动防御、主动防御、威胁情报和反制进攻五级人工智能安全能力。 前一级安全能力是构建后续级别安全能力的基础。 其中第一级架构安 全，旨在指导企业建立用安全思维规划、设计、建设和使用人工智能 应用的能力。第二级被动防御，旨在指导企业在人工智能应用之外部 署静态、被动式的安全能力。第三级主动防御，旨在指导企业强化人 工智能安全团队，实现动态、自适应、自生长的安全能力。第四级威 胁情报， 旨在指导企业获取和使用人工智能安全威胁情报以赋能人工 智能安全系统、设备和人员。第五级反制进攻，旨在指

38、导企业建立针 对人工智能恶意攻击者的合法反制安全能力。 安全技术：人工智能业务、人工智能算法、人工智能训练数据和 机器学习框架平台是构建人工智能应用的四个核心组件， 也是人工智 能安全重点防护对象。因而，本框架针对业务、算法、数据和平台提 出安全防护技术手段。 安全管理：从国家和行业人工智能安全法律法规、行业政策、伦 理规范、技术标准等要求出发，提出企业在人工智能安全组织、人员 和制度等方面的实施要求。 人工智能安全框架（2020 年） 17 ( (三三) )框架分析框架分析 1.安全目标 目前，欧盟、美国、中国等世界主要国家以及微软、谷歌等科技 巨头均提出人工智能伦理准则。其中，合法性、可靠

39、性、可控性、公 平性、可追溯、隐私安全等安全目标成为人工智能伦理准则关注的重 点。本安全框架在充分借鉴国内外人工智能伦理准则要求基础上，基 于人工智能面临的安全风险和挑战，根据人工智能应用实际需要，提 出以下六个方面安全目标。 应用合法合规：人工智能已在交通、医疗、领域展现出了强大的 能力。 滥用或恶意使用人工智能应用将会给物理世界和国家社会带来 巨大的负面影响。因此，首先应确保人工智能系统应用目标符合国家 法律法规和社会伦理规范要求。 功能可靠可控：人工智能技术正逐渐应用于智慧医疗、无人驾驶 等安全关键性场景， 人工智能的稳健可靠愈加重要。 然而， 对抗样本、 算法后门等新型安全攻击方式，

40、可通过修改运行时输入数据诱使人工 智能应用产生非预期的错误输出。因而，应当确保人工智能系统各项 功能在规定的运行条件和时间周期内始终产生预期的行为和结果， 且 一直处于人类操作员控制之下。 数据安全可信：数据是人工智能的基石，人工智能从数据中汲取 知识的同时，也面临着数据泄露、数据偏见、数据投毒等诸多安全隐 患。因而，应确保人工智能应用收集、使用、存储的数据不被窃取， 人工智能安全框架（2020 年） 18 不会泄露用户隐私，且未被篡改，能够真实反映物理世界和人类社会 情况。 决策公平公正：智能风控、智能招聘等人工智能应用正逐步辅助 甚至替代人类进行关键决策。训练数据失衡、算法设计有误等原因可 能导致人工智能应用产生带有偏见歧视的决策， 损害国家社会公平正 义。因而，应确保人工智能应用兼顾各类群体的特征信息，不会对特 定人或群体做出带有歧视和偏见的决策。 行为可以解释： 深度神经网络等人工智能算法的 “不可解释性” ， 导致人们不仅无法解释算法做出某项决策的原因， 也无法理解其内部 运行原理和发现定位存在的问题。人工智能可解释性为诊断、发现、 修复算法模型内在缺陷提供指导，是人工智能安全的基础。因而，应 确保人工智能应用以人类可以理解的方