1、 - 1 - 2021 年 7 月 5 日 第2021 年 7 月 5 日 第4545期 总第 658 期期 总第 658 期 欧盟抢跑人工智能立法规制数字技术风险 欧盟抢跑人工智能立法规制数字技术风险 当前，全球数字经济正逐渐向以人工智能（AI）为核心驱动力的智能经济新阶段迈进。AI 技术在各行业得到广泛应用，但在为经济和社会发展注入新动能的同时， 也带来了监管难题。 为此，2021 年 4 月， 欧盟发布 人工智能法1提案 （以下简称 法案 ） ，提出了 AI 统一监管规则，旨在从国家法律层面限制 AI 技术发展 1 欧盟人工智能法，试图触及人工智能发展的所有方面，被称为“西方政府提出的涉

2、猎范围最广泛的法规之一”，也是迄今为止国际上制定监管人工智能技术最严苛的规则之一。 法案的提出，是欧盟扩大其全球科技强者角色影响力的重要一步。一旦正式通过，将对投入大量资源开发人工智能应用及服务的大型互联网科技巨头产生深远影响，也将给其他使用人工智能软件研发药物、承销保险以及评判信用度的企业带来冲击。 - 2 - 带来的潜在风险和不良影响，使 AI 技术在符合欧洲价值观和基本权利的基础上技术应用创新得到进一步加强，让欧洲成为可信赖的全球 AI 中心。作为 AI 领域的“GDPR”2，该法案是全球首部 AI 管制法律，研究其内容和创新点，对制定我国 AI 等数字技术治理方案具有重要借鉴意义。 一

3、、 法案核心内容 宽泛定义了一、 法案核心内容 宽泛定义了 AI 系统，并设置了系统，并设置了 AI 规则的域外适用性。规则的域外适用性。一方面， 法案定义了 AI 系统、AI 系统供应链上涉及到的相关环节以及不同类别的 AI 数据等相关要素，对监管对象（AI 系统）的定义表现出极强的宽泛性，几乎涵盖了全部使用传统及新兴 AI技术的系统（AI 技术使用常态化的互联网服务均为监管对象） ，与GDPR中对受监管的个人数据的宽泛定义保持一致。 另一方面，法案明确了所有在欧盟市场投放、使用 AI 系统及相关服务的国内外供应商、服务商和公共服务用户提供者，只要其 AI 系统影响到欧盟及欧盟公民的，均将受

4、到法案约束，从而保证了 AI 规则的域外适用性。 2通用数据保护条例 （GDPR），是欧盟在全球数据治理领域进行开拓的首部基础性法律，其对各国数据治理有着重要的示范和影响。在 GDPR 的基础上，法案是欧盟在数字经济领域再上的一道“紧箍咒”，也是一项“里程碑式”的监管规则。 - 3 - 表表 1 AI 相关要素定义相关要素定义 概念概念 定义定义 AI 系统 是利用一种或多种技术和方法开发的软件， 此类软件针对一组特定人群定义的目标，可以产生诸如内容、预测、建议、决定影响之类的输出。 产品或系统的安全 AI 组件 为产品或系统提供安全功能， 或其发生故障会导致人员生命或财产威胁的安全组件。 情

5、感识别系统 利用个体的生物特征数据推断个体情感的 AI 系统。 生物分类系统 利用个体生物特征数据对个体的性别、年龄、族裔、政治取向等进行分类的 AI系统。 远程生物特征识别系统 通过个体的生物特征识别数据与参考数据库中的数据比对， 以实现远距离暗中识别自然人的 AI 系统。包括实时识别和事后识别两种类型。 实时远程生物特征识别系统 是一种无延迟识别的远程生物特征识别系统。使用该 AI 系统可即刻获知个体身份。 事后远程生物特征识别系统 实时系统之外的其他远程生物特征识别系统。 该系统使用后需要一定的处理时间才可获知个体身份。 提供者 是指开发 AI 系统或拥有已开发的 AI 系统， 并将其投

6、放市场或以自身名义投入使用的自然人、法人、公共机构等。 合格评定机构 执行第三方合格评定活动（包括测试、认证）的机构。 通知机构 负责建立必要的评估程序，并制定和通知合格评定机构开展评定。 训练数据 用于拟合 AI 系统模型参数的数据。 验证数据 用于对经过训练的 AI 系统进行评估，调整模型参数以防止过拟合的数据。 - 4 - 测试数据 用于对经过训练和验证后的 AI 系统进行测试，通过确定输入从而获取预期目标的数据。 生物特征识别数据 通过特定技术处理获取到的个体生理、行为特征数据，且这些数据具有唯一性和不可篡改性。 对不同应用场景的对不同应用场景的 AI 系统实施风险定级，并分别提出规制

7、路径。系统实施风险定级，并分别提出规制路径。 法案基于不同应用场景的风险差异性，将 AI 系统分为“不可接受、高、有限、极小”四个风险等级，并针对不同级别风险实施不同程度的规制，从而构建起以风险为基础的四级治理体系。一是将对基本人权和社会公平构成明显威胁的 AI 系统视为“不可接受” ；二是将可能危及公民人身安全及生活基本权利场景中的 AI 系统视为“高风险” ；三是将具有特定透明度义务的AI 系统视为“有限风险” ；四是将提供简单工具性功能的 AI 系统视为“极小风险” 。 表表 2 法案对不同应用场景的法案对不同应用场景的 AI 系统实施风险定级系统实施风险定级 级别级别 AI 系系统应用

8、场景统应用场景 约束力度约束力度 不 可 接 受 公共机构开展社会信用评分。 非特殊情况下 （搜寻受害人或失踪儿童、 防止恐怖袭击等明确且紧急的危害发生、 追查犯罪嫌疑人除外） 基于执法目的在公共场所进行实时远程生物识别。 在平台算法推荐等具有算法偏见的场景中对人类意识和行为进行操纵。 在具有算法偏见的场景中伤害儿童及残疾人等弱势群体。 此类系统在市场上的部署和应用被绝对禁止。 - 5 - 高 风 险 关键基础设施领域： 包括无人驾驶等道路交通管理、 水气热电供应等。 就业领域： 包括招聘 （简历评估） 、 升职 （工作任务分配与评估） 、解雇以及建立合同关系等。 教育和职业培训领域：包括招生

9、录取、考试评定等。 社会保障领域：包括银行贷款、财政补助、电力电信服务、保障性住房等。 执法领域：包括测谎仪、情绪状态监测、证据可靠性评估、犯罪风险评估等。 司法领域：帮助司法部门研究和解释事实和法律等。 移民与边境管理：包括核实旅行证件真实性、评估移民风险等。 产品或系统的安全组件： 欧盟其他协调性法规中涵盖的产品中嵌入 AI 组件的场景，如 AI 机器人（组件）用于辅助医疗器械执行手术。 此类系统被严格管控，需在符合一定强制性要求的情况下，才能进入欧洲市场。 有 限 风 险 用户能够清晰意识到其与 AI 系统交互，并可随时决定继续或终止交互行为的场景， 包括具有透明度的聊天机器人、 情绪识

10、别系统、生物特征分类系统、深度伪造系统等。 此类系统需履行用户告知等透明义务，保障用户的知情、选择权。 极 小 风 险 提供视频、游戏、邮箱等简单功能的 AI 赋能工具。 未实施干预措施。 为在特定领域提供为在特定领域提供“高风险高风险”AI 系统的企业提出系统的企业提出“全生命周期全生命周期”式的多重合规要求，旨在增强式的多重合规要求，旨在增强 AI 产品及服务的透明度。产品及服务的透明度。 法案重点对“高风险”AI 系统的开发、部署和应用等全生命周期提出了系列规范，并要求企业等 AI 系统供应商履行以下透明化义务：一是在 AI 系统开发过程中，建立风险管理系统、进行数据质量检验、设计用户告

11、知和日志追溯功能、搭建网络安全保障能力、编制用于监管审计的技术信息文件等。二是在 AI 系统首 - 6 - 次运营前或系统升级迭代后，及时开展合规性评估，并在欧盟委员会建立和管理的大数据库中进行备案登记。三是在 AI 系统投入使用过程中，建立与 AI 风险级别相匹配适应的售后监测系统与人为监督机制，对 AI 应用中的风险进行监控预警，在发现可能的风险后召回系统处理并通知相关监管机构。四是在 AI 系统发生故障或严重事故时，应立即采取补救措施，并在半个月内向相关监管部门报告。 设立专项设立专项 AI 监督机构，加大监管执法力度。监督机构，加大监管执法力度。在 AI 监管主体方面， 法案提出将通过

12、建立欧洲人工智能委员会，推动 AI 新规则的实施完善，以及后续 AI 标准的制定出台，并借此构建各国监管部门的联络渠道，协调欧盟层面的 AI 监管政策，以保持AI 监管体系的统一性。此外，要求各成员国建立通知机构，指定和通知第三方合格评定机构开展监管评估，并定期将监管调查信息发送至 AI 委员会。在 AI 监管执法方面， 法案提出将对创建或应用 AI 系统过程中的违法企业处以高达约 3600 万美元的行政罚款，或全球年度总营业额的 2%-6%，取两者中最高的金额进行处罚。相比 GDPR 中 4%年营业额的罚款金额， 法案的 AI - 7 - 监管处罚力度进一步加大。此外，将撤回未在规定时间内实

13、施整改措施企业的 AI 系统，并限制其市场销售。 二、 法案亮点分析 与二、 法案亮点分析 与GDPR有效衔接有效衔接3， 进一步明确了， 进一步明确了AI系统的数据治理要求。系统的数据治理要求。数据和算法是 AI 技术的核心要素，AI 系统通过数据喂养进行算法模型优化，算法模型也应用于对个人数据的深度挖掘，实现基于学习的智能化服务。为此， 法案重点关注了 AI 系统的数据安全和算法歧视偏见等问题，并进行了明确规制，包括：AI 系统在收集用户数据前需履行告知义务，以保证用户的知情权和选择权，确保数据采集的合法性；在训练、验证、测试“高风险”AI系统数据集时， 应完成数据质量检验、 算法偏见评估

14、检查等要求；在 AI 监管沙盒中处理个人数据时，应保证个人数据均处于功能独立、隔离且受保护的数据处理环境中，并需实施授权访问和数据删除机制。 搭建具备可拓展性的法律框架，弥补了技术监管的滞后性缺陷。搭建具备可拓展性的法律框架，弥补了技术监管的滞后性缺陷。面对飞速发展的 AI 等新兴数字技术，法律的适用性持续时 3 此前 GDPR 中提及，在开发 AI 和大数据应用程序时应竭力平衡数据保护和其他社会经济利益，但其对如何实现这一目标并未进一步明确。而此法案特设条款，对“高风险”AI 系统和 AI 监管沙盒等场景中的数据和算法治理提出了明确的要求，与 GDPR 进行了较好的衔接与匹配。 - 8 -

15、间往往较短，新制定的法律规定可能很快就无法适用于实际情况，难以实现对迭代快速的 AI 技术进行全面监管，AI 领域的法制体系滞后性凸显。为此， 法案专门预留了及时调整更新法律的空间，通过设臵“动态清单” ，巧妙化解了法律滞后性和技术飞速发展之间的矛盾。例如，对 AI 系统的定义， 法案以附件形式详细列举了属于 AI 范围内的技术和方法清单，并通过更新清单机制，保持与最前沿 AI 技术的同步性；针对“高风险”AI 系统的界定， 法案制定了“高风险”清单，并赋予人工智能委员会结合风险多边性判断并提出添加新“高风险”应用场景建议的权利，以确保法律的及时更新。 实施对人工智能系统的分类分级监管，构建系

16、统性实施对人工智能系统的分类分级监管，构建系统性 AI 治理体系。治理体系。AI 技术具有跨学科、前沿知识融合等复杂属性，不同 AI系统在相同场景中可造成不同种类的风险，相同 AI 系统在不同场景中应用也可能带来不同种类或不同程度的风险。为此， 法案采用分类分级思路，在梳理重点应用场景类别的基础上，对不同应用场景按照 AI 系统风险可能的影响程度和危害性质实施不同等级的分类治理，替代对不同场景的 AI 风险进行分散专项 - 9 - 治理的传统路径。通过构建清晰且系统性的治理框架，实现对 AI系统复杂性风险的“降维”治理。 率先建立率先建立 AI 监管沙盒机制，探索监管人工智能风险的新模式。监管

17、沙盒机制，探索监管人工智能风险的新模式。技术规制的法律制定常见难点之一就是如何在实现有效监管的同时，兼顾技术创新发展，鼓励企业负责任的创新行为。为此， 法案提出通过建立 AI 监管沙盒，为 AI 系统的开发、部署、验证、测试提供了一个可控的隔离环境，使欧洲企业可在免责条件下进行 AI 相关的试验和创新，且试验全过程受到监管部门的监督。通过在可控范围内实行容错纠错机制，在杜绝AI 未知问题向不可控外部环境扩散风险的同时，也为AI 创新企业创造了相对宽松的发展环境。 三、四点启示 强化三、四点启示 强化 AI 立法，制定具备衔接性与灵活性的法律监管框架。立法，制定具备衔接性与灵活性的法律监管框架。

18、基于 AI 风险的复杂性、多变性，以及其与数据安全的紧密关联性，在探索 AI 法律规制路径时，可参考欧盟法案亮点，增强法律内容的衔接协调与灵活开放特性。一方面，确保 AI 法律与网络安全法 、 民典法 、 数据安全法 、 个人信息保护法（草案） 四项数据和个人信息保护基本法的有效衔接，明确 AI - 10 - 语境下的数据安全及个人隐私保护原则，规制 AI 数据安全风险。另一方面，针对 AI 技术、 “高中低”风险应用场景等具有变化特征的概念实施动态定义，通过设臵清单列表并建立类数据库功能的“增删改查”调整机制，确保法律在技术发展和场景变更下的时效性和灵活性，防止 AI 法律内容滞后带来的监管

19、困境。 探索分类分级监管路径，依据不同应用场景精准施策。探索分类分级监管路径，依据不同应用场景精准施策。可考虑采用法案中的分类分级治理思路，依托对不同场景类别的梳理， 以及场景风险对个人生命和生活权利、 社会秩序影响大小，将不同应用场景进行分级，对归属于同一风险级别场景中的 AI系统进行统一管控，对不同风险级别场景中的 AI 系统分别采取具有不同约束程度的治理方式，从而建立起自下而上限制逐步加深的“风险金字塔”规制模型。尝试以“风险金字塔”为抓手，构建系统精准的 AI 监管治理体系，解决长久以来面临复杂多样的 AI 系统风险时监管效能低下的困境。 明确企业在明确企业在 AI 产品开发、 运营过

20、程中的强制性义务， 提高产品开发、 运营过程中的强制性义务， 提高 AI系统的透明度。系统的透明度。要求企业在 AI 产品开发过程中，建立完善的 AI系统风险管控流程， 包括开展数据质量检验避免数据投毒等事件发 - 11 - 生、建立日志追溯机制强化风险的归因溯源、建设网络安全保障能力防止数据泄露等；在 AI 产品投入市场使用前或系统改造后，定期通过第三方评估机构开展评估认证，向监管部门备案 AI 算法的设计运行机制、可能的偏见和漏洞、AI 数据安全保护和风险管控措施；在 AI 产品投入使用后，及时开展监控预警，建立应急响应机制，及时处理可能的 AI 风险事故并同步监管部门。 多措并举构建体系

21、化的多措并举构建体系化的 AI 监管机制，制定包容审慎的技术监管措施。监管机制，制定包容审慎的技术监管措施。一是建立 AI 监管专项负责机构，及时跟踪和制约 AI风险。AI 监管机构负责跟踪 AI 技术发展和应用场景变化，及时提出 AI 新风险应对、监管范围更新等相关建议；对各类不负责任的 AI 提供者实施约谈处罚，进行有效制约和威慑。二是完善标准体系，建立第三方机构开展 AI 风险检测认证。加快制定 AI相关技术和应用的安全标准，明确各领域 AI 系统的审计、日志、告知等透明性要求与衡量指标；培育权威的第三方 AI 风险评估机构，开展 AI 算法、透明度、数据安全风险等相关评估。三是探索设立 AI 沙盒监管，探寻风险制约和创新保护之间的最佳结合点。建议由 AI 监管的专项负责机构确定沙盒监管基本原则和 - 12 - 条件，将具备创新性但风险未知的 AI 产品或商业模式在进入市场前，预先在沙盒环境进行迭代验证，使用户在受保护的环境使用 AI 产品或服务。 本文作者：工业和信息化研究院 王伟洁 邓攀科 联系方式： 电子邮件：wangweijie