1、 欧盟委员会人工智能白皮书欧盟委员会人工智能白皮书 WHITE PAPER On Artificial Intelligence-A European approach to excellence and trust（2020-2-19）中文译本中文译本 吴沈括等吴沈括等 译译 北京师范大学网络法治国际中心北京师范大学网络法治国际中心 20202020 年年 2 2 月月 北京北京 北京师范大学网络法治国际中心北京师范大学网络法治国际中心 特别鸣谢特别鸣谢 北京师范大学网络法治国际中心研究员（排名不分先后）崔婷婷、胡涵、程佳泓、张馨童、王雪西、邵萍、林苗、张萍萍、曹祜、陈宣玮、梁怡冉、史婉莹、

2、王洪鹏、崔辰淼、张宸铭、马嘉旭、陈梓菡、陈泓宇、李钰清、刘艺林、吕崎、程宽、马浩翔、孙雪莉、米佳派、武小川、王寅、雷子晴、郑佳瑶、张曦月、王天盈、董雨仙、张伟鑫 北京师范大学网络法治国际中心北京师范大学网络法治国际中心 白皮书白皮书 关于人工智能关于人工智能 通往卓越与信任的欧洲道路通往卓越与信任的欧洲道路 欧盟委员会 布鲁塞尔,19.2.2020 COM(2020)65 最终版 北京师范大学网络法治国际中心北京师范大学网络法治国际中心 关于人工智能的关于人工智能的白皮书白皮书 通往卓越与通往卓越与信任信任的欧洲道路的欧洲道路 目前，人工智能发展迅速，这将会对民众的生活带来许多方面的改善：如提

3、高医疗水平（提高诊断精确度，增强疾病防控能力），提高农业生产效率，促进对气候变化的缓解和适应，通过预见性维护提高生产系统的效率，增强欧洲的安全，以及许多可能预想不到的其他方面。同时，人工智能（下文称 AI）也涉及不少潜在的风险，例如决策的不透明，基于性别或是其它可能的歧视，侵犯人的生活隐私，乃至用于犯罪目的。为应对全球激烈竞争的形势，需要在 2018 年 4 月提出的欧洲人工智能战略1的基础上，走出一条坚定的欧洲道路。为了应对人工智能带来的机遇和挑战，欧盟必须团结一心，以欧式价值观为根基，寻找适合自身的发展方式，从而促进人工智能的发展和部署。委员会致力于促进科学发展上的创新突破，以维持欧盟在技

4、术上的领先地位；并会确保新技术服务于全体欧洲人民，以改善他们的生活，同时尊重他们的权利。委员会主席乌尔苏拉冯德莱恩在她的施政方针2中公布了关注人工智能对人和伦理的影响，以及如何更好地利用大数据进行创新思考，协同合作的人工智能欧洲发展道路。因此，委员会支持采取以监管和投资为导向的手段，其目的是促进人工智能的使用，并解决新技术在使用上的一些风险问题。本白皮书的目的，是就如何实现这些目的提供政策备选项，但不涉及为军事目的开发和使用人工智能的相关问题。委员会邀请成员国、其他欧洲机构和所有利益攸关方，包括工业界、社会伙伴、民间社会组织、研究人员、一般公众和其他有关方面，对下列备选方案提出意见和建议，并为

5、委员会今后在该领域的决策提供帮助。1 欧洲人工智能战略,COM/2018/237 最终版。2 https:/ec.europa.eu/commission/sites/beta-political/files/political-guidelines-next-commission_en.pdf。北京师范大学网络法治国际中心北京师范大学网络法治国际中心 1.1.引言引言 随着在民众生活的各个方面逐渐占据中心地位，数字技术应该做到足以信赖。而可信度也正是信赖的先决条件。鉴于欧洲对价值观和法治的强烈重视，以及在航空、能源、汽车和医疗设备领域提供安全、可靠和精密产品和服务的成熟能力，这对欧洲来说是一

6、个机遇。欧洲目前和未来经济的可持续增长与社会福利的维持，将越来越依赖于数据所创造的价值，而人工智能是数据经济中最重要的应用之一。目前，大部分数据都是与消费者相关的，并在基于云的中心化基础设施上进行存储和处理。相比之下，将来更丰富的数据，将有很大一部分会来自工业、商业和公共部门，并且这些数据会被存储在不同的系统上，尤其是位于网络边缘的计算机设备上。这给欧洲带来了新的机遇，欧洲整体在数字化行业和B2B 应用中具有领先地位，但相对的，在消费平台则处于劣势。北京师范大学网络法治国际中心北京师范大学网络法治国际中心 简单地说，人工智能是数据、算法和计算能力相结合的技术集合。因此，计算技术的进步和数据日益

7、增进的可用性是当前人工智能热潮的关键驱动因素。欧洲可以将其技术和产业优势与高质量的数字基础设施和基于其基本价值观的监管框架相结合，成为数据经济及其应用创新的全球领导者，这是欧洲数据战略 3所规定的。在此基础上，它可以发展一个人工智能生态系统，为整个欧洲社会和经济带来该技术的好处:让公民获得新的利益，例如改善医疗、减少家用机械故障、提供更安全、更清洁的交通系统以及更好的公共服务;在产业发展方面，例如，在欧洲特别突出的领域(机械、交通、网络安全、农业、绿色和循环经济、医疗保健以及时尚和旅游等高附加值行业)开发新一代产品和服务;公共利益的服务,例如通过减少成本提供服务(交通、教育、能源和废物管理),

8、通过改进产品的可持续性4和执法当局配备适当的工具来确保公民5的安全,提供适当的保护措施,尊重他们的权利和自由。考虑到人工智能可能对我们的社会产生的重大影响，以及建立信任的需要，欧洲的人工智能必须以欧洲价值观和人类尊严及隐私保护等基本权利为基础，这一点至关重要。此外，对于人工智能系统的影响不仅要从个人的角度来考虑，还要从整个社会的角度来考虑。使用人工智能系统可以在实现可持续发展目标、支持民主进程和社会权利方面发挥重要作用。欧洲最近提出了有关欧洲绿色交易6的建议，在应对气候和环境相关挑战方面处于领先地位。像人工智能这样的数字技术是实现绿色交易目标的关键推动因素。鉴于人工智能的重要性日益增加，人工智

9、能系统的环境影响需要在其整个生命周期和整个供应链中得到充分考虑，例如在算法训练和数据存储的资源使用方面。为了达到足够的规模，避免单一市场的分裂，欧洲有必要采取一种共同的人工智能方法。国家层面举措的引入可能会危及法律确定性，削弱公民的信任，并阻止一个充满活力的欧洲产业的出现。3 COM(2020)66 最终版。4 总的来说，人工智能和数字化是欧洲绿色交易蓝图的关键推动者。然而，目前信息和通信技术部门的环境影响估计占全球总排放量的 2%以上。本白皮书所附的欧洲数字战略提出了数字化的绿色转型措施。5 人工智能工具可以为更好地保护欧盟公民免遭犯罪和恐怖主义行为的侵害提供机会。例如，这些工具可以帮助识别

10、网络恐怖主义宣传，发现危险产品销售中的可疑交易，识别危险隐藏物或非法物质或产品，在紧急情况下为公民提供帮助，帮助指导急救人员。6 COM(2019)640 最终版。北京师范大学网络法治国际中心北京师范大学网络法治国际中心 本白皮书在充分尊重欧盟公民的价值观和权利的情况下，提出了使人工智能在欧洲可信和安全发展的政策选择。本白皮书的主要内容如下:该政策框架规定了协调欧洲、国家和区域各层级努力的措施。通过私人和公共部门之间的合作，框架的目的是调动资源实现在整个价值链上打造卓越的生态系统，进行研究和创新，并建立正确的激励机制，加快采用基于人工智能的解决方案，包括中小企业(SMEs)。未来欧洲人工智能监

11、管框架的关键要素，将创建一个独特的“信任生态系统”。要做到这一点，它必须确保遵守欧盟的规则，包括保护基本权利和消费者权利的规则，特别是在欧盟运行的、风险较高的人工智能系统7。建立一个信任的生态系统本身就是一个政策目标，它应该让公民有信心接受人工智能应用，为企业和公共组织利用人工智能进行创新提供法律确定性。委员会大力支持以人为本的方法，该方法以在以人为本的人工智能8中建立可信交流为基础，并将考虑到人工智能高级别专家组编写的伦理准则在试点阶段获得的思路。此外，与白皮书一同发布的欧洲数据战略旨在使欧洲成为世界上最具吸引力、最安全、最具活力、数据最敏捷的经济体，能够利用数据改善决策，改善全体公民的生活

12、。该战略提出了实现这一目标所需的一系列政策措施，包括动员私人和公共投资。最后，本白皮书附带的委员会报告分析了人工智能、物联网和其他数字技术对安全和责任立法的影响。2.2.利用工业及专业市场的优势利用工业及专业市场的优势 欧洲处于有利地位，能够从人工智能的潜力中受益，不仅是作为用户，而且是作为这项技术的创造者和生产者。它拥有优秀的研究中心、创新的初创企业、机器人领域的全球领先地位，以及从汽车到医疗保健、能源、金融服务和农业等颇具竞争力的制造业和服务业。欧洲已经发展了强大的计算基础设施(如高性能计算机)，这对人工智能的运行至关重 7 虽然可能需要作出进一步的安排，以防止和反对滥用人工智能作犯罪用途

13、，但这已超出本白皮书的范围。8 COM(2019)168 通讯。北京师范大学网络法治国际中心北京师范大学网络法治国际中心 要。欧洲还拥有大量的公共和工业数据，但这些数据的潜力目前并未得到充分利用。欧洲在安全可靠、低功耗的数字系统方面拥有业界公认的优势，这对人工智能的进一步发展至关重要。利用欧盟在下一代技术和基础设施方面的投资能力，以及在数据素养等数字能力方面的投资能力，将增强欧洲在数据经济的关键技术和基础设施方面的技术主权。基础设施应该支持创建欧洲数据池，以支持可靠的人工智能，例如遵守欧洲价值观和规则的人工智能。欧洲应该利用自己的优势，巩固扩大自己在生态系统和价值链上的地位，包括从某些硬件制造

14、业到软件再到服务业。这种情况已经在一定程度上发生了。欧洲生产超过四分之一的工业和专业服务机器人(如精密农业、安全、卫生、物流)。这些机器人在为公司和组织使用软件应用程序(b2b 应用，如企业资源规划、设计和工程软件)，以及使用支持电子政务和“智慧企业”的应用程序中扮演着重要的角色。欧洲在制造业部署人工智能方面领先。超过一半的顶级制造商在制造业务中至少创造了一个人工智能实例9。欧洲在研究方面的强势地位的原因之一是欧盟的资助计划，事实证明该计划有助于联合行动、避免重复以及利用成员国的公共和私人投资。在过去三年中，欧盟对人工智能的研究和创新资金已经上升到 15 亿欧元，即与前一期间相比增加 70%。

15、然而，欧洲的研究和创新投资仍然是世界其他地区公共和私人投资的一小部分。2016年在欧洲的人工智能投资约为 32 亿欧元，而北美约为 121 亿欧元，亚洲约为 65 亿欧元10。对此，欧洲需要大幅提高投资水平。与成员国共同制定的关于人工智能的协调计划11被证明是在欧洲建立更密切的人工智能合作和创造协同效应以最大限度地投资于人工智能价值链的良好起点。3.3.把握未来机遇：下一波数据浪潮把握未来机遇：下一波数据浪潮 虽然欧洲目前在消费者应用程序和在线平台上处于弱势地位，从而导致数据获取方面 9 其次是日本（30%）和美国（28%）。资料来源：CapGemini（2019 年）。10 AI 和自动化时

16、代欧洲的 10 个当务之急，麦肯锡（2017）。11 COM(2018)795。北京师范大学网络法治国际中心北京师范大学网络法治国际中心 处于竞争劣势，但各部门数据的价值和再利用正在发生重大变化。世界上产生的数据量正在迅速增长，从 2018 年的 33 ZB 增加到 2025 年的 175 ZB12。每一波新的数据浪潮都为欧洲在数据敏捷经济中定位自己并成为这一领域的世界领先者带来了机遇。此外，在今后五年中，数据的储存和处理方式将发生巨大变化。今天，云中 80%的数据处理和分析发生在数据中心和中心化计算设施，20%发生在智能连接的对象，如汽车、家用电器或制造机器人，以及接近用户的计算设施（“边缘

17、计算”）。到 2025 年，这些比例将发生显著变化13。欧洲在低功耗电子产品（发展下一代人工智能专业处理器的关键技术）方面，处于全球领先地位。这一市场目前由非欧盟参与者主导。在欧洲处理器项目(European Processor Initiative)等计划的帮助下，这种情况可以改变，该项目的重点是为边缘和下一代高性能计算开发低功耗计算系统，以及拟议于 2021 年开始的关键数字技术联合项目的工作。欧洲在神经形态解决方案14领域同样具有领先地位，这些解决方案非常适合自动化工业过程（工业 4.0）和运输模式。它们可以提高几个数量级的能源效率。量子计算的最新进展将导致处理能力的指数增长15。基于它

18、在量子计算方面的学术优势，以及欧洲工业在量子模拟器和量子计算编程环境中的强大地位，欧洲可以站在这项技术的前沿。旨在增加量子测试和实验设施的欧洲倡议将有助于将这些新的量子解决方案应用于一些工业和学术部门。与此同时，欧洲将继续引领人工智能算法基础的进步，这建立在其自身卓越的科学积淀之上。需要在目前独立的学科之间建立桥梁,如机器学习、深度学习(以有限的可解释性为特征,需要大量的数据来训练模型并通过相关性来学习)和符号学方法(规则是通过人工干预创建的)。将符号推理与深度神经网络相结合可以帮助我们提高人工智能结果的可解释性。4.4.卓越的生态系统卓越的生态系统 为了建立一个卓越的生态系统，以支持整个欧盟

19、经济和公共行政部门对人工智能的发 12 IDC(2019)。13 Gartner(2017)。14 神经形态解决方案是指模仿神经系统中的神经生物结构的超大规模的集成电路系统。15 量子计算机将有能力在不到几秒的时间内处理远超目前性能最高的计算机的数据集，从而可以开发跨部门的新的人工智能应用。北京师范大学网络法治国际中心北京师范大学网络法治国际中心 展和采用，有必要在多个层面加强行动。A.A.与成员国合作与成员国合作 欧盟委员会于 2018 年 4 月通过了关于人工智能的战略16，并于 2018 年 12 月提出了一项协同计划与成员国一起制定以促进欧洲人工智能的发展和使用17。该计划提出了约 7

20、0 项联合行动，以便成员国与欧盟委员会在研究、投资、市场吸收、技能和人才、数据以及国际合作等关键领域开展更密切、更有效的合作。该计划预计运行到 2027 年，并定期进行监测和审查。其目的是最大限度地扩大在研究、创新和部署方面的投资的影响，评估国家人工智能战略，并在此基础上扩大与成员国的人工智能协调计划:行动 1:欧盟委员会将考虑白皮书的公众咨询结果，向成员国提议修订将于 2020 年底之前通过的协调计划 欧盟层面在人工智能领域的资助，应该能够吸引并集中投资于所需行动超出单个成员国能力范围的领域。其目标是在未来十年内，在欧盟内每年吸引超过 200 亿欧元18的人工智能投资。为了刺激私人和公共投资

21、，欧盟将从“数字欧洲”(Digital Europe)计划、“地平线欧洲”(Horizon Europe)以及“欧洲结构投资基金”(European Structural and investment Funds)中提供资源，以满足欠发达地区和农村地区的需求。这个协调的计划也可以作为人工智能的一个关键原则来处理社会和环境福利。人工智能系统承诺帮助解决最紧迫的问题，包括气候变化和环境恶化。同样重要的是，这要以一种对环境友好的方式进行。人工智能能够而且应该严格检查资源使用和能源消耗，并被训练做出对环境有利的选择。委员会将考虑与成员国一起鼓励和促进人工智能解决方案的达成。B.B.聚焦研究和创新社群的

22、努力聚焦研究和创新社群的努力 欧洲无力维持目前分散的能力中心格局，没有一个能达到与全球领先机构竞争所需的规模。有必要在人工智能研究中心之间建立更多的协同效应和网络，并协调他们的工作以 16 欧洲人工智能，COM(2018)237。17 人工智能协同规划，COM(2018)795。18 COM(2018)237。北京师范大学网络法治国际中心北京师范大学网络法治国际中心 提高水平，保留和吸引最好的研究人员并开发最好的技术。这些中心和网络应集中在欧洲有潜力成为全球冠军的部门之中，例如工业，卫生，运输，金融，农业，能源/环境，林业，地球观测和太空。在所有这些领域中，争夺全球领导地位的斗争一直在进行，欧

23、洲提供了巨大的潜力、知识和专业技术19。同样重要的是创建测试和实验站点，以支持新型人工智能应用的开发和后续部署。行动 2：委员会将协助建立卓越中心和测试中心，将欧洲、国家和私人投资结合起来，其中可能包括一项新的法律工具。欧盟委员会提出了巨额拨款，专门用于支持数字欧洲计划(Digital Europe Programme)下的欧洲的世界级检测中心，并在适当情况下通过“地平线欧洲”（Horizon Europe）的研究和创新行动予以支持，后者是 2021 至 2027 多年度财务框架的组成部分。C.C.技能技能 欧洲人的人工智能道路需要高度重视技能方面的问题，以弥补能力短缺20。欧盟委员会将很快提

24、出强化技能议程的方案，旨在确保欧洲每个人都能从绿色和数字化转型的欧盟经济中受益。倡议还包括部门监管机构的支持，提高他们的人工智能技能，以便有效和高效地执行有关规则。更新的数字教育行动计划将有助于更好地利用数据和基于人工智能的技术，例如学习和预测分析，以改善教育和培训系统并使之适应数字时代。该计划还将在各级教育中提高人们对人工智能的认识，以使公民为将受到越来越多人工智能影响的更好决定做好准备。发展与人工智能相关的必要技能，并提高劳动力以适应由人工智能主导的转型，这将是与成员国一起制定的经修订的人工智能协调计划的优先事项。这可能包括将道德准则的评估清单转变为人工智能开发者的指示性“履历”，进而成为

25、培训机构的资源。对于增加在该领域接受培训和就业的妇女人数应做出更多的努力。此外，欧洲的人工智能研究与创新中心将吸引来自世界各地的人才，因为它可以提供各种机会。它还将发展和传播欧洲原有的并不断发展的卓越技能。行动 3：通过建立和支持由一流大学和高等教育机构组成的数字欧洲计划网络的高等技能支柱，吸引最优秀的教授和科学家，并提供人工智能领域世界领先的硕士学位 19 未来的欧洲国防基金和永久结构化合作组织（PESCO）也将为人工智能的研发提供机会。这些项目应该与致力于人工智能的欧盟民用计划保持协调。20 https:/ec.europa.eu/jrc/en/publication/academic-o

26、ffer-and-demand-advanced-profiles-eu。北京师范大学网络法治国际中心北京师范大学网络法治国际中心 课程。除了提高技能外，工人和雇主还直接受到工作场所中人工智能系统的设计和使用的影响。社会合作伙伴的参与将是确保在工作中以人为本的人工智能发挥作用的关键因素。D.D.关注中小企业关注中小企业 确保中小企业可以访问和使用人工智能也很重要。为此，应进一步加强建设数字创新中心21和人工智能需求平台22，并增进与中小企业之间的合作。数字欧洲计划将有助于实现这一目标。所有数字创新中心都应为各国中小企业提供支持，以帮助它们理解和采用人工智能，同时每个成员国至少有一个创新中心在人

27、工智能方面实现高度专业化，这一点很重要。中小企业和初创企业需要获得资金以适应其工作流程或使用人工智能进行创新。在即将出台的针对人工智能和区块链的 1 亿欧元试点投资基金的基础上，欧盟委员会计划根据投资欧洲计划 进一步扩大人工智能的融资渠道23。投资欧洲计划的担保所覆盖的合理使用领域中明确提到了人工智能。行动 4：委员会将与成员国合作，以确保每个成员国至少有一个高度专业化的人工智能数字创新中心。“数字欧洲计划”将为数字创新中心提供支持。欧盟委员会和欧洲投资基金将在 2020 年第一季度启动 1 亿欧元的试点计划，为人工智能的创新发展提供股权融资。在与 MFF 达成最终协议的情形下，欧盟委员会的意

28、图是从 2021 年起通过投资欧洲计划大幅扩大该规模。E.E.与私营部门的伙伴关系与私营部门的伙伴关系 确保私营部门充分参与研究和创新议程的设定并提供必要的共同投资水平也很重要。这要求建立广泛的公私合作伙伴关系，并确保公司最高管理层的一致同意。行动 5:在“地平线欧洲”项目的背景下，委员会将在人工智能、数据和机器人技术方面，与“地平线欧洲”中的其他公私伙伴关系进行协作，并与上文涉及的测试设施和数字创新中心共同努力，确保人工智能领域研究与创新的协调发展。21 ec.europe.eu/digital-single-market/en/news/digital-innovation-hubs-he

29、lping-companies-across-economy-make-most-digital-opportunities。22 www.Ai4eu.eu。23 Europe.eu/investeu。北京师范大学网络法治国际中心北京师范大学网络法治国际中心 F F推动公共部门对人工智能的应用推动公共部门对人工智能的应用 公共管理部门、医院、公用事业和运输服务部门、金融监管机构以及其他公共利益领域必须迅速开始部署基于人工智能的产品和服务。重点是医疗卫生和运输领域，这些领域的技术已经成熟，可以大规模部署。行动 6:委员会将发起公开透明的部门对话，优先考虑医疗卫生、农村行政管理和公共服务运营商，以

30、便提出一项促进发展、试验和采用的行动计划。该部门对话将被用于制定一个具体的“人工智能应用方案”，以支持人工智能的公共采购系统，并帮助改变公共采购流程本身。G G确保对数据和计算基础设施的访问确保对数据和计算基础设施的访问 本白皮书中列出的行动领域是对欧洲数据战略下平行提出的计划的补充。改善对数据的访问和管理是根本。没有数据，就不可能开发人工智能和其他数字应用。尚未生成的海量新数据，为欧洲提供了使自己位居数据和人工智能转型前沿的机会。促进负责任的数据管理和数据合规实践符合 FAIR 原则将有助于建立信任和确保数据的可再利用性24。同样重要的是对关键计算技术和基础设施的投资。欧盟委员会已经提议在数

31、字欧洲计划下提供超过 40 亿欧元的资金以支持高性能和量子计算，包括边缘计算和人工智能、数据和云基础设施。欧洲数据战略进一步发展了这些优先事项。H H国际方面国际方面 在围绕共同价值观建立联盟和促进人工智能的应用伦理方面，欧洲处于全球领先地位。欧盟在人工智能方面的工作已经影响了国际讨论。在制定其伦理准则时，高级别专家组吸收了一些非欧盟组织和若干政府观察员。与此同时，欧盟密切参与制定经合组织的人工智能25道德原则。二十国集团随后在其 2019 年 6 月关于贸易和数字经济的部长声明中认可了这些原则。与此同时，欧盟认识到，在其他多边平台中正在开展有关人工智能的重要工作，包括欧洲委员会，联合国教育、

32、科学与文化组织（UNESCO），经济合作与发展组织（OECD），世 24 Findable,Accessible,Interoperable and Reusable，该等原则被阐述在 2018 年委员会专家组关于FAIR 数据的最终报告和行动计划之中：https:/ec.europa.eu/info/sites/info/files/turning_fair_into_reality_1.pdf。25 https:/www.oecd.org/going-digital/ai/principles。北京师范大学网络法治国际中心北京师范大学网络法治国际中心 界贸易组织（WTO）和国际电信联盟（I

33、TU）。在联合国，欧盟参与了数字合作高级别小组的报告的后续行动，包括其有关人工智能的建议。欧盟将基于欧盟规则和价值观（例如，支持向上的监管趋同、获取包括数据在内的关键资源、创造公平的竞争环境），在人工智能方面继续与志同道合的国家合作，也与其他全球参与者合作。委员会将密切监测第三国限制数据流动的政策，并将通过世界贸易组织范围内的行动，处理双边贸易谈判中的不当限制。委员会坚信，在人工智能问题上的国际合作必须基于一种促进尊重基本权利的方法，包括人的尊严、多元化、包容、非歧视以及对隐私和个人数据的保护26，委员会将努力在全世界传播其价值观27。同样明显的是，负责任地开发和使用人工智能可以成为实现可持续

34、发展目标和推进 2030 年议程的驱动力。5.5.可信的生态系统：人工智能的监管框架可信的生态系统：人工智能的监管框架 与任何新技术一样，使用人工智能既带来了机遇，也带来了风险。当面临算法决策的信息不对称时，公民担忧在捍卫他们的权利和安全时陷于无能为力，而公司则担心法律上的不确定性。虽然人工智能可以帮助保护公民的安全并使其享有基本权利，但公民也担心人工智能会产生意想不到的影响，甚至被用于恶意目的。这些问题需要解决。此外，除了缺乏投资和技能外，缺乏信任也是阻碍人工智能广泛应用的主要因素。因此，欧盟委员会于 2018 年 4 月 25 日制定了人工智能战略28，以解决社会经济方面的问题，同时增加了

35、欧盟范围内对研究、创新和人工智能能力的投资。它与成员国商定了一项协调计划29，以统一各国战略。委员会还成立了一个高级别专家组，于 201930年 4 月发布了有关可信人工智能的指南。委员会发表了一份通讯31，欢迎高级别专家组指南中确定的七项关键要求：人类代理和监督 26 根据伙伴关系工具，欧盟委员会将资助一项 250 万欧元的项目，以促进与志同道合的合作伙伴的合作，进而促进欧盟人工智能伦理指南并采纳共同原则和操作结论。27 冯德尔莱恩（Von der Leyen）主席，追求更多的联盟我的欧洲议程，第 17 页。28 COM(2018)237。29 COM(2018)795。30 https:/

36、ec.europa.eu/futurium/en/ai-alliance-consultation/guidelines#Top。31 COM(2019)168。北京师范大学网络法治国际中心北京师范大学网络法治国际中心 技术韧性和安全性 隐私和数据治理 透明度 多样性、非歧视性和公平性 社会和环境福祉 问责制 此外，该准则还包含一份供公司实际使用的评估清单。在 2019 年下半年，超过 350 个组织测试了此评估列表并发送了反馈。高级别小组正在根据这一反馈意见修订其指南，并将在 2020 年 6 月之前完成这项工作。反馈过程的一个关键结果是，虽然一些要求已经反映在现有的法律或监管制度中，但许多

37、经济部门的现行立法并没有具体涵盖透明度、可追溯性和人力监督方面的要求。在高级别专家组的非约束性指南的基础上，并且根据主席的政治准则，明确的欧洲监管框架将在消费者和企业之间建立对人工智能的信任，从而加快技术的吸收。这样一个监管框架应该和其他措施一起提升欧洲在该领域的创新能力和竞争力。除此之外，它必须确保在社会、环境和经济层面实现结果，并符合欧盟的法律、原则和价值观。这在公民权利可能会受到直接影响的一些领域中尤其重要，例如人工智能在执法和司法领域的应用。人工智能的开发者和部署者已经受制于欧洲法律对于基本权利（如数据保护、隐私、非歧视）、消费者保护、产品安全和责任规则等方面的规定。无论一个产品或系统

38、是否依赖人工智能，消费者都期待同样水平的安全性和对他们权利的尊重。然而，人工智能的一些特有特征（如不透明）会使该法规的应用和执行更加困难。因此，我们有必要对现有法律能否解决人工智能的风险，能否被有效执行，以及法律是否有必有进行修订，或者是否需要新的法律等问题进行调研。鉴于人工智能发展得如此快速，该监管体系必须为其更长远的发展留下空间。任何修正都应当限于有明确解决方案的问题。欧盟成员国指出目前缺乏一个共同的欧洲框架。德国数据伦理委员会（The German Data Ethics Commission）呼吁建立一个以风险为基础的 5 级监管系统，从对最无害的人工智能系统无监管到对最危险的人工智能

39、系统的全面禁止。而丹麦刚刚推出了数据伦理印章的原型。马耳他为人工智能引进了自愿认证系统。如果欧盟无法提供一个供欧洲共同使 北京师范大学网络法治国际中心北京师范大学网络法治国际中心 用的方法，内部市场将会有分裂的风险，这将破坏已有的信任、法律确定性和市场份额。可靠稳固的人工智能欧洲监管框架将会保护所有的欧洲公民，并有助于为人工智能的进一步发展和采用创造一个无摩擦的内部市场，以及巩固欧洲人工智能的产业基础。A.A.问题定义问题定义 虽然人工智能可以有很多有益的应用，包括让产品和流程更加安全，但它也可能带来危害。这种危害可能是物质上的（个体的安全和健康，包括生命损失、财产损失），也可能是非物质的（隐

40、私的丧失、言论自由权的限制、人的尊严和就业等方面的歧视），并可能涉及各种广泛的风险。监管框架应集中于如何最大程度地减少潜在危害的各类风险，尤其是那些最为显著的风险。人工智能使用相关的最主要的风险是：旨在保护基本权利（包括个人数据和隐私以及非歧视）的规则适用，以及安全性32和责任相关问题。基本权利的风险，包括个人数据和隐私保护以及非歧视基本权利的风险，包括个人数据和隐私保护以及非歧视 人工智能的使用可能会影响欧盟的基础价值观，并导致基本权利受到侵害33，包括言论自由、集会自由、人的尊严、围绕性别、种族或族裔的非歧视、宗教信仰自由、或围绕残疾、年龄、性取向的非歧视(适用于某些领域)、保护个人数据和

41、私生活34、获得有效司法救济和公平审判的权利，以及消费者保护权等。这些风险可能是由于人工智能系统的总体设计存在缺陷(包括在人为监督方面)，也可能是是由于使用数据时没有纠正可能的偏差(例如，系统仅使用或主要使用来自男性的数据进行培训，导致与女性相关的结果不佳)。人工智能可以执行许多以前只能由人类完成的功能。因此，公民和法律实体将越来越多地受制于人工智能系统采取的行动和做出的决定，或者在人工智能系统的协助下采取的行动和做出的决定，这些行动和决定有时可能难以理解，也难以在必要时提出有效质疑。此外，人工智能增加了跟踪和分析人们日常习惯的可能性。例如，存在一种潜在的风险，32 这包括网络安全问题、与关键

42、基础设施中人工智能应用相关的问题或人工智能的恶意使用。33 欧洲委员会的研究表明，使用人工智能可能会影响大量的基本权利，https:/rm.coe.int/algorithms-and-human-rights-en-rev/16807956b5。34 一般数据保护条例和电子隐私指令(正在酝酿的新电子隐私条例)解决了这些风险，但可能需要检查人工智能系统是否会带来额外的风险。委员会将持续监测和评估 GDPR 的施行。北京师范大学网络法治国际中心北京师范大学网络法治国际中心 即在违反欧盟数据保护和其他规则的情况下，国家当局或其他实体可能会使用人工智能进行大规模监控，而雇主可能会使用人工智能来观察其

43、员工的行为。通过分析大量数据并识别它们之间的链接，人工智能还可能被用来追溯和消除关于个人的数据的匿名性，从而产生新的个人数据保护风险，即使对于本身不包括个人数据的数据集也可能如此。人工智能也被在线平台用来为他们的用户区分信息的优先级，并执行内容审核。经过处理的数据、应用程序的设计方式以及人为干预的范围都会影响言论自由权、个人数据保护权、隐私权和政治自由。某些人工智能算法，当用于预测刑事累犯时，会表现出性别和种族偏见，显示女性对男性或国民对外国人不同的再犯预测概率。资料来源:Tolan S.,Miron M.,Gomez E.and Castillo C.Why Machine Learning

44、 May Lead to Unfairness:Evidence from Risk Assessment for Juvenile Justice in Catalonia,Best Paper Award,International Conference on AI and Law,2019 某些用于面部分析的人工智能程序显示出性别和种族偏见，表明肤色较浅的男性在确定性别时误差较小，而肤色较深的女性在确定性别时误差较大。资料来源:Joy Buolamwini,Timnit Gebru;Proceedings of the 1st Conference on Fairness,Account

45、ability and Transparency,PMLR 81:77-91,2018。偏见和歧视是任何社会或经济活动的固有风险。人类的决策不能避免错误和偏见。然而，当同样的偏见出现在人工智能中时，可能会产生更大的影响，如果没有控制人类行为的社会治理机制，就会影响和歧视许多人35。当人工智能系统在运行中“学习”时，也会发生这种情况。在这种情况下，如果在设计阶段无法预防或预计到结果，风险将不会来自系统原始设计中的缺陷，而是来自系统在大型数据集中识别的相关性或模式的实操影响。许多人工智能技术的具体特征，包括不透明性(“黑匣子效应”)、复杂性、不可预测性和部分自主行为，可能使其难以核实是否符合旨在保

46、护基本权利的现有欧盟法律的规 35 该委员会的男女机会平等咨询委员会目前正在编写一份“人工智能意见”，其中分析了人工智能对两性平等的影响，预计该委员会将于 2020 年初通过该意见。欧盟 2020-2024 年性别平等战略也处理了人工智能与性别平等之间的联系；欧洲平等机构网络(Equinet)将于 2020 年初发布一份报告(由 Robin Allen 和Dee Masters 撰写)，题为“监管人工智能:平等机构的新角色应对日益增长的数字化和人工智能的使用对平等和非歧视提出的新挑战”。北京师范大学网络法治国际中心北京师范大学网络法治国际中心 则，并可能妨碍其有效执行。执法当局和受影响的人可能

47、没有办法核实某一特定决定是如何做出的，是否有人工智能的参与，因此也就没有办法核实相关规则是否得到遵守。在此类决定可能对个人和法人产生不利影响的情况下，个人和法人在有效诉诸司法方面可能面临困难。安全风险和责任制度的有效运作安全风险和责任制度的有效运作 当人工智能技术嵌入到产品和服务中时，可能会给用户带来新的安全风险。例如，由于对象识别技术的缺陷，自动驾驶汽车可能会错误地识别道路上的物体，并导致涉及人身伤害和财产损害的事故。与对基本权利的风险一样，这些风险可能是由人工智能技术的设计缺陷造成的，可能与数据的可用性和质量问题有关，也可能与机器学习产生的其他问题有关。虽然其中一些风险并不局限于依赖人工智

48、能的产品和服务，但人工智能的使用可能会加剧这些风险。除了对相关个人造成风险之外，缺乏明确的安全条款来应对这些风险，还可能给在欧盟销售涉及人工智能产品的企业带来法律上的不确定性。市场监督和执法当局可能无法确定是否可以进行干预,因为他们可能没有权力采取行动或没有适当的技术能力来检查系统36。因此，法律的不确定性可能会降低整体安全水平，削弱欧洲公司的竞争力。如果安全风险成为现实，则缺乏明确的要求和上述人工智能技术的特点，将很难追溯到人工智能系统参与下的潜在问题决策。这反过来可能使遭受伤害的人难以根据现行欧盟和国家法律获得赔偿。37 根据产品责任指令，制造商应对缺陷产品造成的损害负责。然而，在基于人工

49、智能的系统(如自动驾驶汽车)的情况下，可能很难证明产品存在缺陷、已经发生的损害以及两者之间的因果关系。此外，在某些类型的缺陷情况下（例如，如果这些缺陷是由产品的网络安全缺陷造成的），产品责任指令的适用方式和效力范围还存在一些不确定性。因此，与上文提到的与基本权利有关的潜在问题类似，追溯人工智能系统做出的存疑决定的困难同样存在于安全和责任相关问题之中。例如，遭受损害的人可能无法有效收集在法庭上立案所必需的证据，而且与损害是由传统技术造成的情况相比，补救的可能性较 36 儿童智能手表就是一个例子。本产品可能不会对佩戴本产品的儿童造成直接伤害，但由于缺乏最低程度的安全性，因此可轻松用作接触儿童的工具

50、。市场监管机构可能会发现，在风险与产品本身无关的情况下，很难进行干预。37 本白皮书所附的委员会报告分析了人工智能、物联网和其他数字技术对安全和责任立法的影响。北京师范大学网络法治国际中心北京师范大学网络法治国际中心 低。随着人工智能的广泛使用，这些风险将会增加。B.B.欧盟现行有关人工智能的立法框架可能作出的调整欧盟现行有关人工智能的立法框架可能作出的调整 欧盟现有的广泛的产品安全和责任立法38，包括由国家立法进一步补充的特定部门的规则，对一些新出现的人工智能应用具有相关性和潜在的适用性。关于基本权利和消费者权利的保护，欧盟立法框架包括诸如种族平等指令39、就业和职业平等待遇指令40、关于就

51、业和获得商品和服务方面男女平等待遇的指令41、一些消费者保护规则42以及关于个人数据保护和隐私的规则等立法，特别是一般数据保护条例和其他涉及个人数据保护的部门立法，如数据保护执法指令43。此外，从 2025 年起，欧洲可及性法案中规定的货物和服务可及性要求规则将适用44。在实施欧盟其他立法时，包括在金融服务、移民或网络中介责任等领域，必须尊重基本权利。尽管不论是否存在人工智能，欧盟法律在原则上仍然完全适用，但重要的是评估它能否得到充分执行以应对人工智能系统造成的风险，或是否需要对具体法律工具进行调整。例如，经济主体仍然对人工智能遵从保护消费者的现有规则负有全部责任，任何违反现有规则的、利用消费

52、者行为的算法都是不允许的，违反规则的行为将受到相应的惩罚。委员会认为，可以改进立法框架以处理下列风险和情况:有效地实施和执行现行的欧盟和国家立法:人工智能的关键特征对确保正确实施与执行欧盟和国家立法提出了挑战。缺乏透明度(人工智能的不透明性)使得识别和证明可能的违法行为变得困难，包括保护基本权利、归责和满足索赔条件的法律条款。因此，为了确保有效的实施和执行，可能有必要调整或阐明某些领域的现有立法，例如本白皮书所附报告中进一步详细说明的关于赔偿责任的规定。欧盟现行法律范围的限制:欧盟产品安全立法的关注重点是产品投放市场环节。而在 38 欧盟产品安全的法律框架包括作为安全网的 产品安全一般指令(2

53、001/95/EC 指令)，以及涵盖从机器、飞机和汽车到玩具和医疗器械等不同类别产品的若干行业特定规则，旨在提供高水平的健康和安全。产品责任法由不同的产品或服务造成损害的民事责任制度来补充。39 2000/43/EC 指令。40 2000/78/EC 指令。41 2004/113/EC 指令;2006/54/EC 指令。42 例如不公平商业行为指令(2005/29/EC 指令)和消费者权利指令(2011/83/EC 指令)。43(EU)2016/680 指令，也即欧洲议会和理事会 2016 年 4 月 27 日关于预防犯罪、调查犯罪和刑事诉讼过程中处理个人数据的指令。44(EU)2019/88

54、2 指令关于产品和服务的可及性要求。北京师范大学网络法治国际中心北京师范大学网络法治国际中心 欧盟产品安全立法中，当软件是最终产品的一部分时，必须遵守相关的产品安全规则，但在某些部门中没有明确规定的情况下45，欧盟产品安全法规是否涵盖独立软件是一个开放的问题。欧盟现行的一般安全法规适用于产品而非服务，因此原则上也不适用基于人工智能技术的服务(如卫生服务、金融服务、交通服务)。人工智能系统功能的改变:将软件(包括人工智能)集成到产品中可以在产品和系统的生命周期中修改它们的功能。对于需要频繁更新软件或依赖机器学习的系统尤其如此。这些特性可能会导致系统上市时是不存在新的风险的。这些风险在现有的立法中

55、没有得到充分的解决，现有的立法主要关注的是上市时存在的安全风险。供应链中不同经济主体之间责任分配的不确定性:一般而言，欧盟产品安全立法将责任分配给市场上产品的生产者，涵盖人工智能系统等所有组件。但如果人工智能是由非生产商的一方在产品投放市场后添加的，这些规定可能会变得不明确。此外，欧盟的产品责任立法规定了生产者的责任，并保留国家责任规则来管理供应链中其他主体的责任。安全概念的变化：在产品和服务中使用人工智能可能会产生欧盟立法目前没有明确解决的风险。这些风险可能与网络威胁、人身安全风险（例如，对于新型人工智能的应用，如家用电器等的应用中所产生的风险）、连接中断产生的风险等有关。这些风险可能存在于

56、产品投放市场时或使用产品而产品处于软件更新或自我学习时。欧盟应充分利用其掌握的工具，包括利用欧盟网络安全局（ENISA）的经验评估人工智能风险情况，以加强关于人工智能应用相关威胁风险的证明基础。如前所述，一些成员国已经在探索国家立法的方案，以应对人工智能带来的挑战。这就增加了单一市场分裂的风险不同的国家规则可能会给那些想在单一市场销售和运营人工智能系统的公司制造障碍。确保在欧盟一级采取共同的做法，将使欧洲公司能够顺利进入单一市场中获益，并支持它们在全球市场上具有竞争力。关于人工智能、物联网和机器人技术安全和责任影响的报告关于人工智能、物联网和机器人技术安全和责任影响的报告 本白皮书所附的报告分

57、析了相关的法律框架。在人工智能系统和其他数字技术构成的特定风险方面，它确认了该框架应用存在不确定性。结论是，现行的产品安全法规已经支持了一个扩展的安全概念，即根据产品的用途 45 例如，根据医疗器械条例，制造商计划用于医疗目的的软件被视为医疗器械：（EU）2017/745 条例。北京师范大学网络法治国际中心北京师范大学网络法治国际中心 保护用户免受产品各种风险的影响。但是，可以引入明确涵盖新兴数字技术带来的新风险的条款，以提供更多的法律确定性。某些人工智能系统在其生命周期内的自主行为可能导致对安全有影响的重要产品变更，这可能需要新的风险评估。此外，从产品设计到人工智能产品和系统的整个生命周期，

58、都需要人为的监督作为保障。在适当的情况下，还可以考虑生产者在用户心理安全风险方面的明确义务。（例如，仿人机器人的相关合作）。欧盟产品安全立法可规定在设计阶段解决错误数据的安全风险的具体要求，以及规定确保在使用人工智能产品和系统的整个过程中保持数据质量的机制。基于算法的系统的不透明性可以通过透明性要求来解决。当一种在市场上销售或在产品上市后下载到产品中的独立软件对安全有影响时，现有的规则可能需要加以修改和阐明。鉴于新技术在供应链方面的复杂性日益增加，特别要求供应链中的经济主体与用户之间的合作规定可以提供法律方面的确定性。人工智能、物联网和机器人等新兴技术的特点可能会挑战责任框架的某些方面，并可能

59、降低其有效性。根据大多数国家的规则，基于过失的索赔必须将损害追溯到存在过失的人身上。但新兴数字技术的一些特点可能使得受害者很难将损害追溯到这些人身上。这可能会大大增加受害者的成本，也意味着对生产者以外的其他人的责任索赔可能难以提出或予以证明。因人工智能系统的参与而遭受伤害的人需要与因其他技术而遭受伤害的人享有同等程度的保护，同时应允许技术创新继续发展。应仔细评估确保这一目标的所有选择，包括可能对产品责任指令做出的修订，以及可能进一步有针对性地调整国家责任规则。例如，委员会正在寻求是否需要以及在何种程度上需要减轻国家责任规则所要求的证明责任复杂程度，以适应人工智能应用造成的损害方面的索赔。从上述

60、讨论中，委员会得出结论，除了可能对现有立法作出调整外，可能还需要引入专门针对人工智能的新法规，以使欧盟法律框架适应当前和预期的技术以及商业发展。北京师范大学网络法治国际中心北京师范大学网络法治国际中心 C.C.未来欧盟监管框架的范围未来欧盟监管框架的范围 未来人工智能具体监管框架的关键问题是确定其适用范围。可行的假设是，监管框架将适用于依赖人工智能的产品和服务。因此，基于本白皮书的目的，以及未来任何可能的决策倡议，人工智能应该被明确定义。欧盟委员会在其关于人工智能的报告中首次对人工智能作出了定义46。高级别专家组进一步完善了这一定义47。在任何新的法律工具中，人工智能的定义必须足够灵活以适应技

61、术进步，同时又必须足够精确以提供必要的法律确定性。就本白皮书的目的，以及未来可能就政策措施进行的任何讨论而言，阐明构成人工智能的主要元素（即数据和算法）似乎很重要。人工智能可以集成到硬件中。就构成人工智能子集的机器学习技术而言，训练算法根据一组数据推断特定模式，以确定实现给定目标所需的行动。算法在使用时可以继续学习。虽然基于人工智能的产品可以通过感知其环境而不遵循预先确定的一组指令来自主地进行操作，但它们的行为在很大程度上是由其开发人员定义和约束的。人类确定并编设目标，人工智能系统对此进行优化。欧盟有一个严格的法律框架，以确保消费者得到保护，解决不公平的商业行为，并保护个人数据和隐私。此外，欧

62、盟法律包含特定行业(如医疗、交通)的具体规则。欧盟法律的该等现有规定将继续适用于人工智能，尽管该框架的某些更新可能是必要的，以反映数字转型和人工智能的应用(见 B 章节)。因此，现有的横向或部门立法（例如关于运输系统 46 COM(2018)237 最终版，第1页:“人工智能(AI)是指通过分析其环境和采取行动这在一定程度上是自主的展示智能行为以实现特定的目标的系统。基于人工智能的系统可以完全基于软件，在虚拟世界中运行(例如语音助手、图像分析软件、搜索引擎、语音和人脸识别系统)，还可以嵌入硬件设备(例如，高级机器人、自动驾驶汽车、无人机或物联网应用)。”47 高级别专家组，人工智能的定义，第

63、8 页:“人工智能(AI)系统是由人类设计的软件(也可能还是硬件)系统，它给定一个复杂的目标，通过在物理或数字维度上感知其环境，包括通过数据采集、对采集到的结构化或非结构化数据进行解释、知识推理或者信息处理，基于这些数据，并决定最好的行动以实现的特定的目标。人工智能系统既可以使用符号规则，也可以学习数字模型，它们还可以通过分析他们以前的行动如何影响环境来调整自己的行为。”例如在自动汽车驾驶中,该算法实时使用来自汽车的数据(速度、发动机消耗、减震器等)和从传感器扫描整个汽车的环境(道路，标志，其他车辆，行人等)来推导出汽车要到达某一目的地需要的方向、加速度和速度。根据观测到的数据，该算法适应道路

64、的情况和外部条件，包括司机的其他行为，付诸最舒适和最安全的驾驶。北京师范大学网络法治国际中心北京师范大学网络法治国际中心 中的医疗设备48）已经涉及的那些方面将继续受这些立法的管辖。原则上，新的人工智能监管框架应有效地实现其目标，同时又不要过度规制，以免造成不成比例的负担，尤其是对中小型企业而言。为了达到这一平衡，欧盟委员会认为应遵循基于风险的方法。基于风险的方法对于帮助确保监管干预是相称的很重要。但它需要明确的标准来区分不同的人工智能应用，特别是在关于它们是否属于“高风险”49的问题上。确定什么是高风险的人工智能应用应该清晰易懂，并且适用于所有相关方。但是，即使人工智能应用程序不符合高风险条

65、件，它也完全受制于现有的欧盟规则。欧盟委员会认为，考虑到相关的领域和预期用途是否都存在重大风险，特别是从保护安全、保护消费者的角度出发，鉴于所涉及的风险，通常应将特定的人工智能应用视为高风险。更具体地说，在满足以下两个叠加标准的情况下，应将人工智能应用视为高风险：在某个部门中使用人工智能应用，考虑到通常进行的活动的特征，预计会发生重大风险。这第一项标准确保监管干预针对通常认为最有可能发生风险的领域。所涵盖的部门应在新的监管框架中明确列出。例如，医疗保健；交通运输；能源和部分公共部门50。该清单应根据实践中的相关动态进行定期审查和必要时的修订；第二，在相关行业中使用人工智能的方式可能会引起重大风

66、险。这第二项标准反映了这样的判断，也即并非在特定的部门中每次使用人工智能都必然会带来重大风险。例如，尽管医疗保健通常很可能是一个相关部门，但医院预约安排系统中的缺陷通常不会带来具有重大意义的风险，以证明立法干预是合理的。对特定用途的风险水平的评估可以基于对受影响方的影响，例如：对个人或公司的权利产生法律或类似重大影响的人工智能应用程序的使用；造成受伤、死亡或重大财产或非物质损失的风险；产生的效果是个人或法人无法合理避免的。两个叠加标准的应用将确保针对监管框架的范围提供法律确定性。原则上，新的人工智能监管框架（请参阅下文 D 章节）中包含的强制性要求仅适用于根据这两个叠加标准被确定为高风险的应用

67、情形。48 例如，对于向医师提供专业医疗信息的人工智能系统，直接向患者提供医疗信息的人工智能系统以及直接在患者身上自行执行医疗任务的人工智能系统，存在不同的安全考虑和法律含义。委员会正在研究医疗保健所面临的这些安全和责任挑战。49 欧盟法规对“风险”的分类可能与此处所描述的有所不同，具体取决于领域，例如产品安全性等。50 公共部门可以包括庇护、移民、边境管制和司法、社会保障和就业服务等领域。北京师范大学网络法治国际中心北京师范大学网络法治国际中心 尽管有上述规定，但在某些特殊情况下，由于存在风险，故此出于某些特定目而使用人工智能应用将被认为是高风险的，即无论相关行业如何，以下要求仍适用。51作

68、为说明，人们能够特别考虑以下几点：鉴于人工智能对个人和解决就业平等的欧盟要求的重要性，在招聘过程中以及在影响员工权利的情况下使用人工智能应用将始终被视为“高风险”，因此以下要求将始终适用。还可以考虑进一步影响消费者权利的其它特定应用。将人工智能应用程序用于远程生物特征识别52和其他侵入性监视技术始终被视为“高风险”，因此以下要求将始终适用。D.D.要求的类型要求的类型 在为人工智能设计未来的监管框架时，有必要确定对相关行为体适用的强制性法律要求的类型。这些要求可通过标准进一步予以规定。如上文 C 章节所述，除了现有的立法之外，这些要求只适用于高风险的人工智能应用，从而确保任何监管干预都是有针对

69、性并且相称的。考虑到高级别专家组的指导方针和上文所述内容，针对高风险人工智能应用的要求可包括以下关键特征，这些特征将在下面的小节中进一步详细讨论：训练数据；数据和记录保存；提供的信息;韧性和准确性；人为监督;特定人工智能应用的特殊要求，例如针对远程生物特征识别的要求。为了确保法律确定性，将进一步具体规定这些要求，为所有需要遵守这些要求的行为者提供一个明确的基准。51 必须强调的是，欧盟的其他立法也可能适用。例如，当并入消费品时，一般产品安全指令可适用于人工智能应用的安全性。52 远程生物识别应与生物识别区分开来（生物识别是一种安全过程，依赖于个人独特的生物特征来验证他/她是谁，他/她说他/她是

70、谁）。远程生物识别是指在一定距离、公共空间以连续或持续的方式，通过将多人的身份与数据库中存储的数据进行核对，借助生物识别（指纹、面部图像、虹膜、血管模式等）来建立多人的身份联结。北京师范大学网络法治国际中心北京师范大学网络法治国际中心 a)a)训练数据训练数据 促进、加强和捍卫欧盟的价值观和规则显得比以往任何时候都重要，特别是公民从欧盟法律中获得的权利。为此做出的这些努力无疑也扩展到了在欧盟市场上销售和使用的高风险人工智能应用。如前所述，如果没有数据，就不会有人工智能的存在。许多人工智能系统的功能以及它们可能产生的动作和决策在很大程度上都取决于由系统训练过的数据集。因此，应采取必要的措施，以确

71、保当涉及用于训练人工智能系统的数据时，应当尊重欧盟的价值观和规则，特别有关安全以及保护基本权利的现行立法规则。以下关于用于训练人工智能系统的数据的要求可以被纳入构想：旨在保证人工智能系统支持的产品或服务是安全的各项要求，其要求符合目前适用的欧盟安全规则（现有的以及可能的补充规则）。例如，要求确保人工智能系统接受足够广泛的数据训练，并且需要涵盖避免危险情况所需的所有相关场景。要求采取合理措施确保人工智能系统后续的使用不会产生歧视的结果。这些要求可能需要特定权限，以便那些具有足够代表性的数据可以被纳入使用，尤其应该确保性别、种族和其他禁止歧视的理由能适当地反映在这些数据当中；确保在使用人工智能产品

72、和服务期间，个人数据和隐私都应得到充分的保护。对于那些属于各自范围内的问题，一般数据保护条例和执法指令条例需要对其加以约束。b)b)记录和数据保存记录和数据保存 考虑到许多人工智能系统的复杂性、不透明性以及难以有效核实遵守和执行适用规则的困难情况，诸如“保存与算法设计有关的记录”、“保存用于训练高风险人工智能系统的数据”以及在某些情况下的“保存数据本身”等种种要求往往会产生。这些要求使得人工智能系统那些潜在的问题行动或决策可以被追溯和验证。这不仅有助于监督和执行，也可能会增加有关经营者在尊重这些规则的早期阶段考虑到这些因素的动机。因此，监管框架可以规定应遵守以下保存要求：用于训练和测试人工智能

73、系统的数据的准确记录，包括主要特征的描述以及选择数据的方法；在某些合理的情况下，数据本身；北京师范大学网络法治国际中心北京师范大学网络法治国际中心 有关建立、测试和验证人工智能系统的过程和技术的文档53，包括与安全性以及避免发生可能导致禁止性歧视偏见等方面的相关信息。这些记录、文件和相关的数据需要在有限的时间内留存，从而确保相关立法的有效执行。应采取措施以确保根据要求提供这些材料，尤其是主管当局进行测试或检查时。必要时，应做出安排以确保机密信息（例如商业秘密）受到保护。c)c)信息提供信息提供 除了 c）点以上所讨论的记录保存要求之外，还需要透明度。为了实现所追求的目标，特别是促进对人工智能的

74、负责任使用，建立信任并在需要时促进补救，事先提供有关高风险人工智能系统使用的充分信息是很重要的。因此，可以考虑以下要求：确保提供有关人工智能系统的功能和局限性的明确信息，尤其是系统的预期用途，其按预期运行的条件以及达到指定目的的预期水平。该信息对于系统的部署者非常重要，但也可能与主管部门和受影响的各方有关。另外，应在公民与人工智能系统而非人类进行互动时将情况清楚告知。尽管欧盟数据保护法规已经包含某些此类规则54，但仍需要更多要求才能实现上述目标。在此前提下，应该避免不必要的负担。因此，在一些情况下无需提供此类信息，例如在公民可以立即清楚地意识到他们正在与人工智能系统交互时。此外，提供的信息必须

75、客观、简明且易于理解是十分重要的。提供信息的方式应针对具体情境进行调整。d)d)韧性和准确性韧性和准确性 人工智能系统（当然还有高风险的人工智能应用）必须在技术上强大且准确才能可信。这意味着需要以负责任的方式开发此类系统，并事先充分考虑到它们可能产生的风险。必须确保人工智能系统的开发和运行是按预期且可靠的。应采取一切合理措施以最大程度减轻造成伤害的风险。因此，可以考虑以下要素：53 例如，有关算法的文档，包括模型应优化的对象、设计的权重以及开始时的某些参数等。54 特别是根据第 GDPR 第 13（2）（f）条规定，控制者必须在获取个人数据时向数据主体提供必要的进一步信息（以确保存在的自动决策

76、处理的公平、透明）以及其他补充信息。北京师范大学网络法治国际中心北京师范大学网络法治国际中心 要求确保人工智能系统在其生命周期的所有阶段均可靠并且准确，或者至少可以正确反映其准确性水平；要求确保结果是可重复的；要求确保人工智能系统可以在其生命周期的所有阶段妥善处理错误或不一致性。要求必须确保对于可见攻击和更隐蔽地操控数据或算法本身的企图，人工智能系统都要有较强的抵御能力，并且该种缓解措施已经在一些案例中得到运用。e)e)人为监督人为监督 人为监督帮助确保人工智能系统不会削弱人类自主权或造成其他有害的影响。一个值得信赖的、符合道德伦理的、以人为中心的人工智能，其客观性只能通过确保相关人员对于高风

77、险人工智能应用的适当参与来实现。即使在特定法律制度框架下，本白皮书中考虑的人工智能应用都被认为是高风险的，适当的人工监督类型和程度仍然可能因情况而异。这种变化应当主要基于系统特定的用途和对相关民众和法律实体的使用产生的效果与影响。此外在人工智能系统处理个人数据时，还应当尊重 GDPR 规定的各项合法权利。例如，人工监管可以包含但不局限于以下几种表现形式：除非经过人工复核和确认，否则人工智能系统的输出结果就不能生效（例如，拒绝社会保障福利的申请只可能由人工完成操作）；人工智能系统的输出结果立即生效，但在后续过程中人工干预要得到保障（例如，人工智能系统可能可以办理拒绝信用卡申请的业务，但在后续应当

78、可能进行人工复核）；在人工智能系统运作过程中实现监测，并具备实施干预和停止系统运作的能力（例如，在无人驾驶汽车行驶过程不安全时能够人为操作停止按钮或程序）；在设计阶段，对人工智能系统施加操作限制（例如，一台无人驾驶汽车应当在能见度较低、感应器没那么可靠的特定情况下停止运行，或是应当在任何特定情况下保持和前车的特定距离）。f)f)对远程生物识别的特定要求对远程生物识别的特定要求 北京师范大学网络法治国际中心北京师范大学网络法治国际中心 为远程身份识别55的目的对生物数据56进行的收集和使用，例如在公共场合部署面部识别应用，会对基本权利57带来特定的风险。使用人工智能系统的远程生物识别功能对基本人

79、权的影响可能因使用目的、环境和范围的不同而有很大差异。除特殊情况外58，欧盟数据保护条例原则上禁止为了识别特定自然人而进行的对生物识别数据的处理。具体来说，根据 GDPR，这种处理只能基于特定的限制情形而开展，其中主要是出于维护重大公共利益目的的情形。在这种情况下，处理活动必须根据欧盟或国家法律进行，须符合相应的比例要求，尊重数据保护权利的实质并且采取适当的保障措施。根据执法指令(Law Enforcement Directive)的规定，在原则上，此类处理必须出于严格的必要，得到欧盟或各国法律的授权，并配备适当的保障措施。由于任何以识别特定自然人为目的生物特征数据处理都将涉及到欧盟法律所规定

80、的禁令例外，所以它将需要受到欧盟基本权利宪章的约束。因此，根据现行的欧盟数据保护规则和基本权利宪章，只有在正当的、符合比例的，并受到充分保护的情况下，才可将人工智能系统用于远程生物识别。.为了解决公众对在公共场所使用人工智能这一社会问题的担忧，并避免内部市场分裂，欧盟委员会将展开一场全欧洲范围内的论辩，讨论可以依法使用人工智能的具体情况和相应的保障措施。E.E.归属归属 就上述高风险人工智能应用的法律要求的归属而言，有两个主要问题需要考虑。首先，有一个问题是如何在相关经营者之间进行分配。许多相关者都参与了人工智能系统的生命周期。这包括开发人员、部署人员(使用人工智能装备的产品或服务的人)和其

81、55 对人脸识别而言，身份证明意味着一个人面部图像的模板要和储存在数据库里的其他模板进行对比，以便知道他/她的数据是否储存在内。另一方面，身份验证（或查证）经常被认为是一对一配对。它能够进行两个生物模型的对比，结果通常属于同一个体。将两个生物模型进行对比，为了证实两幅图像上的人是否是一个人。例如，这个过程通常被运用于机场自动边境控制口的边境检查。56 生物数据被定义为“源自对一个自然人自然、生理或行为特征的具体技术处理的个人数据，并且能够识别或者确定自然人身份。例如面部图像或指纹数据”(Law Enforcement Directive,Art.3(13);GDPR,Art.4(14);Reg

82、ulation(EU)2018/1725,Art.3(18)。57 例如个体的尊严。与此相关的是，在运用人脸识别科技时尊重私人生活和保护个人数据的权利是基本权利所关注的核心。还对特殊群体的非歧视原则和权利有着潜在的影响，例如儿童、老人以及残疾人。再者，表达、交往和集会的自由不应当因为科技的使用而被削弱。参见:Facial recognition technology:fundamental rights considerations in the context of law enforcement,https:/fra.europa.eu/en/publication/2019/facial

83、-recognit。58 GDPR 第 9 条，执法指令第 10 条。另见（EU）2018/1725 条例（仅适用于欧盟机构）第 10 条。北京师范大学网络法治国际中心北京师范大学网络法治国际中心 他潜在的人员(生产者、分销商或进口商、服务提供者、专业用户或私人用户)。欧盟委员会认为，在未来的监管框架中，每一项义务都应由最能应对任何潜在风险的行动者承担。例如，虽然人工智能的开发人员可能最适合处理开发阶段产生的风险，但他们在使用阶段控制风险的能力可能比较有限。在这种情况下，部署人员应当承担相应的义务。当然，这并不影响这样一个问题，即为了对最终用户或其他利益受损方负责并确保有效地获得公正司法，任何

84、一方都应对其所造成的所有损害负责。根据欧盟产品责任法，有缺陷产品的责任归生产者承担，当然这不影响在国家法律的效力下，也允许向其他方追偿。第二，立法干预的地理范围问题。欧盟委员会认为，最重要的是，这些规定必须适用于所有在欧盟提供人工智能支持的产品或服务的相关经营者，无论他们是否建立在欧盟境内。否则，前面提到的立法干预的目标就无法得到充分实现。F F合规与执法合规与执法 为了确保人工智能是值得信任的和安全的，并且符合欧洲的价值观和规则，在实践中必须遵守可适用的法律规定，并由主管国家和欧洲当局以及受影响的各方有效执行。主管当局不仅能调查个别案件，也应能够评估对社会的影响。鉴于某些人工智能应用对公民和

85、社会带来的高风险(见上文 A 章节)，委员会认为在这个阶段，客观评估其合规性之前需要验证并确保上述某些强制要求适用于高风险应用(见上文 D 章节）。先前的合格评定可以包括测试、检验或认证程序。59它可以包括检查算法和开发阶段使用的数据。高风险人工智能应用的合规性评估应该是符合性评估机制的组成部分，该机制已经适用于存在于欧盟内部的大量产品。如果出现不能依赖现有机制的场景，可能需要建立类似的机制，利用好利益相关者和欧洲标准化组织的最佳实践和相关积累。任何这种新机制都应是符合比例的和非歧视性的，并根据国际义务运用透明和客观的标准。当设计和实施依赖于先前的符合性评估机制的系统时，应特别注意以下因素：并

86、非所有上述要求都适合通过先前的符合性评估机制进行验证。例如，关于给予告 59 考虑到人工智能的特殊性，该系统将基于欧盟的符合性评估程序，见第 768/2008/EC 号决定或欧盟2019/881 号条例(网络安全法案)。参见 2014 年关于欧盟产品规则的蓝色实施指南。北京师范大学网络法治国际中心北京师范大学网络法治国际中心 知的要求一般不适于通过这种评估进行核实。应该特别考虑到某些人工智能系统演变和从经验中学习的可能性，这可能需要在有关人工智能系统的整个生命周期中反复进行评估。需要验证用于训练的数据，以及用于构建、测试和验证人工智能系统的相关编程和培训方法、流程和技术。如果符合性评估显示,一

87、个人工智能系统不符合有关的要求（例如相对于用于训练它的数据）,则需要纠正所发现的缺陷,比如在欧盟重新训练系统等方式以确保满足所有适用的要求。符合规定的所有相关经营者，无论其公司的地点如何，都必须进行符合性评估。60为了减轻中小企业的负担，可以设想一些支持结构，包括通过数字创新中心的支持。此外，标准和专用的在线工具可以助益合规实践。任何事先的符合性评估都不应妨碍国家主管当局对符合性的合规监测和后续执法工作。这既适用于高危险性的人工智能应用，也适用于符合特定法律规定的其他人工智能应用，尽管可能因为前者的高风险性国家主管部门会给予更高的关注度。后续执法管控措施应当得到充分的、关于人工智能应用的相关材

88、料(见上文 E 章节)的相应支撑，并在适当情况下由第三方，例如主管当局，对此类应用进行测试。根据具体场景，在基本权利面临风险的情况下，这一点可能尤其重要。这种对合规性的监测应成为持续市场监测计划的一部分。下文 H 章节将进一步讨论与治理有关的问题。此外，对于高风险的人工智能应用和其他人工智能应用，应确保对受到人工智能系统负面影响的当事人给予有效的司法补救措施。与责任相关的问题将在本白皮书附带的安全与责任框架报告中进一步讨论。G.G.非高风险人工智能应用的自愿标签非高风险人工智能应用的自愿标签 对于不符合“高风险”的人工智能应用(见上文 C 章节)，以及因此不受上述强制性规定(见上文 D、E 及

89、 F 章节)约束的人工智能应用，除了适用的立法外，还可选择设立自愿标签机制。根据该机制，不受强制性规定约束的、感兴趣的经营者，可在自愿的基础上决定是否成为那些强制规定的约束对象，或成为特别为自愿机制而订立的一组类似规定的约束对 60 包括指定进行符合性评估的机构在内的相关治理结构，见下文 H 章节。北京师范大学网络法治国际中心北京师范大学网络法治国际中心 象。自愿接受这些规定约束的有关经营者的人工智能应用将获颁质量标签。这些质量标签将有利于有关的经营者证明其人工智能产品和服务是值得信赖的。它将使用户容易地辨别有产品服务是否符合欧盟层面的某些客观的、标准化的要求（它往往超出了一般的法律要求）。这

90、将有助于增强用户对人工智能系统的信任，并促进该技术的全面应用。这一选择将推动产生一项新的法律工具，为不被视为高危的人工智能系统的开发人员以及部署人员设定自愿的标签机制。虽然参与标签机制是自愿的，但一旦开发人员或部署人员选择使用标签，这些规定就具有约束力。需要通过事前部署和事后安排确保所有要求都能够得到切实的遵守。H.H.治理治理 为了避免责任的碎片化，提高成员国的治理能力，确保欧洲逐步具备测试和认证人工智能支持的产品和服务所需的能力，建立基于国家主管当局合作框架的人工智能欧洲治理框架是有必要的。实现上述这点，将有助于国家管理部门确保在人工智能应用领域的管理部门能够履行自己的责任。一个欧洲治理框

91、架可以有多项使命，例如作为一个定期交流信息和最佳实践、识别新兴趋势、就标准化活动和认证工作提供建议的平台。它还可以通过发布指南、意见和专门知识等方式，在促进法律框架的实施方面发挥关键作用。为此，它应该依靠国家当局网络以及国家和欧盟层面的行业网络和监管当局。此外，一个专家委员会可以向委员会提供支持。治理框架应该保证利益相关者最大程度的参与。在实施和进一步发展该架构时，应咨询消费者组织、社会伙伴、业界、研究人员和民间社会组织等相关人士的意见。鉴于金融、制药、航空、医疗器械、消费者保护、数据保护等现行情況，拟议的治理框架不应重复现有职能。相反，它应该与欧盟其他部门和各国主管部门建立密切联系，以补充现

92、有的专业知识，并帮助现有部门监测和监督涉及人工智能系统和人工智能支持的产品和服务的相关经营者的活动。最后，如果采用这种方法，可以将合格性评估的执行授权给成员国指定的相关机构。测试中心应根据上述要求对人工智能系统进行独立审计和评估。独立评估将增加信任并确保客观性。它也可以便利有关主管当局的工作。欧盟拥有优秀的检测和评估中心，也应该发展其在人工智能领域的能力。在第三国设 北京师范大学网络法治国际中心北京师范大学网络法治国际中心 立的、希望进入国内市场的相关经营者可以利用在欧盟设立的指定机构，或者在与第三国达成相互承认协议的情况下，可以求助于进行这种评估的指定第三国机构。有关人工智能的治理框架和可能

93、的一致性评估问题，不影响相关主管机关根据现行欧盟法律在特定部门或具体问题(金融、医药、航空、医疗器械、消费者保护、数据保护等)领域的权力和责任。6.6.结论结论 人工智能是一项战略性技术，只要它以人为本、合乎伦理、可持续发展要求，并且尊重基本权利和价值观，就能为公民、企业和整个社会带来诸多好处。人工智能显著提高了效率和生产率，可以增强欧洲工业的竞争力，改善公民的福祉。它还有助于找到一些最紧迫的社会挑战的解决办法，包括与气候变化和环境恶化作斗争，应对与可持续性和人口变化有关的挑战，以及保护我们的民主，并在必要时合适地与犯罪开展斗争。欧洲要充分抓住人工智能带来的机遇，就必须发展和加强必要的工业和技

94、术能力。正如欧洲数据战略(European strategy for data)所述，这还需要采取措施，使欧盟能够成为全球数据中心。欧洲的人工智能方案旨在促进欧洲在人工智能领域的创新能力，同时支持在整个欧盟经济中发展和采用道德和可信的人工智能。人工智能应该为人民服务，成为社会公益的力量。凭借这份白皮书和与之相关的关于安全与责任框架的报告，委员会开始了成员国、民间社会、产业界和学术界的广泛磋商，就欧洲人工智能方案的具体建议展开讨论。这些措施包括促进研究和创新投资的政策手段、加强技能开发和支持中小企业采用人工智能，以及对未来监管框架关键要素的建议。这次磋商允许与所有利益相关方进行全面对话，这将为委员会今后的步骤提供信息。北京师范大学网络法治国际中心北京师范大学网络法治国际中心 欧盟委员会欢迎各界人士透过公开咨询，就白皮书所载的建议提出意见，网址为https:/ec.europa.eu/info/consultations_enhttps:/ec.europa.eu/info/consultations_en。公众可于 2020 年 5 月 19 日前提出意见。针对公众咨询，委员会一般会公布所收到的意见书。但是，可以要求提交的文件或其部分内容保密。如果是这种情况，请在你提交的材料的上海品茶清楚地说明不应公开，并将你提交的材料的非机密版本送交委员会作公开。