1、人工智能与风险管理报告 创新与信心偕行 目录 1. 概要 01 2. AI的简要概述 03 3. 当金融服务企业大规模采用AI技术时可能会遇到的挑战 04 4. 在风险管理体系中嵌入AI 07 5. 监管者所看重的具体是什么呢？ 18 6. 监管AI中的一些反思 22 7. 结语 24 后记： 中国AI风险管理和监管现状 25 译者 26 作者 26 1. 概要 说起人工智能（AI），虽然它并不是一个 全新的概念，但在近些年金融服务企业 开始逐渐意识到它的巨大潜力。 AI可以提高运营效率、降低成本，同时还 有助于企业实现战略转型，更多、更好 地融入用户参与。然而，一些客观限 制条件，都在或多或

2、少地阻碍着金融服 务企业大范围的推广使用AI技术，包括数 据量和数据质量上的局限、对于AI潜在风 险的认知不足以及公司文化和现行规章 制度的限制。 欧盟以及其他国际组织同样对于AI技术 有着极大的兴趣。尽管他们认识到AI可 以为金融市场、客户以及他们的内部工 作带来诸多益处，但也认识到那些受监 管公司当采用AI时可能会产生的潜在风 险以及意料之外的后果。 近些年来，值得注意的是，金融服务业 因对客户和市场的失当行为，从而受到 众多经济上及其他形式上的制裁。由此 产生的对于公平对待客户和保证市场诚 信问题，以及AI技术在监管领域中未经 测试与未经检验的特性的关注，都意味 着金融服务企业对于采用A

3、I解决方案应 该时刻保持谨慎。 “有效的风险管理已经不再 是抑制创新的因素， 而是公司 成功使用AI技术的关键。 ” 为了能解决这些困难，从而实现充分利 用AI技术的优势，并且避免未来可能出现 的问题，董事会和高级管理人员必须充 分理解这项技术，包括它在企业中现有 或潜在的用途，并从风险的角度出发来 仔细考虑AI的影响。在这种环境下，有 效的风险管理已经不再是抑制创新的因 素，而是公司成功使用AI技术的关键。 “我们认为企业面临的重大 挑战不是在处理全新类型的 风险， 而更多应该是关注那 些难以用有效且及时的方式 去分辨的风险， 或它们已经 以不同以往的出现方式而显 现的风险。 ” 关于刚刚提

4、到的后一点，这将是本文之 后所讨论的重点。我们认为企业面临的 重大挑战不是在处理全新类型的风险， 而更多应该是关注那些难以用有效且及 时的方式去分辨的风险，或它们已经以 不同以往的出现方式而显现的风险。在 这篇文章中，我们将讨论企业应该如何 重新审核并调整现有的风险管理框架， 以反映在当部署复杂AI应用时企业需要 关注的一些重要差异。 1 人工智能与风险管理报告 | 创新与信心偕行 比如说，AI可以不断的从新数据中学 习，并通过建立复杂统计模型，而后得 出结论。但这种结果并不是基于那些明 确且预先定义好的规则，这就让企业难 以理解这其中支撑最终结论的决策机 制。在许多方面上，这种挑战与面对管

5、理人力资源时所面临的挑战非常相似。 然而，不断发展的AI技术使其可审计性 以及可溯源性变得异常困难，并且这种 技术发展的速度可能会导致在极短的时 间内产生大规模的错误。 企业需要重新审核并且更新他们的风险 管理方式，从而在不同的风险管理框架 全生命周期（识别，评估，管控，监 督）阶段中管理风险。不断发展的AI技 术要求这些风险管理方式必须在更短更 频繁的时间间隔内得以应用。现有的风 险偏好声明也同样需要重新审核，并且 需要添加一系列新的内容，比如说公平 性原则等，以便为风险管理框架的各个 阶段提供信息支持。 “不断发展的AI技术使其可 审计性以及可溯源性变得异 常困难， 并且这种技术发展的 速

6、度可能会导致在极短的时 间内产生大规模的错误。 ” 在本篇文章中，我们将会用简单的理论 性的风险管理框架来描绘出一些AI所带 来的挑战。例如，一个保险公司如何在 产品定价过程中，使用AI来做到风险模 型管理。最后，我们将总结当监管者监 管AI时会遇到的挑战与选择。 本篇文章旨在成为一个理解AI对于现有 风险管理方式和更为广泛的监管环境的 影响的起步点。通过强调这些需要关注 的领域，我们希望帮助企业能够在制定 AI政策时，或者更具体来讲，在制定AI 风险管理框架的时候，为它们提供更加 高效的解决方案和监管机制。 2 人工智能与风险管理报告 | 创新与信心偕行 2. AI的简要概述 人工智能的概念

7、最早可以追溯到20世纪 50年代，那时候的研究人员开始考虑使 用机器模拟人类智能的可能性。然而，AI 技术却是在20世纪后期才得以真正蓬勃 发展。当时有几个技术因素发展达到顶 峰：强大且价格低廉的计算资源、数据 总量和种类的增加、访问数据速度的提 高以及能够凭借最新且先进的算法来以 更加“智能”的方式分析数据。 对于AI技术其实并没有一个单一解释， 但从广义的层面来讲，AI是一种计算机 系统的理论与发展方式，它能够执行通 常需要人类智能才能操作的任务。这一 类的任务包括有视觉感知，语音识别， 以及在不确定性下的决策和学习。 关于缺乏对于AI定义的共识的原因，可 能是因为AI并不是技术，而是集合

8、了模 仿人类行为的各种技术这一事实。其 中，一些与金融服务企业有关并且将会 在本文中提到的关键技术有： 提高金融服务企业的客户体验 “行为情感分析工具（BEAT）”是的语音分析平台，它使用了深度学 习技术和各种机器学习算法来监测并分析语音交互。这其中有三个最核心 的功能： 1. 监测客户语音交互 2. 通过自然语言处理 （NLP） 来识别高风险交互 3. 将语音交互映射到潜在的负面结果上 （比如投诉或操作行为上的问题） ， 并且提 供出现这种问题的可能原因。 BEAT会去分析顾客所说的词语和他们所用的语气，然后使用机器学习技术来不 间断的开发并且加强这些分析语音交互的分析能力。而且当可学习的素

9、材越多 的时候，最终的风险评估准确度就越高。BEAT的使用，相较于传统解决方案， 可以让企业从评估准确率的角度看到显著的提升。 BEAT已经发展到可以分析超过30种不同语言以及30种不同的行为表征。它可以 为特定的风险要求和用户需求来进行定制服务。 机器学习 Machine Learning 只需直接提供数据而无须遵循明确的程 序指令，提高了计算机系统运行的性 能。机器学习的核心就是自动发现数据 中隐藏的模式并使用它们来进行预测的 这样一个过程。 深度学习 Deep Learning 深度学习算法是一系列的机器学习算 法。由于它们在与语音和计算机视觉相 关的任务中表现的十分有效而变得越来 越受

10、欢迎。但这是一种很复杂的技术， 大家难以准确地解释每个输入在最后是 如何驱动模型结果的，所以通常导致它 们被定性为“黑匣子”。 语音识别和自然语言处理 Speech Recognition and Natural Language Processing 拥有能够以人类的方式来理解并自动生 成出人类语言的能力。比如说从文本中 提取语义信息，或者生成出语义自然、 语法正确的可读文本。 视觉识别 Visual Recognition 拥有能够识别图像中的对象，场景和活 动的能力。计算机视觉技术使用成像处 理中操作和技术的序列来将分析图像的 任务拆解成许多可管理的部分。 3 人工智能与风险管理报告 |

11、 创新与信心偕行 3. 当金融服务企业大规模采用AI技术时可能会遇到 的挑战 自从2008年的金融海啸之后， 金融服务企业一直致力于提高自身成本效益， 并在利润 压力下保持竞争力。 为实现这一目标， 他们所关注的其中一个领域就是技术， 并在过去 几年中开始更多地去使用AI技术。 然而， 采用AI技术的方式并不是唯一的， 有很多原因 导致出现了这种情况。 关于AI应该应用于何处的不同观点 最近对与欧洲财务管理协会 （EFMA） 合作的3,000多名企业高管调查后显示， AI 能对其公司产生最大影响的活动和功能因行业而异。 图1： 您认为您公司所开发的人工智能技术在哪一部分的价值链上产生了最大的影

12、响？ 银行 保险 顾客服务65%后台与日常运营78% 后台与日常运营52%风险管理56% 财务顾问42%欺诈检测56% 欺诈检测31%顾客服务44% 风险管理29%合规22% 总的来说， 从这份调查我们可以看到， 在金融服务企业中采用AI技术还仍处于起步阶段。 在接受调查的公司中， 有40%的企业还仍在学习如何在他们的公司中部署AI， 11%的企业 还没有开展任何这方面的活动。 只有32%的企业已经开始参与开发AI解决方案。 4 人工智能与风险管理报告 | 创新与信心偕行 数据数量与质量 AI与传统技术解决方案的一个最重要的 区别是， 后者常常在那些需要用预先设定 清楚的规则框架完成任务。 然

13、而， AI应用 可以自行分析数据来进行模式识别， 并以 此为基础来制定决策。 此外， AI还可根据 给出的数据进行一次性或不间断性的学习 来完善决策制定机制。 这意味着每一条AI系统所给出的建议都 对于所处理的数据的数量和质量十分依 赖。 总的来说， AI解决方案所遇到的最棘 手的困难就是缺少大量高质量数据。 对于 金融服务企业， 因为受到普遍使用的传统 系统和组织架构的限制， 阻碍了数据之间 的无缝流动， 并在某种程度上影响了数据 质量， 导致问题愈发加剧。 透明性， 可审计性与合规性 一些AI解决方案拥有许多有关决策制定 的隐藏层， 都影响着最后生成的结果。 在 一些复杂AI应用案例中，

14、就比如那些使用 了深度学习技术的AI应用， 可能在： 维护 系统， 论证其中需要理解的部分， 并且对 于那些以AI为基础生成的决策拥有控制 权等方面上阻碍了金融服务企业的使用。 具体来讲， 应判断其决策是否包含有适用 性、 公允性， 是否与公司价值观和风险偏 好相符合等。 “那些不断学习， 不断进化， 并且拥有许多有关决策制定 的隐藏层的AI解决方案会使 可审计性和可溯源性变得异 常困难” 这与公司在面临人力资源上的挑战无异。 然而， 可以说， 那些不断学习， 不断进化， 并且拥有许多有关决策制定的隐藏层的 AI解决方案会使可审计性和可溯源性变 得更加困难。 此外， AI自我学习及进化的 速度

15、可能还会导致在极短的时间内产生 大规模的错误。 一些AI解决方案的不透明性还会与现有的 法律法规产生冲突， 就比如说欧盟的 “通 用数据保护法案” （GDPR） ， 它规定了在 特定情形下企业需要能够向客户解释他 们的个人数据是如何被使用的， 并且能够 给出那些假设性结论的合理解释， 和那些 会对顾客会产生重大影响且完全自动生 成的结论的内部机制。 5 人工智能与风险管理报告 | 创新与信心偕行 理解AI及其隐藏含义 AI是一个既复杂但又快速发展的领域， 在 一些非专业人士的眼中， 它被认为是一项 难以控制的技术。 此外， AI的使用会加剧 企业的现有风险， 改变风险出现的方式， 甚至会为公司

16、带来新的风险。 金融服务企业属于严格管控产业， 这其中 包含了复杂多样的经营范围和产品， 并且 当公司处理业务时必须使用严格的审查 原则。 可以说历史上对于金融服务企业因 违规而产生的行政处罚， 造成了这些企业 在采用相对不了解的技术以用于受监管 的业务时非常保守， 这也就为创新增加了 另一重阻碍。 因为对于这项技术和其所带来的风险， 相 对而言， 不熟悉也不了解， 这就造成了过 度谨慎的现象。 那些重要的利益相关方， 比如风险部门、 合规部门， 以及各业务部 门主管， 董事会成员和公司高层， 除非他 们对于这项技术充分了解， 否则就可能会 在批准使用AI上迟疑， 并且对企业内受监 管业务AI

17、技术的使用保留解释权。 要理 解这项技术， 就要不止了解它会带来的风 险， 同时也要知道这些风险可以如何降 低， 管理并监控。 如何让利益相关方有一个对于AI独立且整 体的认知是对公司而言非常困难的。 可以使 用一些实际的用户案例， 使利益相关方知道 相关的客户经历可以帮助了解AI能提供的 潜在益处， 同时也可以认识到哪些方面会出 错， 以及如何有效的规避或管理风险。 对于人才的影响 对于采用AI的公司， 尤其是那些大规模的企业， 必须充分了解这种转变对 其上海品茶和人才战略的影响， 并采取必要措施来应对任何不利影响。 企业很可能需要额外的良好技术资源来帮助设计、 测试和管理AI应用程序。 目

18、前这 方面人才的稀缺， 以及众多金融服务企业在创新上所面临的困境都使得AI的应用 充满挑战性。 因此金融服务企业需要升级它们的招聘方式和渠道， 技术人员需要选 择有利于职业发展的职业道路， 同时需要在发展过程中制定继续留任、 融合新技 能或者是改变职业路径的战略。 AI对现有企业员工工作模式影响可能更为深远。 随着AI的技术发展和应用的深入， 一些原有人工处理的任务可以借助模式识别等技术自动化地完成， 因此相关的劳 动力总需求将不断减少。 同时， 就业方式也会有重大变化， 例如减少人员配备需求， 或将现有员工重新分配到不同的工作中 （这其中可能会存在有相关工作的再培训的 问题） 。 这些改变都

19、可能会影响员工的工作动力， 如果不及时解决， 可能会导致不 必要的员工流失。 如果AI应用程序实施失败或必须在短时间内关停， 但这时已经发生的那些过度人 员流失， 可能会使公司无法保留住那些必备的技术能力和那些能够人工执行流程的 技术人员， 甚至对公司未来业务发展产生较大影响。 6 人工智能与风险管理报告 | 创新与信心偕行 4. 在风险管理体系中嵌入AI AI的应用和一般的创新过程一样，都要 求企业要经历一次不断学习的过程。然 而，这样的过程并不是要规避所有与AI 相关的风险，而是要去开发工作流程和 处理工具，从而让企业相信这些风险， 可以在整体的公司的风险观和偏好框架 所规定的范围内有效地

20、被识别和管理。 因此，尽管存在着一些常见的误解，但 一个行之有效的风险管理体系在企业的 创新能力发展中起着关键性作用。 AI应用程序的固有风险性质 我们认为，管理AI所产生的挑战并不在 于处理这种全新的风险类型，而是要 考虑到当我们把AI解决方案的复杂性和 发展速度纳入考量，或者当以我们不熟 悉的方式出现情况时，我们就难以采用 有效和及时的方式来识别这些风险。因 此，企业不需要全新的流程来处理AI， 但他们需要改进现有流程，把AI因素纳 入考量，并填补一些必要的管理空白。 同时还需要去解决对所需资源水平以及 岗位角色和责任可能造成的影响。 “企业不需要全新的流程来 处理AI， 但他们需要改进现

21、有 流程， 把AI因素纳入评估， 并 填补一些必要的管理空白。 ” AI风险管理框架提供了一种识别并 管理AI相关风险和管控的机制。在下一 页和以下各节中提供的表格中，我们从 涵盖了60多个AI风险的总表中列出了一 些关键性的评估因素。这些评估因素都 会用一般术语来表达，但实际上，风险 等级和那些必要控制因素在不同案例下 不同的组织下会出现很大差异。 科学的思维方式 采用和推进人工智能需要一个组织和在其中工作的人接纳更科学的思维 方式。这意味着需要能够接受最终产品的试错过程意，接受风险和一 些最终结果证明是失败的测试工作，并通过引入外部冲击或数据来观察结果， 以不断测试产品的可行性。从本质上讲

22、，它意味着在整个组织中创建一个“沙 箱”（代表在商业情况下的受控隔离环境）。这种心理上的转变不仅仅适用于 业务负责人或部门，而且与组织中的所有领域都相关，包括董事会和其他职能 部门，如风险部、合规部、人力资源部和IT部门等。 这其中，需要所有三道防线（业务线，风险/合规和内部审计）都参与进来的这 一点尤为重要。作为合规和监控的守护者，充分参与沙箱可以使他们能够了解一 些关键的技术信息，并从一开始就帮助形成适合的AI的风险管理政策。 7 人工智能与风险管理报告 | 创新与信心偕行 企业风险 类别 子类别示例AI解决方案独特的关键风险因素示例 模型算法风险偏 差性 因为依赖于不断发展的数据集来驱动

23、AI产生决策， 这使得识别模型中的固有偏差变得更加困难。 输入数据中的固有偏差可能导致运行效率低下或不公允的结果出现。 数据科学家缺乏对于偏见性的考虑， 使得偏差风险从一开始就注定无法得到充分解决。 算法风险不 准确性 算法类型选择不正确、 数据质量不佳或算法参数选用不合理。 算法风险反馈 未检测到不当反馈的风险增加 （尤其在那些允许持续反馈和学习的AI解决方案中） ， 这可能会影响解决方案产生准 确结果的能力。 算法风险滥 用性 商业用户可能缺乏对复杂AI模型的充分理解， 或错误地解释AI输出结果从而导致出现错误结果的可能性增加。 技术信息与网络 安全 当开发者不再支持、 更新或免费提供开源

24、组件 （软件包， 编程语言， API等） ， 企业对其组件的依赖性可能会引入安全 漏洞。 复杂算法使得人们更难理解AI解决方案是如何做出的决策， 从而这可能会受到人类或其他机器的恶意操纵。 管理层更迭 难以识别那些为AI解决方案提供信息的上游系统发生变化的影响， 这可能会导致在AI与其外部环境交互时产生无法 预料的后果。 IT运营 在某些情况下， AI应用程序对大数据的显著依赖性增加了现有IT基础架构所带来的风险， 因为后者可能与AI应用不 兼容 （例如， 现有系统无法处理大数据） 。 合规数据保护 由于AI解决方案的不断进步和不透明的特质， 这可能会与数据保护法案 （例如GDPR） 相关的合

25、规风险增加， 其中包 括， 在自动决策生成领域中的数据主体权利。 合规性 管理层很难理解并向监管机构证明复杂的AI应用程序是如何做出这项决策的， 例如那些采用神经网络的应用程序， 其中包含了许多类似黑匣子的隐藏决策层。 行为文化 由于考虑到实际或可能来自的监管方面和道德方面的问题， 大规模的采用AI技术可能会出现文化挑战。 担心组织内职位变化从而产生负面影响。 产品创新 已开发的产品不能满足客户需求的风险 （即为了使用AI而使用AI） ， 以及可能的大规模不当销售而产生的风险。 人才岗位与职责 在AI全生命周期中， 可能无法明确定义职位， 职责和责任， 同时， 利益相关者 （合规部， 业务部门

26、， IT部及编程人员 等） 缺乏持续参与和监控可能会增加出错的风险。 招聘与技术 缺乏对正在采用的AI解决方案的理解、 使用的经验或适当的监控技能都会增加风险。 由于组织内缺乏对于精通AI的人力资源的整合而产生的新风险。 过度依赖少数具备AI知识的人才和专家。 市场 对于少量的大型第三方AI供应商的过度依赖， 会增加过度集中风险， 并且， 如果当其中一个实体破产或遭受重大运营 损失的时候， 可能会产生连锁反应。 如果算法对某些变量 （例如股票市场价格） 过于敏感， 则由于羊群效应而导致的系统性风险增加 （即众多组织与其他 市场参与者行为相同） 。 供应方 黑箱算法的使用可能导致供应商， 运营商

27、和AI用户在发生问题时责任分配不明确。 同时， 黑箱算法会增加第三方AI供应商失败的风险， 特别是在那些较小的新公司可能没有足够的管理措施和内部控 制的经验下。 8 人工智能与风险管理报告 | 创新与信心偕行 风险偏好 公司的风险偏好是公司在任何时候为实 现其目标而准备接受的风险量。为了建 立有效的风险管理流程和控制系统，任 何采用AI的策略都需要从一开始就与整 体风险偏好保持一致。 同样，我们也需要重新审视公司的风 险偏好，并纳入AI的特定考虑因素。尽 管AI的引入不会改变公司整体的风险偏 好，但是会影响判别风险的因素，以及 会影响衡量和管理风险的工具。 AI解决方案本身就可以增加或减少某些

28、特 定类型的风险（例如模型风险），并改 变公司当前和未来的风险概况。这就意 味着需要在每种风险类型的层面都需要 重新考量风险偏好。这其中不仅包含目 标风险级别，还有那些能有效支持、管 理和监控该风险的政策和管理信息。 当公司需要评估AI使用对其风险偏好的 影响时，他们首先应制定一套清晰一致 的评估标准。例如：“这个AI解决方案 是否将面向外部？”，回答这个问题有 助于确定AI使用案例中可能会涉及到的 风险类型。制定这一套标准问题可以帮 助企业了解，无论是单从AI使用的层面 还是从整体而言，哪些风险领域需要或 多或少的关注。 风险管理框架 （RMF） 的全生命周期 尽管具体细节和所用术语可能因公

29、司而 异， 但从概念上讲， 风险管理框架全生命 周期包含四个关键阶段： 1. 识别 通过确定哪些风险可能对公司的业务 战略或运营会产生重大不利影响， 来 了解风险环境。 此阶段还涉及监控内 外部运营和监管环境， 从而确定固有 风险格局的变化， 并确保框架持续适 用于所需的目的。 2. 分析 定义并建立算法风险评估流程， 以评 估风险暴露程度。 3. 管控 搭建算法风险管控框架， 通过控制降 低固有风险， 使其与风险偏好水平保 持一致。 4. 监控与报告 设计一个可以评估管控效果的有效方 法， 其中包括测量其有效性， 容差阈值 和控制检测等相关指标。 向相关管理层报告剩余风险概况， 控 制环境和

30、补救计划的状态。 在下面的章节中，我们将会为风险管理 框架的每个阶段提出一些关键的AI考虑 因素，并通过实例来说明公司应该如何 管理因使用AI解决方案。 识别 分析 管控 监控与报告 1 2 3 4 9 人工智能与风险管理报告 | 创新与信心偕行 1. 识别 金融服务企业中AI的复杂性和 相对不成熟性意味着某些风险 表现出来的方式及其程度可能 会随着时间的推移而发展， 在某些情况下 可能还会非常迅速。 从行为和稳定度的角 度来看， 这可能对公司产生重大影响 （例 如大规模的不当销售） 。 因此， 企业需要定期进行重新评估， 以确 定AI应用的风险情况自引入以来是否已经 发生变化， 因为该模型已

31、经学习了新数据 并已经进化。 同样， 作为概念证明或仅供内部使用而开 发的AI解决方案， 如果其使用范围扩大， 则也需要重新评估。 例如， 如果公司计划 扩展最初开发的AI解决方案的适用范围从 而为外部客户提供建议， 但此方案最开始 时所设计的唯一目的仅为提供内部建议 时， 则需要了解这些新客户在使用过程中 可能产生的风险。 “金融服务企业中AI的复杂 性和相对不成熟性意味着某 些风险表现出来的方式及其 程度可能会随着时间的推移 而发展， 在某些情况下可能 还会非常迅速。 ” 值得注意的是，AI所对应的自身定义及 其风险也将发生变化。例如，随着时间 的推移，移动电话的定义及其功能的扩 展，使得

32、与移动电话有关的风险也发生 了巨大变化。 企业需要确定如何将AI风险考虑因素整 合到现有的风险管理框架中，以及需要 其改变的程度。这其中的考虑包括了监 管与伦理方面的影响，例如算法偏差， 以及AI模型在不建立因果关系的情况下 从数据集推断的能力。我们在之后实例 中说明了这一点。 但是，一般而言，对于复杂和不断发展 的AI应用，企业需要审查其自身的管理方 法论，采用一个全面且可持续的方法来 定义并识别风险。当识别AI风险时，其中 应包括与AI应用有关的特定风险（例如风 险分析应用程序）以及因在整个公司内 广泛采用AI而引入的风险（例如对员工关 系和上海品茶的影响。 为了识别AI解决方案产生的风险

33、，同样重 要的是要考虑那些，更加广泛意义上的 公司层面的影响，及其在短期与长期层 面上对公司的人力资本而产生的影响。 识别 分析 管控 监控与报告 1 2 3 4 10 人工智能与风险管理报告 | 创新与信心偕行 1. 识别实例 如上所述， 风险分析AI模型产生的主要风险之一是算法偏差和AI模型在不建立因果关系的情况下从数据集推断的能力。 例如， AI财产保险定价模型可能会使用各种非结构化数据来评估财产。 这些数据可能根据那些仅发生一次的本地事件 （例如 狂欢节或示威游行） 从而将其捕捉到该区域的风险概况中。 然而这就带来了许多风险， 其中最主要的风险来源于不确定性较 强的一些特征， 例如，

34、那些用于定价的决策驱动因子。 次要风险是， 在该地理位置发生的任何一次性事件都有可能会被定性 为该位置的永久型风险。 此外， 相同的数据可能会在未来用于不同的AI模型中， 并且在无意中会告诉我们其他人的风险状况。 例如， 不同的AI模型可能 使用相同的评估数据用于评估风险状况， 通过标记上述事件中的参与者或旁观者的照片并用他们的社交媒体所呈现的内容 来对他们进行评估， 从而为他们设计个人汽车或假日保险的产品， 而无需他们的授权。 在这个例子中所产生的风险是多种多样的， 包括数据保护， 客户授权和错误定价， 更不用说道德考量了 。 尽管偏差性、 模型、 声誉和监管风险都不是新型企业风险， 但在A

35、I使用案例中， 它们可能以全新的或不熟悉的方式表现出来， 使它们更加难以被 识别。 译者注： 又例如， 在债券风险评估、 银行信贷检查中， 对于发债企业、 贷款客户信用风险的分析不仅基于企业的基本面信息 （如财务状 况） ， 企业的舆情信息也是AI模型分析的重点。 而舆情分析涉及到金融文本这一类非结构化数据， 其来源为众多新闻网站。 随 着有价值的新闻网站被不断发掘， 舆情监控范围也在随之扩大， AI模型在最初训练时的数据源和后续的数据来源将有所不 同。 而数据源的变化将很可能导致数据特征的迁移， 例如不同新闻网站的编辑具有不同写作风格和词语表达， 最终可能导致 最初的模型逐渐失效。 一个比较

36、好做法是对AI模型根据每天或一个时间窗口内的新增数据， 进行模型全量或增量优化训练， 确保AI模型适用于最新的数据源。 部分新闻网站对于通过网络爬虫的方式获取其舆情信息， 可能会存在限制的情况。 严格遵守各网站的机器人协议进行数据爬 取， 或进行数据方面的合作才是正确的做法， 否则若处理不当可能会引发声誉和法律风险。 在这个例子中所产生的风险是多种多样的， 包括数据保护和授权、 数据特征迁移， 其中也涉及到道德风险。 尽管算法偏差、 声 誉和监管风险都不是新型企业风险， 但在AI模型的使用情景中， 它们可能以全新的或人们所不熟悉的方式表现出来， 使它们 更加难以被识别。 11 人工智能与风险管

37、理报告 | 创新与信心偕行 2. 分析 在每个AI应用开发之前，都应 该去设计其风险评估过程，并 由公司管理层同意。该过程 应仔细考虑那些可能会使某一特定应用 的风险更高或更低的关键性因素（例如 监管、客户、财务或声誉的影响）。例 如，那些为客户提供财务建议的AI解决 方案，其固有风险水平以及审查过程的 程度，会与那些为内部员工提供IT故障 排除支持的解决方案不同。 现有风险偏好和评估框架可能不够全 面，无法涵盖AI解决方案中的一些特定 考虑因素。例如，为了评估AI模型中的 偏差，企业首先需要定义诸如“公允 性”等概念，以及如何衡量它们。就如 同“公平性”等的这种企业价值观，在 评估某些风险特

38、性的方面发挥着重要作 用，特别是当我们从行为和声誉的角度 来看。 此外，由于AI模型可以随着时间的推移 而不断进化，企业可能会发现以前的一 些定义和评价指标可能无法充分解释或 评估模型中的决策驱动因素。因此，评 估工作的开展需要变得更加的频繁和动 态，同时，我们也需要以“自下而上” （针对每个单独的应用），和“自上而 下”（整体风险偏好）的方式来进行不 断修正评估流程。 同时，评估工作还需要有更高的参与 度，以及更加广泛的利益相关者的赞 成，这其中包括AI方面的专家，风控部门 （如技术风险和合规性），以及那些业 务代表们。 还需要注意的是，AI应用一般使用敏捷开 发方法，相比之下，许多技术风险

39、管理 框架通常采用传统的瀑布模型。因此， 那些为了评估传统技术开发而设立的流 程，政策及管理方式都需要改变，变得 更加动态。在实际问题中，这可能意味 着，至少对于那些高风险应用，在整个 开发阶段，风险方面的考量可能会更加 频繁出现在日常工作之中。但这，可能 会给企业所拥有的现有资源带来压力。 识别 分析 管控 监控与报告 1 2 3 4 12 人工智能与风险管理报告 | 创新与信心偕行 在保险产品定价实例中， 它的AI解决方案使用了大量结构化和非结构化的数据源来为定价结果提供风险权重。 对于我们来说 十分重要的工作就是， 评估其结果是否与那些只使用了静态和一些可识别的决策驱动因素的非AI系统所

40、产生的结果一致， 并 了解其中产生任何偏差的基本原理。 例如， 对于商业房地产定价， 一个非AI模型可能仅考虑房产的物理特征及其周围环境， 而 AI模型可能包含了范围更庞大的影响因素集。 同样， 如果是通过一系列离散的AI解决方案以模块化的方式来完成定价， 即将一个AI系统的结果输入另一个中， 每个模块的 结果都应由利益相关者进行评估， 从而审核并且检测这些决策驱动因素的有效性， 特别是当它们与生成定价结果的风险权重 之间是没有因果关系的时候。 评估时应该包含模型的技术参数 （例如偏差度和分类失误率） ， 还应该包括商业数据 （例如客户部门出保量） 和操作参数 （例 如保单从开始到生效的速度）

41、 。 2. 分析实例 译者注： 在债券风险预警的例子中， AI模型使用了大量动态的结构化和非结构化数据源来为发债企业预警结果提供风险权重， 包括发 债企业财务数据、 经营数据、 行业和地区数据、 舆情数据、 债券交易数据等。 对于我们来说十分重要的工作就是， 评估其结果 是否与那些只使用了静态和一些可识别的决策驱动因素的非AI系统所产生的结果一致， 并了解其中产生偏差的基本原理。 例 如， 对于投资人对发债企业的情绪， 一个非AI模型可能仅考虑该发行人所发行债券的成交价格， 而AI模型可能包含了范围更 庞大的影响因素集， 例如舆情因素。 对于应用AI模型的不同场景， 相关业务人员对模型犯错的容

42、忍度是不同的。 一些和投资以及风险管理联系紧密的场景中 （如 智能投顾） ， 人们对于模型的犯错几乎是零容忍的， 所以在此类场景中， AI模型的输出结果往往需要经过人工的确认或者该 输出结果仅仅是作为人工决策的辅助参考或验证。 在另外一些场景中， 模型的输出结果可以不经人工确认而直接使用。 在评 估AI模型前， 对于模型适用环境的确认是非常重要的。 AI模型评估时应该包含对模型自身技术参数 （例如预警准确率、 预警提前量） 的分析， 还应该包含对输入数据质量的分析以 及模型运行维护环境的分析， 其中模型使用和运维人员是否具备足够的专业性也是特别需要关注的问题。 13 人工智能与风险管理报告 |

43、 创新与信心偕行 3. 管控 管控和测试过程也需要更加动 态。在实际工作中，可能需要 定期且频繁地测试并监控这些 AI解决方案，可以说，这部分的工作量 会远远超出AI方案的最初开发阶段和初 始数据集的训练过程。 与传统技术的解决方案相比，这可能会 增加所需的测试量。我们应使用基于风 险的解决方案来确定每个实际应用其最 适合的管控等级，而且也要与公司的整 体风险评估框架成比例相关，并与之保 持一致。 此外，由于AI的采用将对整个公司产生 广泛性影响，与之相关的管控工作可能 会横跨多个领域（例如人力资源，技 术，运营等）。这进一步强调了在整个 风险管理的生命周期中需要广泛的利益 相关者来参与其中。

44、 企业可能还需要重新定义业务连续性计 划，以便在当系统不可用的情形下或在 当AI使用过程中出现管控失败的情况（例 如部署“紧急开关”）时，使公司能够 重新回跳到当前的已有进程。该算法还 应该定期进行压力测试，以分析它在响 应严重问题时的反馈，和在遇到非典型 性行为时是否会产生正确的处理方式。 管控过程应当考虑AI会如何与利益相关 者（客户，承销商）进行交互，以及它 们之间的关联点是什么。对于公司来 说，当测试从最初参与到AI解决方案产 生的结果时，这其中的用户体验尤为重 要。公司需要时常进行测试，并在必要 时，于早期阶段就纠正那些出现的反常 现象和异常值。 同样，公司还应该有一个完善的“交还人

45、 工”的流程，这说的就是当AI解决方案负 责的工作需要交还给人工来完成的情况， 就比如当算法无法在预先定义好的风险容 差框架内产生输出的时候。比如，如果该 算法无法十分确定产品价格的时候，就应 该将该工作交给人类来完成）。 “实际工作中， 可能需要定 期且频繁地测试并监控这些 AI解决方案， 可以说， 这部分 的工作量会远远超出AI方案 的最初开发阶段和初始数据 集的训练过程。 ” 我们还需要使用测试外样本来设计一些 关键性能指标，也就是使用全新数据来 运行一些测试人员已经知道正确的结果 的AI模型。同时应该对算法（包括其中 的模型驱动程序）进行频繁且连续的测 试和统计分析，以确保当用于生产环

46、境 下的AI解决方案使用全新或被更新的数 据集时，它的性能可以符合预期和公司 的风险偏好。 最后还应该注意到，管理整体模型风险和 提高算法透明度的其中一种方法也可以去 构建模块化的解决方案，在这其中我们将 使用一系列处理能力有限的微型算法来确 定最终输出，而不是单一且复杂的模型。 这将使得我们更容易理解和控制算法的推 理过程和这些决策驱动因素。 识别 分析 管控 监控与报告 1 2 3 4 14 人工智能与风险管理报告 | 创新与信心偕行 针对不同AI模型不同的应用场景， 管控的措施也有所不同。 以债券预警中的舆情分析为例， 在该场景中对负面舆情识别的漏 报比误报要严重很多。 因此在模型效果评

47、估中， 应赋予漏报率相较于误报率更高的权重， 同时包含模型的技术参数 （例如偏 差度和分类失误率） ， 还应该包括商业数据 （例如客户部门出保量） 和操作参数 （例如保单从开始到生效的速度） 。 应该不断训练算法以理解决策驱动因素所产生的不同结果。 例如， 财产保险定价算法可以通过收集卫星图片所反馈的建筑物 裂缝的测量数据， 并收集那些有裂缝和无裂缝的建筑物图片来不断训练。 一旦在评估过程中发现其结果与非AI定价系统所返回的结果出现任何差异 （无论正面还是负面） ， 公司都应该进行人工审查 或使用其他模型来进行分析其结果。 对于金融机构应用AI模型的场景， 若与投资和风险管理决策相关程度较大，

48、 则人们往往对模型输出结果的可解释性有更高要 求， 而这与一些AI模型， 如神经网络的 “黑箱” 这一不可解释性的特征相矛盾。 （目前一些深度学习算法通过引入查询和注意 力机制， 将业务专家在做人工判断时的关注点输入给AI模型学习， 一定程度上可实现AI模型输出结果的同时也能有效输出判 断依据。 ） 对保险产品定价模型的控制应涵盖算法的有效性， 相关性和准确性以及数据等方面： 算法的准确性： 如上所述， AI算法结果应与非AI定价系统产生的结果比对从而检查模型性能的准确性。 此外， 还应该基于 不同的数据源上来测试算法， 分析这其中为定价而生成的这些风险权重是否具有一致性。 应该在不同的数据集

49、上训练和测试算法， 以确保在模型面对新数据时输出的结果是否还保持有效。 可以说有众多不同的方 法来实现这个目的， 其中一种方式就是划分可用数据集 （例如， 过去的保险产品价格数据） ， 例如仅在80%的数据上来训练 算法， 然后用剩余的20%的数据来测试其生成的结果， 并确认结果的准确性和公允性。 管控措施应确保算法所使用的训练数据具有良好的准确度， 并且保证如果一旦开始不断输入实时数据了 ， 还能够保持其相 对稳定的准确度。 也就是说， AI算法可以时刻根据其已定义好的预警给出最佳的预警结果。 偏差数据的使用： 需要将带有偏差的数据输入算法， 从而查看其返回值是否反映出了偏差度。 3. 管控实例 15 人工智能与风险管理报告 | 创新与信心偕行 4. 监控与报告 由于算法在不断发展和进化， 公司需要采用更加动态