1、 2023 云安全联盟大中华区版权所有1 2023 云安全联盟大中华区版权所有22023 云安全联盟大中华区-保留所有权利。本文档发布在云安全联盟大中华区官网(http:/www.c-)，您可在满足如下要求的情况下在您本人计算机上下载、存储、展示、查看、打印此文档：（a）本文只可作个人信息获取，不可用作商业用途；(b)本文内容不得篡改;(c)不得对本文进行转发散布;(d)不得删除文中商标、版权声明或其他声明；（e）引用本报告内容时，请注明来源于云安全联盟大中华区。2023 云安全联盟大中华区版权所有1 2023 云安全联盟大中华区版权所有4致谢致谢ChatGPT的安全影响（Security I
2、mplications of ChatGPT）由 CSA 工作组专家编写，CSA 大中华区秘书处组织翻译并审校。中文版翻译专家组中文版翻译专家组（排名不分先后）：组 长：组 长：王安宇翻译组：翻译组：顾春辉侯汉书蓝靖李冰洁李晓明薛琨审校组：审校组：顾春辉侯汉书蓝靖李冰洁研究协调员：研究协调员：李宗澧感谢以下单位的支持与贡献：感谢以下单位的支持与贡献：OPPO广东移动通信有限公司杭州虎符网络有限公司广州熠数信息技术有限公司深信服科技股份有限公司新华三技术有限公司浙江齐安信息科技有限公司注意：本白皮书为候选版。可能会不定期更新。2023 云安全联盟大中华区版权所有5英文版本编写专家英文版本编写专家
3、作者作者:Kurt SeifriedSean HeideBogdan FilipVishwa ManralLars RuddigkeitWalterDulaEric E.CohenBilly ToneySupro GhoseMarinaBregkou其他人员其他人员:Stephen Lumpe(封面插图，Midjourney提供协助)在此感谢以上专家。如译文有不妥当之处，敬请读者联系CSA GCR秘书处给予雅正!联系邮箱researchc-；国际云安全联盟CSA公众号。2023 云安全联盟大中华区版权所有6序言序言伴随着数字化转型的进一步深入，人工智能（AI）的广泛应用，各行各业的生产效率迅速
4、提升，人们的工作、生活和娱乐也越来越丰富和多样化。与此同时，数字世界中，安全、隐私的重要性日益凸显，数字化安全，成为数字世界行稳致远的基石。在数字化安全领域，AI是一个至关重要的话题，也是一把越来越锋利的双刃剑。从攻击者的角度，AI在网络攻击或者漏洞利用的生命周期各个环节，都可以使攻击者更广泛、更深入、效率更高的发现和利用网络漏洞，达成攻击目标。例如，基于MITRE Att&ck 模型，在“侦查（recon）”环节，AI可以迅速和准确的收集目的系统的大量信息，为攻击者提供线索。而从防御者的维度，“人工智能用于安全（AI for Security）”早已成熟，并应用于一系列的安全产品中。如基于无
5、监督学习的聚类算法用于垃圾邮件的自动化识别。ChatGPT的火爆，将AI的安全与隐私又一次置于聚光灯下，高智慧AI如果产生对人类的不良意识更将是全新的巨大威胁。安全从业者想了解ChatGPT能否有助于自己的工作，企业的管理者想了解能否使用ChatGPT带来业务优势，并规避风险，甚至大众也有AI时代安全与隐私的顾虑和担忧相信此本白皮书能以专业的视角，清晰和准确的描述ChatGPT的安全影响，给读者信息、思考和启发。李雨航 Yale LiCSA 大中华区主席兼研究院院长 2023 云安全联盟大中华区版权所有7目录致谢致谢.1序言序言.61.简介简介.82.ChatGPT 是什么是什么.92.1机器
6、学习模型.112.2ChatGPT的局限性.122.3ChatGPT使用条款.132.4基准.142.5过去工具改变安全世界的例子.143.恶意行为者如何利用它来改进他们的工具集恶意行为者如何利用它来改进他们的工具集.153.1枚举.153.2立足点援助.173.3侦察.193.4网络钓鱼.203.5“多态”代码.214.防御者如何将防御者如何将 AI 运用到网络安全程序中运用到网络安全程序中.224.1过滤安全漏洞.224.2生成安全代码（ChatGPT-Codex）.244.3转换安全代码（ChatGPT-Codex）.254.4漏洞扫描（ChatGPT-Codex）.264.5检测 AI
7、 生成的文本.284.6寻求网络安全问题解决方案.284.7与 SIEM/SOAR 集成.304.8将技术代码/文件转换为英文.314.9 解释安全补丁和更新日志.324.10 创建脚本和转换编程语言.324.11 阅读并解释脚本和配置文件.344.12 用于模糊测试和代码测试的 ChatGPT.364.13 创建查询，如 YARA 或 KQL.375.通过恶意提示词攻击通过恶意提示词攻击 ChatGPT.395.1 图解攻击点.415.2 用户与 ChatGPT建立连接.415.3 选择现有会话或发起新会话.425.4 用户输入.426.如何确保企业安全使用如何确保企业安全使用 ChatGP
8、T.446.1ChatGPT.446.2新必应.456.3Azure认知服务.467.生成式生成式 AI 技术的局限性和“怪癖”技术的局限性和“怪癖”.468.未来的攻击与挑战未来的攻击与挑战.489.结论结论.4910.参考文献参考文献.5111.附录附录-格式格式.5311.1风险表.5311.2热力图.54 2023 云安全联盟大中华区版权所有81.简介简介欢迎阅读云安全联盟第一份关于极为流行的生成式人工智能技术ChatGPT的安全影响的白皮书。企业、国家和网络安全专家都在紧跟ChatGPT的热度，试图理解如何治理和使用该技术。为了帮助社区全面了解ChatGPT的背景，并确定适用于所有利
9、益相关者的实际问题，CSA 迅速发布了本版白皮书。像 ChatGPT 这样的大语言模型已被认为是可以显著提高各行业生产力的强大工具。在网络安全领域，它们在漏洞识别和社会工程等任务上表现出了潜力。然而，这种潜力也引发了人们对这些技术在道德和恶意使用之间的微妙界限的关键问题。本文旨在概述ChatGPT在网络安全行业中的影响，但不深入探讨人工智能的细节。我们将探讨对理解ChatGPT能力至关重要的关键概念和领域，以及对企业的潜在影响。在我们研究这些影响的同时，考虑区分合法和恶意使用ChatGPT的挑战至关重要，例如区分营销电子邮件、公司通信和网络钓鱼邮件，或者识别待修复漏洞和黑客入口点。此外，我们预
10、计ChatGPT的融合将带来网络安全专业人员生产力的提高，并为有志于此领域的人士提供创新的培训方法。这项技术还可能改变软件开发实践，特别是在应用程序开发方面。通过研究ChatGPT的现状及其潜在影响，我们旨在提供对这种技术如何塑造网络安全行业未来的全面理解。我们了解市场上还存在其他多个生成式AI工具，最终CSA无法预测这个市场的发展方向以及哪些解决方案将持久存在。随着时间的推移，我们计划广泛覆盖所有技术上的AI安全问题，特别是当它们作为服务交付时。然而，由于目前ChatGPT的强大热度，我们被迫仅以公众利益的角度深入研究这项技术。2023 云安全联盟大中华区版权所有92.ChatGPT是什么是
11、什么用ChatGPT自己的话说：ChatGPT是一个由OpenAI使用转换器（Transformer）深度学习算法训练的大语言模型，使用来自互联网和其他来源的大量文本数据训练，旨在能够理解自然语言，并对问题和提示生成类似人类的响应。ChatGPT所使用的转换器（Transformer）架构是基于注意力机制的思想构建的，使得模型可以在不同的时间关注输入文本的不同部分。这种注意力机制用于构建文本的上下文表示，从而捕捉不同单词和短语之间的含义和关系。在训练期间，模型会接收输入文本并尝试预测下一个单词或单词序列。这个过程会重复数百万次，模型逐渐学会生成合理、符合语法的回复，并能对各种各样的提示和问题做
12、出回应。当向ChatGPT提出问题或做出陈述时，该模型会利用其学习到的知识生成一个最可能合理且与输入相关的响应。ChatGPT的实现方式是通过比较输入与其内部语言表示并根据学习到的模式生成响应。总的来说，ChatGPT是深度学习和自然语言处理能力的惊人范例，有潜力在未来彻底改变我们与计算机和AI系统的交互方式。参考：问题：“您能向稍微具备技术背景的听众解释一下ChatGPT是什么以及它是如何工作的吗？”日期：2023-03-08网站：https:/ M.Turing）发表了计算机器与智能一书。机器学习领域则与IBM的“深蓝”（Deep Blue）打败国际象棋大师加里卡斯帕罗夫（Gary Kas
13、parov）相关。在2016年，基于深度学习（Deep Learning）算法的Alpha Go在围棋比赛中战胜了韩国职业选手李世石，赢得了五局中的四局。虽然DeepBlue和Alpha Go都是游戏算法，但展示了超越人类实现复杂任务的潜力。现在我们正处于21世纪20年代的生成式AI时代，全球范围内的ChatGPT运动正在发生。2023 云安全联盟大中华区版权所有10在人工智能（AI）发展的各个阶段，计算能力一直是一个制约因素，限制了有效地处理复杂计算问题的能力。如图1所示，这些阶段的特征是AI领域内越来越专业化的子域。例如，生成式AI是深度学习的子域，而深度学习又是机器学习的子域。至关重要的
14、是，AI的定义也经历了不断的转变以保持与人类历史不同时代的相关性。图1:AI领域生成式AI基础模型的家族依赖关系除了采用提示和回复格式的基本网络用户界面外，OpenAI还提供了Whisper，一种基于神经网络的语音识别（语音转文字）系统。他们还提供了应用程序编程接口（API），使组织能够无缝地将ChatGPT和Whisper集成到各种应用程序、网站、产品和服务以及语音界面中。然而，ChatGPT的强大功能，特别是通过API的方式，存在潜在的风险，因为恶意行为者可能会利用该工具为网络攻击提供便利。*为确保质量，必须验证通过为确保质量，必须验证通过ChatGPT获得的所有信息并验证输出。获得的所有
15、信息并验证输出。可以通过多种选项访问语言模型，例如聊天机器人界面、API和云服务。每个选项都人工智能机器学习深度学习生成式AI 2023 云安全联盟大中华区版权所有11针对不同的最终用户，如个人用户或企业客户。有些解决方案为个人提供升级版，而另一些解决方案则专为商业用途设计，并且由于合作关系可能在特定的云平台上提供。对于企业客户，某些基于云的服务通过REST API、软件开发工具包（SDK）或基于Web的界面提供对语言模型的安全、隔离的访问。这些服务可以与其他云产品集成，并支持虚拟专用网络和通过目录服务管理的身份验证等功能。随着技术的不断进步，OpenAI和ChatGPT的集成速度正在以惊人的
16、速度增加。许多应用程序、平台和工具都在利用这些AI模型的强大能力增强其功能和能力。可访问以下链接了解一些当前的集成，该链接提供了许多（但并非全部）现有链接的概述：https:/ 2023 云安全联盟大中华区版权所有12成源代码。3.Embeddings：这个系列包括一些专注于文本搜索、相似度和代码搜索等特定功能的模型。这些模型能够在各种场景中实现更高效的信息检索和处理。每个模型都遵循特定的命名约定，包括版本信息，确保在整个平台上具有清晰和一致的命名。有关Azure OpenAI服务模型的更多详细信息，请参阅Microsoft Learn上的AzureOpenAI文档。2.2ChatGPT的局限
17、性的局限性由OpenAI和Microsoft管理的GPT-3，采用了多项措施防止生成恶意或非法内容。例如，当 AI 收到有害的查询时将拒绝提供答案，遵守OpenAI的用例政策，禁止AI语言模型促进或方便有害或非法活动。尽管有这些保护措施，但仍然有可能绕过这些限制，正如在有关直接攻击的部分所述，将产生错误或其他不良结果。ChatGPT的一个适当的比喻是一名实习生，渴望提供帮助，但偶尔缺乏领域特定知识（DSK）或专业知识。此外，ChatGPT的DSK可能不准确或过时，就像在Stack Overflow等平台上的过时答案一样。文本摘要是ChatGPT局限性的另一个例子。AI可能会过分重视文本的某些方
18、面，尤其是在查询的表述不当的情况下。查询的框架方式会对输出结果产生重大影响。此外，ChatGPT在执行复杂计算方面存在局限性。虽然它可以执行简单的任务，如文本到Base64的转换，但在更高级的计算，如哈希算法计算中则经常会提供错误的结果。ChatGPT在脚本生成方面也可能会出现基本错误，例如在Python脚本中未包含必要的导入语句（import），导致代码无法正常运行。因此，建议将ChatGPT视为辅助技术而非替代技术。微软以2022年制定的“负责任AI标准V2”管控对Azure OpenAI服务的访问。公司必须通过特殊的访问请求表格申请，安全框架采用内容过滤器并保留提示信息30天，以方便负责
19、任的AI团队调查。微软还为制药业和金融服务等高度监管行业的客户提供了一个单独的流程，可以选择退出某些功能，从而引发了有关渗透测试用例的潜在问题。2023 云安全联盟大中华区版权所有13最后，访问GPT-4需要填写另外一个申请表格，并且必须首先完成第一个表格的申请。微软在其2022年发布的“负责任AI标准V2”中制定了一些准则，文件名为Microsoft-Responsible-AI-Standard-v2-General-Requirements-3.pdf。访问Azure OpenAI服务需要通过一个特殊的访问请求表格Request Access to Azure OpenAI Servic
20、e申请。安全框架采用内容过滤器，并将提示信息存储30天，以便负责任的AI团队调查滥用问题。微软允许来自制药业和金融服务等高度监管行业的客户通过另一个申请表格选择退出。令人感兴趣的是这个选择退出的范围有多大，如果去除Azure OpenAI服务的内容过滤器，该工具是否可用于渗透测试。Azure OpenAI有限访问审查:修改内容过滤器和滥用监测()。最后同样重要的是，访问GPT-4还需要一个新的申请表格Azure OpenAI GPT-4 PublicPreview Waitlist(M)，先通过第一个表格的申请是前提条件。2.3ChatGPT使用条款使用条款在使用OpenAI服务，例如Chat
21、GPT时，了解并遵守其使用条款至关重要。这些条款概述了可以访问和使用OpenAI的服务、产品和平台的条件。如需查看完整的使用条款，请访问以下链接：https:/ 访问：OpenAI可以在特定条件下授予对其API的访问权限。用户必须遵守这些条件，OpenAI保留根据违反条款限制、暂停或终止访问权限的权利。4.用户数据：OpenAI的数据使用政策详细说明了用户数据如何收集、存储和利用。通过使用 OpenAI 服务，用户同意遵守该政策中概述的数据处理实践。5.担保和责任：OpenAI的服务是按照“原样”提供的，没有任何保证，而OpenAI对因使用或无法使用其服务而导致的损害不承担任何责任。2023
22、云安全联盟大中华区版权所有146.终止：OpenAI保留随时终止或暂停用户访问其服务的权利，如果用户违反使用条款或出于其单方面决定的任何其他原因。7.管辖法律：使用条款受加利福尼亚州法律管辖，并且任何争议必须在位于加利福尼亚州旧金山县的适当法院解决。确保在使用OpenAI的服务之前，仔细阅读并理解其使用条款，因为遵守使用条款对于保持积极和合法的使用体验至关重要。2.4基准基准目前，已经发布了几个比较ChatGPT等大语言模型性能的基准测试。为全面了解ChatGPT，我们建议从CRFM基准测试开始。CRFM（Comprehensive Real-World Fine-tuning Model，综
23、合真实世界微调模型）基准测试由斯坦福大学研发，提供了对各种大语言模型在现实世界任务中表现的详尽分析。这些基准测试可以帮助用户评估和比较不同的模式的有效性，并选择最适合自己需求的模型。有关CRFM基准的更多信息和深入见解，可以访问以下资源：1.CRFM基准网站:https:/crfm.stanford.edu/该网站提供详细的关于CRFM基准测试的方法、数据集和结果的信息，还提供交互式可视化帮助用户比较不同的语言模型的性能。2.CRFM基准研究论文:https:/arxiv.org/abs/2204.06745本论文（arXiv.org可下载）介绍了CRFM基准的全面研究。该论文包括基准测试的动
24、机、方法论和基准测试过程中的发现，并深入分析了各种大语言模型的性能。2.5过去工具改变安全世界的例子过去工具改变安全世界的例子在过去，“新”黑客工具的发展和广泛传播，也会导致更广泛的担忧。一个值得注意的例子是撒旦(分析网络的安全管理员工具)(https:/en.wikipedia.org/wiki/Security_Administrator_Tool_for_Analyzing_Networks）最初引起了广泛的恐慌。然而，它最终并没有成为一个普遍的问题，而是发展成为一家商业公司，为各种安全标准要求提供必要的工具。例如，PCI DSS（支付卡行业数据安全标准）条款11.2.2要求组织进行内外
25、部漏洞扫描（至少每季度进行一次），并跟踪网络 2023 云安全联盟大中华区版权所有15的任何重大变化。3.恶意行为者如何利用恶意行为者如何利用ChatGPT改进工具集改进工具集本节将探讨与恶意行为者利用AI技术增强其工具集相关的潜在风险。随着AI变得越来越强大和越来越容易获得，在各种网络攻击阶段滥用AI的可能性也在增加。我们将深入研究以下小节，详细介绍如何在网络攻击的不同方面，利用AI驱动的系统，包括枚举、立足点协助、侦察、网络钓鱼和多态代码的生成。通过研究这些主题，我们旨在提高对潜在威胁的认识，并强调强有力的安全措施和负责任的AI开发的必要性。除了主要内容外，本文的某些章节还包括简要的风险审
26、查和/或对策有效性评级。这些评级的目的是帮助可视化与特定领域相关的当前风险水平及其对业务的潜在影响。需要注意的是，这不是一个详尽的列表，但可以说明每种风险的可能后果。为了更好地理解风险等级及其含义，本文档的术语表提供了热力图和风险表。热力图通过对风险的可能性和影响分类，从而直观地表示了风险的严重程度。风险表进一步解释了每个类别，使人们能够更全面地了解已实施的任何应对措施的潜在后果和有效性。通过参考术语表中的热力图和风险表，读者可以更好地了解当前的风险状况以及可能如何影响他们的组织。这些信息可用于作出明智的决定，解决和减轻这些风险，使潜在影响最小化。3.1枚举枚举风险：中等中等影响：低可能性：高
27、增强Nmap扫描结果：一个基本的Nmap扫描，识别开放的8500端口，并显示JRun作为活动web服务器。这些信息可以用来进一步了解网络的安全态势和潜在的漏洞。2023 云安全联盟大中华区版权所有16利用ChatGPT进行应用程序发现：ChatGPT可以有效地用于快速识别与特定技术或平台相关联的最流行的应用程序。这些信息有助于理解给定网络环境中的潜在的攻击面和漏洞。问：什么应用程序通常运行在端口8500上，并由JRun web提供服务？答：8500端口默认与Adobe ColdFusion关联。ColdFusion是一个商业的Web应用程序开发平台。ColdFusion应用程序可以使用JRun
28、 Web服务器提供服务，JRun是一种基于Java的Web服务器，可以做Java应用程序（包含ColdFusion应用程序）的宿主。甚至还可以提问登录方式：提示：ColdFusion的默认登录页面是什么？ChatGPT：ColdFusion的默认登录页面被称为ColdFusion管理器。它是一个基于web的管理界面，允许管理员配置和管理ColdFusion服务器和应用程序。要访问ColdFusion管理器，您可以打开一个web浏览器，并导航到以下网址:将替换为运行ColdFusion的服务器的IP地址或主机名。请注意，确切的URL可能会根据ColdFusion的版本和服务器配置而有所不同。一旦
29、您访问了管理员登录页面，系统将提示输入用户名和密码。默认情况下，用户名为“admin”，密码为空(即，没有密码的话)。然而，强烈建议为“管理员”用户设置一个安全的密码，以防止对ColdFusion管理器的未授权的访问。2023 云安全联盟大中华区版权所有173.2立足点援助立足点援助风险:中等中等影响:中等中等可能性:中等中等立足点援助是指帮助威胁行动者在目标系统或网络中建立一个初始存在或立足点的过程。这通常涉及到利用漏洞或弱点获得未经授权的访问。一旦建立了一个立足点，攻击者就可以进一步渗透到系统、收集信息、提升权限或发起额外的攻击以实现目标。在使用AI工具的背景下，立足点援助可能涉及自动发现
30、漏洞或简化利用漏洞的过程，使攻击者更容易获得对目标的初始访问权。当请求ChatGPT检查超过100行的代码样本中的漏洞时，它准确地定位了一个文件包含漏洞。其他查询也得到了类似的结果，AI成功地检测出了输入验证不足、硬编码凭据和弱密码哈希等问题。这凸显了ChatGPT在有效识别代码库中的安全缺陷方面的潜力。ChatGPT：给定的代码可能包含以下漏洞：1.SQL注入：该代码在SQL中使用用户输入，且没有适当的验证或清洗。变量$_postmovie_id和$_postuser_id直接用于SQL查询中，攻击者可以利用它执行任意的SQL命令。2.跨站 脚本攻击（XSS）：代码显示 用户输 入时，未 经
31、过合 适的规避 或者验 证。变量rowmovie和rowusername可被攻击者利用，注入恶意的脚本或者窃取用户信息。3.本地文件包含（LFI）：代码中使用h
107、ttps:/ 2023 云安全联盟大中华区版权所有5311.附录附录-格式格式11.1风险表风险表创建这个漏洞不需要高级知识或专业工具高中中高高高高创建这个漏洞需要一些专业知识及专业工具中低低中中高高需要高级知识，并且尚没有公开的工具或已知漏洞可以用来构造该漏洞低低低低低中中可能性-专业知识影响-影响低中高对信息资产的保密性、完整性或可用性在小范围内影响对信息资产的保密性、完整性或可用性在中等范围内影响有限对信息资产的保密性、完整性或可用性产生大范围有直接影响 2023 云安全联盟大中华区版权所有5411.2热力图热力图恶意风险对抗措施的有效性恶意风险对抗措施的有效性En 枚举FA-立足点辅助Re 侦查Ph 钓鱼Py “多态”代码CL-解释安全补丁和变更日志Sc-脚本的创建和编程语言的转换Re-阅读和解释脚本和配置文件Fz ChatGPT用作代码的（模糊）测试工具Yk 创建查询，如YARA或KQL 2023 云安全联盟大中华区版权所有55
sgpjbg002
工作日 8:30 - 17:30
会员动态：
报告分类
新质生产力
ChatGPT
新能源汽车
大模型
Sora
机器人
微短剧
芯片
薪酬
白皮书
低空经济
数据要素
创新药
人工智能
AI产业
信息科技
互联网
消费经济
汽车交通
电商零售
传媒娱乐
医药健康
投资金融
能源环境
地产建筑
传统产业
英文报告
其它
扫码登录
手机快捷登录
账号登录
