《FCIS 2023-AI时代大模型安全分析-郭建新- share.pdf》由会员分享,可在线阅读,更多相关《FCIS 2023-AI时代大模型安全分析-郭建新- share.pdf(29页珍藏版)》请在三个皮匠报告上搜索。
1、AI时代大模型安全风险与应对思路火山引擎大模型安全产品负责人 郭建新大模型的安全挑战01业务分析02安全需求03安全方案041.1 Gartner 2024年十大科技趋势全民化的生成式AIAI信任、风险和安全管理AI增强开发智能应用增强型互联员工队伍持续威胁暴露管理机器客户可持续技术平台工程行业云平台AI信任、风险和安全管理:TRiSM -隐私数据保护 -内容异常检测 -对抗性防御 -AI应用安全 -可解释性和透明性 -模型运维(ModelOps)颁发机构政策和规范名称网信办网络信息内容生态治理规定互联网信息服务算法推荐管理规定关于加强互联网信息服务算法综合治理的指导意见互联网信息服务深度合成
2、管理规定生成式人工智能服务管理暂行办法国家标准委员会国家新-代人工智能标准体系建设指南全国信息安全标准化技术委员会生成式人工智能服务安全基本要求生成式人工智能服务内容标识要求颁发机构政策和规范名称中央办公厅关于加强科技伦理冶理的意见国家新一代人工智能治理专业委员会新一代人工智能治理原则一发展负责任的人工智能新代人工智能伦理规范全国信息安全标准化技术委员会人工智能伦理安全风险防范指引信息化标准委员会人工智能伦理治理标准化指南科技部科技伦理审查办法(试行)(征求意见稿)人民银行金融领域科技伦理指引1.2 AI安全与伦理的政策和规范1.3 大模型的挑战大模型迅猛发展,对个人隐私保护,社会伦理和系统安
3、全产生巨大挑战!构建大模型安全系统势在必行模型训练模型供应方 研发人员开发、训练形成模型 模型发布 模型供应方 构建最终模型镜像,并利用大模型平台发布模型模型精调模型使用者 结合知识库进行模型精调,形成特定业务领域的服务模型应用模型使用者 发布模型应用,并对外提供服务2.1 大模型和核心业务流程SaaS化服务大吞吐量低延时的IOPB级别的分布式存储200GB/S级别的RDMA安全可信的环境云原生平台的高效调度2.2 大模型平台开发训练模型发布模型应用模型精调代码仓库镜像仓库训练数据基础模型精调模型知识库2.3 大模型核心系统流程核心业务数据平台系统自身2.4 大模型重点保护对象1、备案要求 第
4、十七条:并按照互联网信息服务算法推荐管理规定履行算法备案和变更、注销备案手续2、数据要求 第七条:合法来源的数据、知识产权保护、个人信息保护、真实性、准确性、客观性、多样性 第十一条:提供者对使用者的输入信息和使用记录应当依法履行保护义务,不得收集非必要个人信息,不得非法留存 能够识别使用者身份的输入信息和使用记录3、模型要求 第七条:使用合法来源的基础模型3.1 生成式人工智能服务管理暂行办法1.语料黑名单、内容过滤2.来源可追溯3.语料知识产权管理和投诉渠道4.生物信息语料要获得授权或满足合法条件5.语料标注需要审核员检查语料安全1.必须使用已备案模型2.训练过程中内容安全是强要求3.每次
5、对话中要对用户输入做安全检查,发现问题要针对性迭代到模型训练中4.服务透明性,写明适用用途、所用模型、局限性模型安全3.2 生成式人工智能服务安全基本要求3.2 生成式人工智能服务安全基本要求1.服务于关基的,应具备相适应的保护措施2.未成年人保护3.要求对个人信息进行保护4.图片视频要做标识安全措施1.重大变更要做安全评估,并向监管备案2.评估结果法人、安全负责人要签字3.语料安全评估以抽检的形式做4.生成内容评估以测试题形式做5.要有关键词库(黑名单)安全评估 LLM01:提示注入业务 LLM06:敏感信息泄露系统 LLM02:不安全的输出处理业务 LLM07:不安全的插件设计系统 LLM
6、03:训练数据投毒业务 LLM08:过度代理业务 LLM04:模型拒绝服务系统 LLM09:过度依赖业务 LLM05:供应链漏洞系统 LLM010:模型盗窃系统3.3 OWASP 大模型 TOP10 平台方供应方使用者 供应方:担心模型和数据被偷 使用者:担心业务数据安全 平台方:自证清白、系统安全推理业务合规供应方使用者平台方系统被攻击监控与保密推理结果合规模型被投毒模型被窃取训练数据被窃取推理结果内容合规上传材料合法性问题知识库被盗取API 安全账号认证与审计不全3.4 大模型的参与方的痛点大模型涉及的伦理和法律风险个人数据隐私保护涉黄、涉恐和涉政主流价值观匹配风险知识产权保护偏见和歧视风
7、险虚假宣传大模型相关的数据安全风险训练和精调数据保护模型数据被窃取3.5 大模型风险总结大模型自身被攻击的风险提问对抗API安全系统入侵风险4.1 大模型安全架构训练管理安全检测安全增强API安全机密容器微隔离镜像安全容器加固开发训练模型发布模型应用云原生安全-安全底座业务安全-安全服务模型精调安全态势训练流程管理训练任务运营训练结果分析训练任务算法运营算法配置算法分析算法集管理模型运营模型匹配模型分析模型集管理大模型算法与训练管理数据集运营数据检测操作管理数据检测任务数据检测任务分析数据检测管理数据集传输数据集分析大模型数据准备模型集管理4.2 大模型训练管理平台模型输出异常生成的内容可能包
8、含错误、不准确或无法验证的信息,模型可能在处理特定问题时在逻辑上缺乏一致性和连贯性模型可能因为无法审核带有诱导性的指令,或无法判断生成结果的影响,导致输出不良信息对话机制异常数据样本的隐私性、知识产权、数据质量可能无法得到有效保护,从而导致生成式人工智能输出内容异常数据安全问题恶意用户可能利用大模型系统特有的漏洞,比如CVE-2023-29374,导致服务端被控制大模型系统漏洞检测4.3 大模型安全检测4.3 大模型安全检测-报告样本内容分级样本合规审核基于语义分析的样本合规审核基于对话主题的数据内容分级数据增强机密数据审核合规数据审核隐私数据审核用户行为审核基于大数据测试的合规数据审核基于时
9、间序列的用户行为分析基于矢量匹配的机密数据审核基于知识图谱的敏感数据检测基于交互过程的合规审核数据合规增强数据安全增强数据去偏增强数据隐私增强基于规则库的偏见数据生成基于生成模型的数据安全生成基于数据脱敏的隐私数据生成基于模糊测试的数据合规生成模型合规增强数据包4.4 大模型安全增强4.5 大模型安全API安全双向TLS强制TLS,并支持客户端证书认证API 传输安全API访问管理API授权管理设置可访问的客户端和服务支持根据token配置访问的资源API 访问控制API请求风险识别API风险扫描通过扫描,检测常见的API风险通过检测API的内容进行风险识别API 风险识别大模型 API 安全
10、供应方:模型管理,安全增强,安全测试4.6 业务安全总结使用者:安全测试,API安全平台方:备案检测全流程:覆盖从CICD,到部署到运行的全流程的安全全技术栈:覆盖从操作系统、容器引擎到编排系统的全栈的安全全功能:覆盖从脆弱性检测、运行时检测到网络安全的全功能全覆盖兼容多云大规模验证全覆盖:覆盖云原生的全生命周期、全技术栈和全功能大规模验证:基于火山的大规模云原生安全实践验证兼容多云:多云架构下云原生安全统一管理 核心优势4.7 火山引擎原生安全轻量的虚拟机并被编排独立的内核、文件系统可信硬件保证加密安全4.8 机密容器只被PLB和业务访问只访问特定数据服务拒绝其他的网络访问4.9 网络微隔离上传时加密拉取时解密签名验证4.10 镜像安全-镜像加密存储访问控制网络访问控制进程执行控制业务容器业务服务外部网络控制台系统目录模型存储命令执行4.11 容器加固模型供应方视角在平台提供的环境中运行推理服务。模型不会被使用者窃取运行的是自身的代码,不会故意泄露代码是镜像加密的,使用机密容器。模型不会被平台窃取4.12 系统安全总结模型使用者视角数据只能写入到自己的VPC中,并且网络微隔离,数据不会被窃取大模型平台方视角容器加固,防止逃逸网络微隔离,防止风险外溢T H A N K S