《尚梦宸-大模型时代研发运营领域的场景应用趋势展望 - 尚梦宸.pdf》由会员分享,可在线阅读,更多相关《尚梦宸-大模型时代研发运营领域的场景应用趋势展望 - 尚梦宸.pdf(33页珍藏版)》请在三个皮匠报告上搜索。
1、中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院大模型时代研发运营领域的场景应用趋势展望尚梦宸中国信息通信研究院云计算与大数据研究所审计与治理部工程师/高级业务主管AIOps国际标准编辑人,从事DevOps,AIOps、系统稳定性等发展研究与行业标准制定工作,是研发运营一体化(DevOps)能力成熟度模型系列标准,云计算智能化运维(AIOps)能力成熟度模型系列标准,企业IT运维发展白皮书、中国AIOps现状调查报告(2022)等的编写成员之一。中国信息通信研究院中国信息通信研究院
2、中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院目 录contents01构建新时代运维现代化保障体系02大模型时代背景概述03大模型在研发运营领域的应用现状04大模型驱动的研发运营场景展望中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院GOPS 全球运维大会 2024 深圳站外部环境与需求变化促进运维(Ops)理念不断演进应用程序的开发、测试、部署之后,由运维负责部署、监控和维护。在这个阶段,操作流程和
3、文档以人工方式维护和更新。文档化人工维护与更新手工运维阶段自动化运维阶段研发和运维协同DevOps阶段系统可靠性SRE大运维阶段采用自动化工具和脚本减少手工操作。通过配置管理工具自动化服务器配置和部署流程,减少手工错误和提高一致性。自动化服务器配置与部署流程研发和运维是紧密协作的一体化团队。使用自动化工具和流程实现快速部署、持续集成、持续交付和持续部署(CI/CD)。快速部署、持续集成、交付和部署将软件工程的原则和运维的实践结合,通过自动化、监控、故障注入等手段提高系统的可靠性、可维护性和可扩展性。可靠性、可维护性和可扩展性p 运维的需求与环境发生巨大变化:随着数字技术的更新,信息化系统的重要
4、性突显,系统稳定性面临着新的挑战。互联网等数字原生企业为提升数字能力、满足用户需求,不断扩大系统规模,引入敏捷开发流程,导致信息系统复杂性直线上升,稳定性风险点增多。同时运维理念随技术需求也在不断演进。中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院GOPS 全球运维大会 2024 深圳站构建新时代稳定、高效、精细、安全的运维现代化保障体系p 围绕软件研发运营生命周期-需求、架构、开发、测试、运维5个维度;聚焦故障、监控、巡检、变更、资源容量、稳态运营、安全风险等运营场景化能力;结
5、合平台工具能力支撑,共同构建稳定、高效、精细、安全的运维现代化保障体系。稳定、高效、精细、安全需求设计开发测试运维运维现代化保障体系故障管理监控管理巡检管理变更管理资源容量管理稳态运营配置管理安全及风险管理系统可靠性与连续性工程(SRE)技术运营IT资源精细化运营智能运维AIOps系统可观测性安全运营SecOps平台能力场景能力平台工具监控平台自动化操作平台资源管理平台运维数据平台智能运维AIOps系统与工具FinOps平台工具能力研发运营大模型算法服务化运维数据治理模型工程化模型智算平台数据&AI能力中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中
6、国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院GOPS 全球运维大会 2024 深圳站研发运营系统可靠性与连续性(SRE)系统技术更迭快、架构复杂,所以理论上说,“没有绝对稳定的系统,只有相对完善的保障体系”。本部分工作主要针对如何通过各类保障手段,最大限度确保系统的稳定性.集产学研多方力量,聚焦信息系统稳定性(STABILITY)&韧性(RESILIENCE)研究。完成技术标准4个,研究报告2个,19家机构参与过基于标准的评测工作。框架全新升级中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院
7、中国信息通信研究院中国信息通信研究院GOPS 全球运维大会 2024 深圳站国际领先:智能运维(AIOps)国际标准发布旨在通过进一步明确智能运维的功能要求,推进各方对智能运维能力体系架构达成共识,加强国际交流合作,以促进智能运维领域技术、应用的有效落地,持续推动国内外AIOps相关产业的健康有序发展。国际电信联盟(ITU)于2023年12月正式发布智能运维(AIOps)标准:ITU-T Y.3550 Cloud computing-Requirements for AI based cloud service development and operation management。标准基于
8、ITU-T Y.3525研发运营管理框架,引入AI能力用于增强研发、运营生命周期中的四个主要阶段,在人工智能技术的加持下进一步提高软件开发和运营管理效率。其中主要针对智能运维场景提出了相关能力要求和用例,用于指导企业进一步开展智能运维应用有效落地。此外,该建议还规定了部分智能化软件研发场景的功能要求。国际方面:中国信息通信研究院牵头提出首个智能运维(AIOps)国际标准,并正式发布!中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院GOPS 全球运维大会 2024 深圳站智能运维能力
9、成熟度系列标准面向智能运维整体能力建设:从感知、分析、决策、执行、知识更新五个维度考察各场景的智能运维能力效果,包括运维人员对系统工具的使用,运维人员对智能运维的理解程度,以及最终的效果。从不同角度考察当前智能运维建设情况,从L1-L5给出指导的建设路径。帮助企业了解当前AIOps建设现状,明确改进目标和未来发展方向。面向智能运维系统和工具能力:从基础功能、高级功能等功能性要求角度考察AIOps系统和工具应具备的相关能力,用以支持企业AIOps能力建设。帮助企业了解并明确AIOps系统和工具需要具备的功能要求,对标行业领先实践,结合业务模式持续完善AIOps系统和工具的场景应用。第1部分:通用
10、能力要求第2部分:系统和工具技术要求第3部分:可观测性能力要求面向可观测整体能力建设:对智能运维能力数据层的能力提升,包含建设可观测能力必备的数据采集传输、数据存储、数据处理、数据管理、数据观测能力以及观测场景,可用于指导基于可观测性能力的智能运维平台的规划、设计与实现。中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院GOPS 全球运维大会 2024 深圳站智能化运维(AIOps)能力成熟度模型 第5部分:运维数据治理基础设施监控数据:服务器、存储设备、网络设备的运行状态和性能指标
11、。1安全和访问数据:系统安全事件、入侵检测报警、用户登录和访问记录等。2系统和应用日志数据:操作系统日志、数据库日志、中间件日志以及应用系统日志。3配置和变更管理数据:系统配置、网络配置、安全配置以及应用配置的变更记录。4运维数据类型与治理痛点数据来源多样、格式不一,数据质量控制。企业内部或企业间数据标准不统一,导致数据整合困难,影响数据的有效利用。数据标准不统一p 运维数据治理是运维数智化转型的关键组成部分,通过数据治理,可以确保运维数据的准确性、完整性和一致性,并有助于数据的共享和开放。在当前智能运维工作中存在数据汇聚能力不足、数据管控能力薄弱、数据治理体系不完善、数据价值评估难等痛点问题
12、。运维数据质量核验运维数据过程管理运维数据安全管控运维数据治理维度不同系统或部门之间的数据往往孤立,缺乏有效的整合和共享机制。企业内部或企业间数据标准不统一,导致数据整合困难,影响数据的有效利用。缺乏专门的数据治理组织和专业人才时间计划2024年5月:启动编制 2024年6-7月:形成第一版征求意见稿 2024年三季度:标准征求意见稿持续优化、组织上会中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院GOPS 全球运维大会 2024 深圳站IT基础设施资源运营能力成熟度模型标准“强化
13、成本管控,实现精益科学。牢固树立过“紧日子”思想,坚持一切成本费用皆可控,坚持无预算不开支,健全全员、全要素、全价值链、全生命周期成本费用管控机制”。国务院国资委印发关于中央企业加快建设世界一流财务管理体系的指导意见党的二十大报告国务院关于印发的“十四五”数字经济发展规划的通知“高质量发展是全面建设社会主义现代化国家的首要任务”规范健康可持续是数字经济高质量发展的迫切要求。我国数字经济规模快速扩张,但发展不平衡、不充分、不规范的问题较为突出,迫切需要转变传统发展方式,加快补齐短板弱项,提高我国数字经济治理水平,走出一条高质量发展道路。多个政府部门出台政策强调高质量发展在我国现阶段发展阶段中的重
14、要战略指导地位。国资委出台政策提出“强化成本管控,实现精益科学”,健全全生命周期的成本费用管控机制。随着全行业数字化转型的快速发展,企业IT资源投入不断增加,IT资源投入边际效能逐渐下降,如何平衡IT资源投入与成效之间的问题日渐凸显。中国FinOps现状调查报告(2023)显示,超半数企业IT资源存在利用不充分、浪费现象,超过八成企业表达了对IT资源成本精细化管理的强烈需求,企业亟需开展IT资源精细化管理,向资源精细化、可持续化运营转型。在此背景下,中国信通院牵头发起IT基础设施资源运营能力成熟度模型标准编制工作,旨在帮助各企业审视内部IT资源管理现状,指导企业由IT资源粗放式管理向精细化运营
15、转型。IT基础设施资源运营能力成熟度模型标准从预算管理、交付管理、容量管理、成本管理、效能管理、持续运营等几大维度出发,整合一套指导企业IT资源管理的方法论,促进IT资产效能最大化,助力企业降本增效、高质量发展。IT基础设施资源运营能力成熟度模型标准框架数据层IT基础设施资源运营成熟度模型数 据 采 集数 据 处 理数 据 存 储资源层物理机虚拟机网络中间件数 据 治 理预算管理交付管理成本管理预算计划预算执行预算分析需求管理需求审批采购管理监控告警资源调度利用效率成本优化成本洞察成本分摊成本核算流程管理管理规范能力层云资源资源优化预算变更效能管理需求交付组织建设容量管理数 据 传 输持续运营
16、可视化报表权限配置指标管理容量分析.数据库容量规划 本本标标准准已已立立项项,将将于于2024年年1月月18日日召召开开标标准准启启动动会会暨暨第第一一次次研研讨讨会会,参参编编单单位位持持续续征征集集中中!现参编单位有:中国移动集团、中国移动设计院、中国联通软件研究院、联通数科、中国邮政储蓄银行、招商银行、平安银行、华泰证券、银河证券、招商基金、中国航信、百度、联想、京东、小红书等30余家2023年12月标准正式立项2023年1月标准启动会2023年3月形成标准初稿2023年4月试点评估2023年2-3月标准研讨会中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信
17、息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院PART 01大模型时代背景概述中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院GOPS 全球运维大会 2024 深圳站大模型颠覆人工智能产业 大语言模型(LLM)是使用深度学习算法处理和理解自然语言的基础机器学习模型。他们可以理解复杂的文本数据,识别实体和它们之间的关系,并生成连贯且语法准确的新文本。大模型颠覆了人工智能技术、合作、研发、运营、服务模式,加速了生态变化和影响中国信息通信研究院中国信
18、息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院GOPS 全球运维大会 2024 深圳站政策助力大模型技术快速发展 随着人工智能技术的飞速发展,大模型在自然语言处理、计算机视觉、语音识别等多个领域取得了显著的突破。特别是在自然语言处理领域,预训练大模型如BERT、GPT系列等已经成为研究和产业应用的标配。2023年政策助推大模型在各行业应用快速落地 2023年7月,国家互联网信息办公室等七部门联合发布了生成式人工智能服务管理暂行办法:鼓励生成式人工智能技术在各行业、各领域的创新应用,探索优化应用场景,构建
19、应用生态体系。2023年12月,国家数据局发布“数据要素x”三年行动计划(征求意见稿):提出以科学数据支持大模型开发,支持开展通用人工智能大模型和垂直领域人工智能大模型训练。北京、上海、深圳、安徽、四川等省市出台大模型产业发展措施:上海市推动人工智能大模型创新发展若干措施等政策,加速大模型应用落地,建设大模型算法及工具开源开放平台,构建完整大模型技术创新体系。近年来国内外大模型技术发展迅猛 国际OpenAI:GPT4Google:BardMeta:LLaMa 国内百度:ERNIE 3.0 文心大模型清华大学:GLM-130B模型阿里巴巴:通义大模型腾讯:混元大模型中国信息通信研究院中国信息通信
20、研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院GOPS 全球运维大会 2024 深圳站大模型基础设施化发展 大模型基础性、公共性、外溢性增强,将成为人工智能技术底座,并成为智能时代的基础设施,像水电一样无处不在,像通信网络一样赋能千行百业。大模型基础设施化包括两种模式,一方面产品方将基础/行业大模型基础设施化,以赋能应用方,另一方面应用方将行业/企业/场景大模型基础设施化,赋能到下游应用中。将基础/行业大模型作为基础设施,提供配套工具支持,自底向上形成IaaS-PaaS-MaaS模型为行业提供模型服务,为用户
21、提供灵活选择。文心千帆大模型平台:是基于百度智能云打造出来的一站式大模型开发及应用平台,支持大模型(含第三方)定制开发,生产专属大模型,提供覆盖全生命周期的大模型工具链。将基础行业/企业/场景大模型作为基础设施,为企业业务系统赋能,提高企业智能化水平。某银行:从场景出发,通过组件化方法快速纳入各类大模型作为基础设施,并逐步构建适应问答、文本向量化等不同场景的模型库。赋能支持产品方应用方大模型基础设施三层通用架构中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院PART 02大模型在研
22、发运营领域的应用现状中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院GOPS 全球运维大会 2024 深圳站大模型现阶段主要应用方式 公有化部署,在训练阶段用户先将数据上传到云存储并做好训练代码和环境的准备,完成训练任务后存储模型并进行模型评测。行业用户可以在公有云直接购买并使用公有云的机器资源,经过精调和二次训练,生成行业用户的专属大模型,并应用于业务系统,这样可以降低行业用户的训练成本。私有化部署,技术服务提供商可提供基础行业模型并部署在用户本地,用户在本地进行数据训练和模型精
23、调,并调用本地算力和存储资源,完成模型二次训练,满足用户对于敏感数据的隐私保护。大模型产业链框架图中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院GOPS 全球运维大会 2024 深圳站大模型分类及应用 根据模型的应用范围和特定性可将大模型划分为通用大模型、行业大模型、垂直大模型和专有大模型。通用大模型以其广泛的适用性和灵活性而受到青睐;行业大模型和垂直大模型则在特定领域内提供更加精准和专业的服务;而专有大模型则为特定组织提供了独特的竞争优势。如,Chat-GPT系列,能够进行文本
24、生成、翻译、摘要、问答等多种语言任务。LLaM A清华发布GhatGLMGPT-4PanGu-如,携程集团开发的基于其应用的旅游行业垂直大模型,同花顺问财大模型HithinkGPT。如,蔚来汽车推出的NOMI GPT大模型、vivo开发的蓝心大模型,普惠更多用户。针对特定任务或场景通用大模型指可处理多种任务和问题的人工智能模型,具有广泛的知识基础和高度的灵活性,能够适应不同的应用场景和需求。行业大模型指针对特定行业或领域的应用需求而设计的人工智能模型。这些模型通常会集成特定行业的数据、知识和业务逻辑,从而提供更加精准和有效的支持。垂直大模型指专注于某一具体应用或服务的人工智能模型。与行业大模型
25、相比,垂直大模型的针对性更强,在特定领域内的表现出色。专有大模型指由特定组织或公司开发,并且通常不对外公开的人工智能模型。专有大模型的优势在于其独特性和保密性,为组织提供竞争优势。针对特定行业企业/机构定制如,医疗行业的大模型、研发运营领域大模型、法律领域大模型等。中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院GOPS 全球运维大会 2024 深圳站行业大模型应用案例谷歌:Med-PaLM,临床医生评分高达92.6%,为首个在美国医疗执照考试中达到专家水平的大模型;首个会看胸部X
26、光片的多模态医学大模型:XrayGLM,可以对胸部X光片进行诊断报告和多轮交互对话。FinGPT 开源的金融大模型,FinGPT 实现了端到端的全流程自动投资框架,机器人投顾,情绪分析,量化交易等功能。同花顺HithinkGPT,以平均75.9分的优异成绩通过CPA、CFA等17个金融行业考试。北大团队发布法律大模型 ChatLaw,为大众提供普惠法律服务;复旦大学团队发布的智慧法律系统DISC-LawLLM,为用户提供专业、智能、全面的法律服务。基于阿里通义大模型2.0的通义法睿支持法律智能对话、法律文书生成、法律知识检索、法律文本阅读等功能。百度Comate可以通过开发中的上下文、评论组合
27、代码,通过读取声明的函数名称来预测代码。同时允许查看建议并手动编辑建议的代码,自动填充重复代码。一种基于OpenAI Codex构建的 AI 辅助编程工具,可根据命名或者正在编辑的代码上下文为开发者提供代码建议并自动编写测试等功能。医疗行业大模型金融行业大模型法律领域大模型研发运营领域大模型金融咨询数据分析个性化康复智能问诊医学影像分析法条检索案情分析文书撰写辅助编码智能测试智能运维中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院GOPS 全球运维大会 2024 深圳站研运大模型国
28、内外实践现状GitHub CopilotGitHub Copilot 是一种基于OpenAI Codex构建的 AI 辅助编程工具,可根据命名或者正在编辑的代码上下文为开发者提供代码建议并自动编写测试等功能。Copilot 接受了来自 GitHub 上公开可用存储库的数十亿行代码的训练,它支持大多数编程语言,但官方建议使用 Python、JavaScript、TypeScript、Ruby 和 Go。清华大学 CodeGeeXCodeGeeX是清华大学发布的一个具有130亿参数的多编程语言代码生成预训练模型。CodeGeeX采用华为MindSpore框架实现,在鹏城实验室“鹏城云脑II”中的1
29、92个节点(共1536个国产昇腾910 AI处理器)上训练而成。OpenAI Codex是一种基于 GPT-3 的自然语言代码系统,可以将自然语言指令转换为十几种流行的编码语言。Codex 于去年 8 月通过OpenAI 的 API 发布,是 GitHub Copilot 的主要构建块。华为 PanGu-CoderPanGu-Coder是基于华为的预训练语言模型PanGu-Alpha演进而来的代码生成模型,在模型训练的高效性以及函数级生成与补全性能上均达到业界领先的水平。目前PanGu-Coder已经集成在华为云的代码开发辅助工具中进行内测。Baidu Comate在工程师开发过程中,Coma
30、te可以通过开发中的上下文、评论组合代码,通过读取声明的函数名称来预测代码。同时允许查看建议并手动编辑建议的代码,自动填充重复代码。Comate支持主流IDE框架,目前已覆盖30+语言,尤其在C/C+、Python、Java、Go、PHP、JavaScript等多个主流语言表现出色。谷歌 AlphaCodeAlphaCode 在号称全球最强算法平台Codeforces 上的 5,000 名用户解决的 10 项挑战中进行了测试。AlphaCode能够以与人类完全相同的格式在这10项挑战中自动输入代码,生成大量可能的答案,然后像人类程序员一样通过运行代码和检查筛选出可行答案,最终在人类程序员中取得
31、了排名前 54%的好成绩中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院PART 03大模型驱动的研发运营场景展望中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院GOPS 全球运维大会 2024 深圳站研运大模型技术:通用大模型+场景Transformer模型最初由Google的研究人员在2017年提出,它是一种基于自注意力机制的深度学习模型,用于处理序列数据。行业/领
32、域大模型在Transformer的基础上进行了扩展和优化,以适应特定的应用场景和数据类型。通用大模型底座研运大模型技术能力目前的大模型主要采用Transformer的Decoder形式,这种架构具有模型复杂度低、上下文理解能力强、语言能力强和预训练效率高等优点。Transformer模型架构通过交互反馈,大模型可以更快地学习到复杂的行为策略,尤其是在那些难以直接编写精确奖励函数的任务中。这种方法特别适用于需要大量的数据和复杂的行为策略来处理高级任务。训练/奖励反馈机制研运场景私域数据研发领域:历史代码段、注释、提交记录等;测试领域:测试用例、指标、缺陷记录等;运维领域:系统日志、故障记录、监控
33、等。中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院GOPS 全球运维大会 2024 深圳站研运大模型:大模型在软件研发运营领域应用的核心 大模型是指具有大规模参数和复杂计算结构的机器学习模型。研运大模型是专门针对软件研发、测试、运维领域的大型预训练模型。基于开源大语言模型,通过私域研发运营数据定制化训练形成,以私有化方式部署为主,用于辅助软件生命周期中的各个阶段。构建基于私域数据的研运大模型赋能软件研发运营提质增效p 研运大模型的应用前景广泛,可以应用于代码生成、自动化测试、日志
34、分析、故障诊断、性能优化等多个方面,有望显著提升软件研发和运维的效率和质量。p 基于开源大语言模型底座构建研运大模型涉及多个步骤,包括选择合适的开源模型、定制化训练、集成领域特定知识和工具、以及部署和优化。开源大语言模型底座研发运营大模型12研发运营基座模型基于公域研发运营领域语料、知识图谱进行预训练、微调、提示工程。基于私域研发运营语料、提示工程、外挂知识文档。私有化部署文档与知识管理交 互 式 查询与支持产品工具集成多模态处理分析能力智能分析领域专业性中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研
35、究院中国信息通信研究院GOPS 全球运维大会 2024 深圳站研发运营大模型与通用大模型的区别分析“行业专家”定制化应用成本效益对研发运营领域具有深入理解,处理特定问题更加高效。专业性强 效率更高可定制化拓展多种研运领域的应用需求。处理问题针对性更强 可衍生多种定制化应用专有大模型可以根据实际需求进行优化,避免不必要的功能和计算资源浪费,从而实现更高的成本效益比。“博古通今”开放性具有广泛的知识基础,但在特定任务上的表现不如行业/专有大模型。泛化能力更高能处理多种问题它们能够处理各种类型的输入和输出。更广的用户群体。更高的灵活性。由大型科技公司或研究机构开发,并以API服务的形式提供给公众使用
36、。由于其规模和复杂性,通常需要大量的计算资源进行训练和维护,维护成本较高。灵活性研发运营行业大模型通用大模型 通用大模型具有广泛的知识基础、可灵活处理多种问题,往往是公开的,但资源消耗与维护成本较高。研发运营行业大模型在研发运营领域更加专精,处理特定问题效率更高,并可以衍生多种定制化工具,助力企业提高生产力,且成本效益比更高。中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院GOPS 全球运维大会 2024 深圳站大模型全面赋能研发运营领域高质量发展 可以基于基础大模型,通过研发运营
37、领域的专有数据集的训练、模型调优等步骤,形成研发运营领域的专有行业大模型。企业可以基于研运行业大模型进行二次训练后形成多种开发测试辅助工具,用于增强软件开发、设计、需求、测试、发布和运维等各个环节中的能力,全面提高研运质量和效率。辅助编程代码生成、代码检查、代码转换.智能运维运维知识问答、异常检测、根因分析.智能测试功能用例生成、自动化脚本、精准测试.研发运营行业大模型模型训练行业大模型行业大模型应用中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院GOPS 全球运维大会 2024
38、深圳站软件研运大模型构建方式 打造研运行业大模型,高效的工具与流水线化加工扮演着至关重要的角色,包括语料收集与治理、基座模型选择与预训练、模型微调、模型评测与优化等。语料收集与治理行业大模型的预训练模型微调模型对齐模型评测与优化根据业务需求,选择合适的模型框架体系,利用通用语料,结合行业专用语料训练,使其具备通识能力和行业语言理解能力。行业大模型的预训练过程,需要对大规模的行业无监督数据进行自监督训练和有监督调优。在大模型训练时引入意识形态、公序良俗等价值观对齐语料的作用是,确保模型在实际运用中能够有效识别和过滤有害信息,构建更安全、更负责任的大模型,确保技术应用与社会道德及法律法规相一致。通
39、过将负面标签语料、价值观对齐语料纳入训练集,模型会学习到哪些内容是不合适的,从而在用户与模型交互时能够识别出潜在的负面意图或请求,并采取相应的处理措施,如警告、拒绝回应或报告给后台人员。针对行业大模型,收集大规模高质量的行业专用语料,开展语料治理,包括数据清洗、格式转换、数据标签化等。基于预训练的行业大模型,行业管理部门、经营机构等可以使用私有语料开展模型微调。目前行业大模型常用的精调算法包括有监督精调和参数高效精调等。通过模型微调,行业机构即使在算力资源受限的情况下,也可以利用已预训练好的大模型迅速适配特定专业领域的任务,实现高效的迁移学习。微调技术包括prompt tuning、prefi
40、x tuning、LoRA、p-tuning和AdaLoRA等。定期评测模型的性能,并根据评测结果进行优化,涉及调整参数、使用不同的训练策略或引入提示词工程等。从技术角度分析,大模型的进化依靠人工反馈的强化学习,其采用的数据标注与过去那种用低成本劳动力完成的简单数据标注工作有所不同,需要专业的人士来写提示词,针对相应的问题和指令,给出符合人类逻辑与表达的高质量答案。但由于人工与机器的交互存在一定的隔阂,比较理想的模式是通过模型之间的交互来进行强化学习,即依靠模型反馈的强化学习。中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通
41、信研究院中国信息通信研究院中国信息通信研究院GOPS 全球运维大会 2024 深圳站软件研运大模型参考架构通过研运大模型的构建,形成了面向行业各场景的研运大模型框架。大模型将基于基础公共语料及行业研运数据私有语料,提供面向场景的应用服务平台。模型应用风险管理与审计研运大模型应用服务平台 通用语料 行业专用语料 私有语料(企业内部代码、用例、文档等)应用场景行业研运数据语料研运大模型生成 基于大模型开源框架 基于通用大模型底座 大模型开发管理工具 研运基座大模型预训练生成迭代 统一算力供给 行业通信专网 行业私有云资源公共基础设施 模型开发标准、模型能力标准 模型应用标准、模型应用能力 大模型训
42、练/推理服务、大模型微调服务 样本和提示工程、大模型优化服务 大模型测评与人类对齐 计算框架、训练框架 推理框架、资源调度框架中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院GOPS 全球运维大会 2024 深圳站研运大模型场景能力现状大模型技术在研发、测试和运维领域的应用正逐步成熟,未来将更加注重与现有工具和流程的集成,提供更加个性化和智能化的服务。同时,随着模型能力的不断提升,可以预见大模型将在提高软件开发效率、降低维护成本、提升系统稳定性等方面发挥更大的作用。代码生成与辅助:
43、通过理解自然语言描述和上下文,自动生成代码片段或提供代码补全建议。代码理解和重构:利用大模型进行代码理解和重构,帮助开发者识别代码中的潜在问题,提供改进建议。自动化测试用例生成:利用大模型自动生成测试用例,减少人工编写工作量,提高测试覆盖率。缺陷检测与预测:通过分析代码和运行时数据,预测潜在的缺陷和性能问题。日志分析与异常检测:大模型能够分析日志数据,识别异常模式,及时报警。故障诊断与根因分析:通过分析系统日志、监控数据等,快速定位故障原因。p 模型与工具集成:大模型将与现有的IDE和代码托管平台更深度集成,提供无缝的代码生成和辅助体验。p 多语言支持:研发大模型将支持更多编程语言,提高跨语言
44、项目的适应性。p 个性化定制:根据开发者的编码习惯和项目需求,定制个性化的代码生成和辅助工具。p智能测试管理:大模型将协助管理测试用例,优化测试流程,提高测试效率。p交互式测试:通过自然语言交互,让非技术背景的测试人员也能轻松创建和管理测试用例。p测试结果分析:利用大模型对测试结果进行深入分析,提供更详细的失败原因和修复建议。p实时监控与响应:大模型将实现更精细化的实时监控,快速响应系统变化。p预测性维护:利用历史数据和模式识别,预测系统潜在问题,提前进行维护。p多模态数据融合:结合日志、监控数据、事件等多种数据源,提供更全面的运维视角。蚂蚁集团基于百灵大模型推出了蚂蚁百灵研发助手CodeFu
45、se。CodeFuse帮助开发者自动生成代码、注释、测试用例等。字节跳动的智能单测项目,探索大模型在单元测试生成中的应用。该项目通过使用大模型生成单元测试,已经在实际业务中落地。擎创科技与复旦大学共研的擎智运维大模型,该模型能够提升日志和告警的可读性,并自动生成处理方案,为运维人员提供灵活的多类型数据探查能力。中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院GOPS 全球运维大会 2024 深圳站研运大模型主要应用场景-研发场景研发大模型场景研究需求设计项目开发度量协同辅助需求引导
46、辅助进度跟踪辅助代码生成辅助度量设计辅助业务知识问答辅助需求审核辅助工作量度量智能API编排智能分析定位辅助研发知识问答辅助制定需求文档辅助项目报告智能代码审查辅助质量监控辅助研发进度同步1.自动代码补全,单行和多行的补全续写。2.多轮对话完善生成代码。3.对已有代码进行重构、优化。能够正确执行预期的功能。与上下文的相关度。包含必要参数与逻辑。风格、命名约定、代码结构一致性。具有清晰的注释及变量名。可直接集成至项目中,无需大量修改。代码错误率。包括语法错误、逻辑错误、事实错误等。当前短期(1-2年内)中长期(3-5年内)p 梳理研发场景应用,根据软件研发各阶段能力现在分为:需求设计、项目、开发
47、、度量、协同五部分。以开发-辅助代码生成场景能力为例,研究该场景能力演进趋势,并拟定对应的有效性评价指标。关注生成的代码能否有效提升代码开发效率。1.功能描述生成代码。2.按需抽象的上下文生成代码。3.多语言代码生成结果。1.前后端组件库生成完整应用。2.代码生成过程的步骤可视化。3.基于现有应用框架多次需求迭代。评价指标Comate 是由百度基于文心大模型研发的编程辅助工具,提供自动代码生成、注释生成等功能,支持上百种编程语言。此外,Comate 还支持私有化部署,让大模型以更安全的方式学习企业业务代码和流程,更契合行业与业务的需求。中国信息通信研究院中国信息通信研究院中国信息通信研究院中国
48、信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院GOPS 全球运维大会 2024 深圳站研运大模型主要应用场景-测试场景测试大模型场景研究测试设计测试用例测试执行持续反馈辅助测试计划辅助单元测试用例生成精准测试辅助缺陷自动修复辅助缺陷预防辅助集成测试用例生成辅助生成测试报告辅助跟踪测试缺陷辅助测试计划审核辅助功能测试用例生成辅助测试问题复盘测试覆盖率:调整前后对新功能和已有功能的覆盖率对比,验证有效性。反馈时效性:指标偏离是否预警并提示。异常出现到提示的时间。测试用例执行质量:生成单元测试案例的数量与成功执行的比率。指标变化前后,单元测试
49、案例的差异性,验证生成及推荐测试用例的有效性。p 测试执行-精准测试:运用大语言模型技术辅助对测试过程的活动进行监控,将采集到的监控数据进行分析,得到精准的量化数据(测试用例的执行次数、缺陷检出率、缺陷密度等),并使用这些量化数据进行质量评价,从而促进测试过程的不断完善,形成度量及分析闭环。1.理解代码逻辑和适用规范2.选择冒烟测试用例范围并自动化执行3.选择回归测试范围及标注当前短期(1-2年内)中长期(3-5年内)1.对测试指标数值变化异常的监控和感知2.交互式的更新异常判断标准1.根据评价指标变化智能化生成单元测试案例及推荐能力2.对白盒测试下生成测试用例的可解释性3.对多评价指标、多测
50、试场景组合下的综合解释和分析网易严选团队对精准测试进行了落地,支持手工测试场景和自动化测试场景,实现数字化的多维测试辅助。在测试阶段,通过覆盖率分析获取测试版本变更部分的测试覆盖情况,帮助测试人员分析测试完成度并进行查漏补缺。评价指标中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院GOPS 全球运维大会 2024 深圳站研运大模型主要应用场景-运维场景运维大模型场景研究监控管理事件与变更管理高可用管理容量与成本管理业务连续性管理用户体验管理配置管理智能监控采集 辅助事件管理辅助应用
51、高可用管理辅助容量预警 辅助风险演练 辅助体验管理辅助运营配置管理辅助故障定位 辅助变更管理辅助资源优化用户体验评价 智能拓扑识别辅助告警配置 变更轨迹追踪辅助容量调度用户体验优化建议监控数据的分析和响应速度。监控数据类型支持程度和覆盖程度。运维专业术语的理解度。数据异常和趋势识别准确性。新数据源集成和分析速度。采集任务规划合理性。p 智能监控采集:运用大语言模型技术,通过对系统数据进行检测并采集,并对采集到的数据进行处理和解读,提取出有价值的信息,如异常事件、趋势分析等,实现异常风险的实时监控、预警,提升运维工作效率和系统安全性。1.对多维监控数据进行分析、总结、描述2.综合分析资源健康状态
52、3.生成系统健康度评估报告当前短期(1-2年内)中长期(3-5年内)1.对运维数据结合文本信息进行向量化用于故障预测场景2.归因,预测,诊断,推荐1.关联环境数据进行多维分析,生成知识表达2.按运维场景对采集指标进行针对性分析3.设备的故障风险预警深瞳智维大模型,通过训练IT运维领域智能体(Agent)基座模型,自动生成运维异常事件解决方案、自动调用工具完成运维作业,将应用批量扩容、AZ平面智能切流、应用服务智能重启等常用故障恢复手段赋能产品。评价指标中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院
53、中国信息通信研究院GOPS 全球运维大会 2024 深圳站研运大模型痛点问题及核心目标研运大模型需要大量的计算资源进行训练和推理,包括高性能的GPU和CPU及大规模存储计算资源紧缺传统的模型评价方法不适用于研发运营等领域级大模型,需要开发新的评估体系和指标难以有效评价研运大模型可能也会受到对抗性攻击,需要采取额外的安全措施来保护模型和数据数据安全风险现有的工具和平台可能需要进行修改或升级,以支持研运大模型的部署难以集成兼容研运大模型的决策过程需要高度的准确性、一致性、可解释性,容易产生“幻觉”问题可解释性低维护和更新需要研发运营领域专业知识,且需要符合最新业务场景需求维护成本高产业发展提高软件
54、开发的速度和质量降低维护成本和复杂性增强系统的稳定性和可靠性企业实践技术提升痛点问题核心目标p 研发运营大模型发展所面临的主要痛点包括计算资源的高需求、数据安全与隐私保护的挑战、模型可解释性的缺失、内容可信度的风险等。为了应对这些问题,核心目标集中在加速技术迭代、定制化行业应用,构建健康的技术生态,推动模型的商业化落地,助力研发运营大模型高质量发展。中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院GOPS 全球运维大会 2024 深圳站ThanksCAICT数字化治理l 最新行业动态l 标准、研究成果欢迎关注中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院感谢大家观看THANKS中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院中国信息通信研究院