《秦思思-大模型火热背后的 MLOps 发展现状和趋势.pdf》由会员分享,可在线阅读,更多相关《秦思思-大模型火热背后的 MLOps 发展现状和趋势.pdf(28页珍藏版)》请在三个皮匠报告上搜索。
1、2023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站大模型驱动的MLOps发展路径秦思思 高级业务主管(中国信息通信研究院)国际注册信息系统审计师(CISA)、高级信息系统项目管理师、Scrum Alliance 敏捷教练、软件工程造价师,具有十余年金融机构项目管理和质量管理经验,在CMMI、DevOps、研发效能领域有深入研究和实践,并参与软件度量相关的国标和地标编制及IT审计著作翻译。作为人工智能关键技术与应用评测工信部重点实验室人工智能工程化推进委员会人工智能研发运营小组组长,目前重点跟踪研究人工智能工程化(包括MLOps、LMOps、AI治理、模型管理、模型评测等
2、)的发展,牵头系列标准的编制、评测、咨询等工作。01大大模模型型发发展展现现状状02大大模模型型对对M ML LO Op ps s带带来来的的挑挑战战03M ML LO Op ps s发发展展新新路路径径04信信通通院院工工作作介介绍绍目目录录C Co on nt te en nt t2023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站大模型百家争鸣,形成AI技术发展新格局大模型生态构建呈现出产、学、研强强联合的趋势。领域头部企业充分发挥优势,纷纷寻求合作。生态构建-强强联合技术能力-持续提升行业应用-拓宽加深社会价值-普惠向善大模型技术能力仍在持续突破,在语言/视觉/多
3、模态/生成等领域的性能取得显著提升。大模型行业应用开始面向具体任务和垂直行业,建、用、管的关注焦点,由训练转向应用。大模型社会价值凸显,不再唯参数规模论,开始强调实用性、普惠性,造福社会。基于智源悟道大模型的冬奥手语播报数字人系统提供全流程智能化的数字人手语生成服务,方便听障人士收看赛事专题报道,提升社会参与度和幸福感国网-百度 文心能源行业大模型GPT-4较GPT-3.5在多项任务取得显著性能提升产学研联合产研联合产学联合产产联合盘古气象大模型盘古矿山大模型盘古电力大模型百度文心千帆大模型平台华为昇思大模型平台火山引擎大模型服务平台阿里云PAI大模型平台各界积极投入研发:互联网企业、AI企业
4、、高校院所、电信运营商、金融机构纷纷入局技术迭代不断加速:大模型更新迭代周期不断缩短,模型发布呈井喷态势从单模态到多模态:语言、语音、视觉、多模态大模型全面铺开落地应用范围不断扩大:大模型不断面向医疗、教育、金融、电力等细分领域拓展应用日日新200211-7月8-12月20221-5月6-10月11-12月1-5月2023GPTBERTERNIE 1.0GPT-2ERNIE 2.0GPT-3GLM-130B通义WeLMChatGPTOPT-IMLSwitch Transformer盘古NLP阿里M6悟道2.0紫东太初ERNIE 3.0ERNIE 3.0 TitanMT-N
5、LGDALLE 2GatoPaLM混元通义千问LLaMAGPT-4文心一言MOSS孟子星火360智脑玉言2023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站大模型技术能力多维提升大模型能力持续升级,有望成为人工智能技术底座语言实体识别文本分类信息检索机器翻译文本摘要情感分析代码生成常识问答语音语音识别语音合成方言识别声纹识别语种识别多模态图文生成图文问答图文检索图片-代码生成多模态写作视觉物体识别动作识别目标检测图像分类语义分割其他数学计算结构预测气象预测识别能力理解能力预测能力分类能力生成能力Transformer 开创了继 NLP、CNN和 RNN之后的第四大类模型来
6、源:Harnessing the Power of LLMs in Practice:A Survey on ChatGPT and Beyond2023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站大模型应用落地向各行业辐射大模型性能持续提升,多维展现技术能力14.251.2OpenAI CLIP悟道文澜图像:RUC-CAS-wenlan评分+37.0%性能提升6989.890.6BERT人类基线ERNIE 3.0超越人类语音:CIDEr-D评分23.3535.09MSVLPT紫东太初+11.74%性能提升文本:SuperGLUE 评分大模型功能持续进化,赋能多个垂直场景
7、3.96%检索效果提升20%生成效果提升语音助手故事生成跨模态检索87.5%人工成本降低95%测试效率提升不良网站治理移动业务质量检测2%意图识别效果提升搜索领域:重塑检索结果的呈现,例如:微软的“NewBing”办公领域:打造智能化平台,例如:微软的“Copilot”;阿里的钉钉;金山的“WPS AI”;飞书的“My AI”;百度“如流”金融行业:赋能智能客服和投研能力 例如:彭博社“BloombergGPT”;工行金融通用大模型;农行“ChatABC”;金融顾问“4K-GPT”;LightGPT大模型教育行业:个性化、启发式教育模式变革探索中,例如:科大讯飞“星火”;网易有道“子曰”;学而
8、思数学大模型“MathGPT”医疗行业:提升线上问诊和实体医院的医疗效率,例如:谷歌Med-PaLM多 媒 体:使用文字生成图像、音频等,例如:Adobe的“FireFly“法 律 界:法律内容搜索和总结、合同和简报起草,例如律商联讯Lexis+AI大模型赋能行业应用成为AI发展新趋势TM随着大模型性能和功能持续提升,过去几个月,科技巨头们推出一波又一波通用大模型,未来行业大模型将如雨后春笋般出现大模型为行业带来的影响:大模型的应用进一步推动人工智能开发从“作坊式”到“工业化”升级,降低AI应用门槛,促进AI普惠化。大模型使行业竞争更加激烈,使用大模型提高产品和服务竞争力,将为企业带来长期持续
9、的竞争优势。大模型的应用生态将创造出更多商业机会和就业机会,智能涌现将有可能重塑商业和社会秩序,为行业变革带来契机。2023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站大模型平台落地趋势:使大模型更加下沉更加普惠大模型平台重点关注大模型供需双方的匹配,1+N模式或将成为主流生产模式,1个大模型+N个插件、模型、软件、应用.平台工具作为AI大模型淘金时代的铲子形成多种交付模式,促进大模型普惠化进程APIPaaSSaaSMaaS平台工具逐渐成熟,推动大模型产业化加速环境部署数据预处理预训练微调模型压缩推理部署插件化行业需求和应用场景丰富,大模型产业落地阶段开启金融行业营销客服
10、投研投顾电力行业交通行业巡检故障诊断信控规划其他行业电信行业咨询办理客服助手01大大模模型型发发展展现现状状02大大模模型型对对M ML LO Op ps s带带来来的的挑挑战战03M ML LO Op ps s发发展展新新路路径径04信信通通院院工工作作介介绍绍目目录录C Co on nt te en nt t2023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站大模型的特点和挑战大模型缺乏足够的专业领域数据,“幻觉”问题凸显,无法获取实时数据,推理结果缺乏足够的准确推理更新不及时私有化部署和应用成本高昂,训练是周期性投入,而推理是持续性长期投入应用流程复杂成本高大模型好
11、似可以替代一切工作,又好似壁垒重重,大小模型协同、和插件应用的协同、和应用系统的协同、和知识库的协同将打破重重壁垒应用场景不够灵活大模型波及面广、渗透性强、影响度深,需做好大模型及其应用的安全合规,这可能涉及实现访问控制、加密和其他安全措施安全问题更加显现大模型的特点:参数量大、训练数据量大、泛化能力强、强大的理解能力、强大的生成能力.2023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站大模型落地应用面临的挑战角色面临的困难与问题类别应用方应用场景是什么?如何赋能业务?应应用用拿到了大模型如何微调?如何私有化部署?如何使用私有数据二次训练?数据怎么标注处理?二次训练所需算
12、力够吗?推理所需算力够吗?如何分布式?大模型二次开发平台是采购还是自研?需要哪些功能和性能?如何和其他软件或应用系统对接,如何打造更高级的应用?大模型推理出来的结果可解释吗?答案出现幻觉怎么办?合规吗?可可信信大模型如何管理?数据隐私如何保证?AI工业化生产进程加速,大模型规模化应用仍需突破,在二次开发和部署的应用层面,安全可信层面,均面临诸多挑战。2023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站大模型为MLOps带来的挑战MLOps可以承载大模型工程化过程,解决大模型落地面临的挑战,但MLOps急需能力扩展灵活的数据处理能力12更强大的资源管理调度能力4分布式推理能
13、力3插件等扩展能力5更强大的安全可信能力6大模型调优能力01大大模模型型发发展展现现状状02大大模模型型对对M ML LO Op ps s带带来来的的挑挑战战03M ML LO Op ps s发发展展新新路路径径04信信通通院院工工作作介介绍绍目目录录C Co on nt te en nt t2023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站MLOps概念与原则MLOps是通过连接模型构建团队、业务团队及运维团队,为机器学习模型全生命周期建设标准化、自动化、可持续改进的过程管理体系,使组织规模化、高质量、高效率、可持续地生产机器学习模型。作为AI基础设施之一,MLOps
14、促进各团队高效协作,提升业务价值产出。一般来说,实施MLOps需要遵循的原则包括自动化、持续性、版本化、可监控、可测试、可追溯、可复现、可协作等。基本原则组织应围绕MLOps流程的持续运转,明确角色与分工,可提高多角色间的协作效率,从而提升整体生产效率和质量。角色分工2023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站MLOps发挥着承上启下的作用开开发发管管理理机机器器学学习习流流水水线线管管理理(持持续续训训练练|持持续续集集成成|持持续续交交付付|持持续续监监控控)算力:CPU、GPU、FPGA存储:SSD、NVME基础网络边侧设备端侧设备金融行业新零售智慧城市制造
15、业需求管理数据工程模型开发机器学习框架在线学习框架深度学习框架模型训练引擎强化学习框架资源智能调度引擎(资源隔离|自动弹性扩缩容|错峰调度|在离线混合调度|资源碎片利用|任务优先级控制|)流水线引擎在线推理引擎批量推理引擎模模型型交交付付持续集成部署发布模型测试配置与度量资资产产管管理理模型仓库特征仓库元数据仓库可可 信信安全管控风险管理模型审计可解释、公平.智能运营应用领域M ML LO Op ps s体体系系平平台台框架引擎基础设施数据集市数据中台模模型型运运营营服务高可用运营监控告警与事件管理成本效益管理.外部数据源实时数据批量数据数据标准管理算法仓库MLOps体系平台位于基础设施、数据
16、中台、框架引擎之上,支撑AI模型规模化生产,赋能下游应用场景2023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站MLOps发展历程斟酌发酵阶段(2015-2017)2015年Google首次提出机器学习项目技术债问题,标志着机器学习高效落地问题被明确提出和正视。概念明确阶段(2018-2019)MLOps这一概念被提出并逐步接受。2019年提出的CD4ML理念,阐述了机器学习项目如何开展持续交付,并提出端到端的交付流程。落地应用阶段(2020年至今)2020年以来,产业焦点集中于AI大规模快速落地,布局MLOps平台或工具的需求日益迫切,推动组织数智化转型成为产业界追逐的
17、目标。来源:Hidden Technical Debt in Machine Learning Systems来源:Gartner2023起for 大模型2023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站MLOps for 大模型LMOps(Large Model Operations):MLOps for 大模型,LMOps使大模型通过更加体系化的过程更快获得更优专有能力,适应更多场景落地。数据调优部署监控私有数据处理提示工程微调强化学习集成部署监控反馈LMOps流程化:数据-调优-交付-运营流水线自动化:自动化流水线和工具链持续闭环:模型监控、数据反馈、回流迭代可管
18、理:AI资产管理和协同、资源管理调度灵活协同:与应用、插件、系统、数据库、软件高效协同2023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站LMOps是MLOps面向大模型的垂类分支随着大模型的迅速崛起,LMOps作为重要分支为MLOps补充新型能力,共同构筑AI PaaS金融行业新零售智慧城市制造业智慧运营智能化应用AIPaaS.运营商医疗健康MLOps模型测试数据工程模型开发模型集成模型交付LMOps服务部署结果反馈推理溯源数据回流大模型插件平台能力分布式训练平台部署与推理平台大数据平台统一鉴权调度执行流量控制存储管理监控报警数据API模型文件模型ID服务监控模型部署模
19、型推理模型监控模型维护提示工程模型微调迁移学习强化学习模型压缩安全风险模型安全数据安全服务安全模型鲁棒性模型可解释模型公平性构建集成开发管理模型交付模型运营MLOps模型管理模型安全与风险管理组织结构系统与工具ModelOps需求管理数据工程模型开发平台与资源管理模型监控与维护模型服务连续性管理配置与变更管理部署发布测试管理配置管理度量反馈LMOps大模型应用运营告警与事件管理度量与分析模型成效管理2023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站MLOps+LMOps 助力MaaS服务模式落地MLOps+LMOps共同打造AI模型开发和管理平台,API、SDK等常用的
20、灵活输出方式的出现,使工具化、平台化方式逐渐出圈,为模型即服务模式的落地提供坚实基础,促进包括大模型在内的模型服务实现落地新范式,未来AI服务将像水电一样触手可及模型即服务MaaS基础设施:算力、模型、数据模型调用、定制、部署、运营AI使用者、开发者、研究者.接口调用软件服务AI中枢平台小模型联动大模型+信息系统系统组件各类模型数据库.插件 其他.更低成本全面应用更少门槛无感知更多范式AI for everyone未来从常用的接口调用方式,到大小模型联动、大模型for中枢平台、大模型for软件服务等新方式的出现,为满足应用多样性需求,模型服务能力急需跟上快速算力零门槛,直接使用MaaS平台运营
21、模型简单技术零门槛,直接体验和享受模型服务灵活模型服务输出方式多样,适合各类型使用方定制MaaS以AI PaaS平台为基础,提供定制化开发模型即服务(MaaS)以算力、模型仓库及数据仓库为基础,实现简单、快速、灵活、可定制化的供给模式,形成AI落地新范式01大大模模型型发发展展现现状状02大大模模型型对对M ML LO Op ps s带带来来的的挑挑战战03M ML LO Op ps s发发展展新新路路径径04信信通通院院工工作作介介绍绍目目录录C Co on nt te en nt t2023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站 技术沙龙交流 产业活动峰会 最佳
22、实践推广生生态态建建设设 项目咨询顾问 战略规划指导 从业人员培训 技术公开课程咨咨询询服服务务 标准规范市场 评测推动升级标标准准评评测测 落地实践指南 产业观察报告 技术工具图谱产产业业研研究究工作体系2023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站构建集成开发管理模型交付模型运营M ML LO Op ps s模型管理模型安全与风险管理组织结构系统与工具M Mo od de el lO Op ps s需求管理数据工程模型开发平台与资源管理模型监控与维护模型服务连续性管理配置与变更管理部署发布测试管理配置管理度量反馈L LM MO Op ps s大大模模型型运运营营
23、告警与事件管理度量与分析模型成效管理第第一一级级:基基础础级级第第二二级级:专专业业级级第第三三级级:领领先先级级第第四四级级:卓卓越越级级第第五五级级:领领航航级级初初步步化化,人人工工方方式式初步开展模型开发、部署、上线等工作规规范范化化,具备模型研发和运营管理体体系系及及规规范范,并依据规范初步形成了数据处理、模型开发、模型部署流水线,具备版版本本控控制制能力系系统统化化,具备包括数据处理、模型开发、模型集成和部署,以及模型持续监控和更新维护的机器学习全链路流流水水线线,且流水线支持部部分分自自动动化化执行能力自自动动化化,具备机器学习全链路流水线的全全自自动动化化执行能力智智能能化化,
24、支持机器学习流水线部分环节的智智能能化化学学习习和执行能能力力成成熟熟度度等等级级划划分分开发管理、模型交付已发布,模型运营、大模型运营标准火热进行中MLOps系列标准结构2023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站开发管理标准(2022.4已发布)聚焦AI开发过程管理,助力流程自动化、体系标准化、资产版本化需求分析测试用例设计Start项目计划数据收集数据探索数据处理特征工程模型评估与选择模型构建模型训练模型交付需求管理1数据工程2模型开发3开发管理标准化流程 需求管理混乱,易造成返工 实验复现不合预期 团队协作困难 陷入信息孤岛和重复劳动的困境行业痛点 开发流
25、程出现问题不可追溯 模型生产质量无保障 风险不可控2023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站模型交付标准(2022.10已发布)聚焦持续交付,打造CI/CD/CT流水线,敏捷交付、快速上线、持续迭代构建管理持续集成1.构建集成持续部署发布管理2.部署发布测试执行测试管理3.模型测试环境与资源变更与版本管理4.配置管理指标与数据质量驱动改进5.度量改进01环境不一致导致模型部署困难02交付过程实时监控和预警能力不足03模型测试不成体系,交付质量无保障04模型交付不可持续,交付周期长模型交付标准化流程行业痛点2023 DevOps 国际峰会 暨 BizDevOps
26、企业峰会 北京站模型运营标准(即将发布)l不同团队、不同任务的资源分配和管理困难l模型服务能力不可持续l数据漂移、内容漂移l监控、预警不完善l数据反馈链路不畅通模型开发模型训练模型交付行业痛点模型运营标准化过程平台与资源管理模型监护与维护数据监控业务监控模型监控与维护告警与事件管理度量与分析度量分析行为决策配置与更新管理配置管理变更管理模型服务连续性管理风险管理危机管理应急管理高可用管理成本管理效益管理模型成效管理平台监控平台维护资源管理告警管理事件管理聚焦持续监控,注重模型服务的稳定、安全、高质量和业务的体验、效率、效益2023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京
27、站多多模模态态大大模模型型科科学学智智能能大大模模型型任务型多轮次多模态对对话话大大模模型型开放域风控助理营销金金融融大大模模型型投顾咨询助手客服电电信信大大模模型型办理刻画预测调度交交通通大大模模型型感知能能力力化化语语言言大大模模型型视视觉觉大大模模型型产产业业化化模模型型化化领领域域大大模模型型产产业业大大模模型型基基础础大大模模型型模型训练数据构建模型压缩基基础础设设施施(数据、算力、算法)模模型型训训练练与与压压缩缩平平台台(工具+套件)赋赋能能业业务务 (客服、翻译、设计、助手),服服务务行行业业 (金融、电信、交通、制造)工工程程化化L LM MO Op ps s 模模型型应应用
28、用运运营营平平台台(工具+套件+插件+接口)提示工程模型微调部署发布资源管理监控维护L LM MO Op ps s使使大大模模型型走走向向应应用用,是是M Ma aa aS S的的平平台台化化能能力力之之一一行行业业大大模模型型任任务务大大模模型型大规模预训练模型技术和产品评估方法 第3部分:模型运营LMOps大模型运营标准(即将发布)2023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站信通院MLOps【开发管理/模型交付】能力成熟度评级开放应用成熟度和服务能力两个评测维度基基础础级级增增强强级级旗旗 舰舰 级级专专业业级级领领 先先 级级卓卓 越越 级级领领 航航级级5
29、 5 级级基基础础级级4 4 级级3 3 级级2 2 级级1 1 级级面向应用方,围绕具体的AI模型等项目,客观地评价企业落地MLOps的技技术术和和管管理理水水平平,横向对标企业内不同项目间或不同企业间的应用能力现状,树立行业实践标杆,为全方位持续改进AI项目研发运营管理水平提供参考。面向产品服务方,客观地考察企业MLOps平台或工具能力,并在此基础上系统性评估企业提供AI模型等产产品品的的服服务务能能力力,横向对标企业间的服务能力水平。应应用用成成熟熟度度评评测测服服务务能能力力评评测测12评测介绍2023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站工作进展计划2 2
30、0 02 23 3.5 5大模型运营LMOps标准启动2 20 02 23 3.3 31 1.M ML LO Op ps s实实践践指指南南发发布布会会2.模型运营标准编制启动2 20 02 23 3.1 12 2MLOps实践案例评选可可信信A AI I峰峰会会评评测测结结果果发发布布2 20 02 23 3.4 41.MLOps工具图谱征集活动开展2.MLOps年度第一批评测MLOps工具图谱MLOps实践指南(2023)2 20 02 22 2 总总结结1.开开发发管管理理、模模型型交交付付标标准准发发布布2.开发管理首轮试评测结果发布联联盟盟评评估估规规范范C CC CS SA A行行业业标标准准送送审审I IT TU U国国际际电电信信联联盟盟标标准准立立项项MLOps标准2 20 02 23 3.7 71 1.大大模模型型运运营营LMOps标准发布2.模型运营标准征求意见稿发布3 3.工工具具图图谱谱发发布布2 20 02 23 3下下半半年年MLOps和LMOps第二批评测2023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站ThanksD De ev vOOp ps s 时时代代社社区区荣誉出品