《陈云辉—网宿边缘智能平台与AIGC探索.pdf》由会员分享,可在线阅读,更多相关《陈云辉—网宿边缘智能平台与AIGC探索.pdf(22页珍藏版)》请在三个皮匠报告上搜索。
1、边缘智能平台的应用实践与AIGC的探索网 宿 边 缘 智 能 平 台 资 深 架 构 师:陈 云 辉目 录网宿边缘智能平台快速部署只需简单配置,即可实现应用的快速上线部署,支持便捷的批量启动容器,提升托管便利性。基于Kubernetes构建,可以纳管丰富的资源类型,支持多种服务形态,提供多样的架构。开放兼容可以将AI能力延伸到边缘,支持视频智能分析、图像识别等,就近提供实时智能边缘服务。AI应用边缘设备只需少量资源空间即可作为边缘节点进行纳管,纳管方案极简轻量。极简轻量云边建立双向加密通道,双向消息收发通过证书认证、加密。终端设备使用证书进行身份认证。安全可靠网宿边缘智能平台(Edge Clo
2、ud Container Lite)是基于网宿丰富的节点管理和调度能力,针对边缘计算场景推出的云边一体化协同托管方案。既能纳管网宿广泛的边缘设备,也能纳管客户的边缘设备,将云上应用延伸到边缘,满足客户对边缘计算资源的远程管控、数据处理、分析决策、AI应用等诉求。平台特性:本地资源云端托管,快速构建边缘计算的云原生基础设施。网宿边缘智能平台架构智慧农业工业互联PCDN/HomeCDN园区安防应用边缘节点生命周期管理边缘应用生命周期管理API ServerCloudCloudEgdeEgde边缘安全边缘AI边缘应用镜像服务云存储PODPODPODPODARM/X86/GPU/FPGA架构裸机/虚拟
3、机/智能盒子终端设备/摄像头/传感器MQTT公网/专线/VPN 3、安全接入1、极轻极简2、异构、开放、兼容4、离线自治6、接入方式丰富5、高兼容性支持轻量化容器,最小可支持1C128M的边缘设备;极简运维,设备批量接入、大规模管理、统一监控运维兼容X86,ARM、GPU等异构设备统一纳管,支持多样系统架构及多种服务形态灵活的边缘云网络接入VPN、专线、互联网边缘断网或网络不稳定时,业务可本地自治100%兼容Kubernetes原生API,可实现管理边缘节点和设备支持通过docker容器、二进制程序方式接入,保障新老设备都能管理架构特点网宿边缘智能平台应用管理支持规格设置(CPU、内存、GPU
4、等资源限制)、部署需求配置(资源池、实例数)、容器运行所需环境配置(存储管理、启动命令、环境变量、服务健康检查、配置管理等)客户只需申明所需规格,由平台统一资源调度,自动完成镜像下发和部署操作。支持实时查询应用容器状态,查看线上容器数、镜像版本、应用状态监控查看、更新时间等信息。可以对应用进行管理、进行滚动更新升级、启动、停止、扩缩容和删除的操作,支持销毁容器实例容器配置部署调度状态监控基本管理目 录网宿边缘智能平台:节点纳管媒体医疗CDN节点进一步下沉,通过边缘网络的闲置资源提供高质量、高性价比的内容分发服务。下沉设备数量达到十万级别。需对全球海量的CDN边缘设备进行管理,包括部署升级、调度
5、、监控等。想使用云原生技术对架构进行升级改造,更好的支撑资源复用等场景。使用网宿边缘智能平台ECC Lite在全国各地的设备上运行容器,然后在容器上运行CDN服务,中心管理平台实现边缘站点进行统一管理,帮助用户实现应用自动化调度、边缘站点和边缘应用运维。方案架构示意图转码/切片/渲染部署升级智能调度日志上报北京CDN边缘节点边缘智能平台ECC Lite网宿云福州CDN边缘节点容器X86物理机转码/切片/渲染苏州CDN边缘节点容器X86虚拟机转码/切片/渲染容器ARM盒子需求背景业务痛点实现方案网宿边缘智能平台:节点纳管 交换机采用堆叠架构,同一台服务器同时接2台交换机;节点内管理组件采用主备备
6、架构,降低管理组件故障风险。公司内部产品已稳定使用3年+纳管十万级别边缘机器内部业务长期考验中心节点高可用架构网宿边缘智能平台监控服务依托于CDN平台大型运维监控体系(10万+服务器规模),具有全面、成熟、及时等等优势。对边缘计算平台的资源监控全面到位,保障服务的稳定持续。全方位监控网络是否中断、丢包、跑高等。云节点网络监控是否宕机、端口异常、丢包、跑高等。交换机监控是否宕机、重启、cpu温度过高、cpu降频、网卡丢包等。宿主机监控提供监控agent,监测虚拟机、容器进程是否正常。虚拟机、容器监控监控虚拟化管理组件是否异常。管理组件监控网宿边缘智能平台:AI应用媒体医疗安防、智慧生活中有大量的
7、智能终端设备,通过边缘节点就近进行分析、预处理、联合控制及告警,及时作出反馈,实现智能终端与中心轻量级解耦,有效缓解中心节点计算、网络、存储等压力。1、智能终端上报数据量大,无效数据较多,需要进行筛选与分析;2、智能终端数量多,应用与配置更新频繁,整体运维复杂,人力投入大;3、AI边缘推理需要经常批量更新模型。通过网宿边缘智能平台ECC Lite,一站式管理各家云厂商、客户自有资源等,轻量化一键式部署,实现数据就近采集、处理与分析,及时作出反馈。有效节约厂家搭建平台的开发成本 支持私有化部署,保障数据安全性方案架构示意图A地终端摄像头B地终端摄像头C地终端摄像头A地现场服务器B地现场盒子C地现
8、场服务器边缘节点模型推送数据回传边缘智能平台ECC Lite推流网宿云推流推流终端设备人脸识别模型车牌识别模型行人检测模型需求背景核心痛点实现方案方案价值目 录大模型时代,机会在哪1、在垂直领域发展行业大模型(基于预训练好的大模型做二次增量训练),在达到基本能力要求上,寻找较低的参数规格。如参数在100200亿的行业大模型,对算力的要求没那么高,模型的推理可能只需1到2个3090的消费级GPU就可满足。2、每个行业会有属于自己的大模型,甚至每个企业也会有自己的专属大模型。大模型的领域化、低成本化是一种趋势。开源与闭源的性能差距,会影响后续整个生态的发展,如果开源性能差距过大(例如当前开源最好的
9、大语言模型llama,650亿参数,性能只达到gpt 3.0的早期版本,与当前gpt 4.0差距较大),对性能有要求的应用场景,只能依赖大厂的闭源模型。像文生图领域,因为开源的stable diffusion性能不错,围绕它的整个生态发展较好,很多个人、小工作室、公司都有基于开源sd模型做的产品,特别是在电商、设计、广告营销、游戏等领域,应用已经较为广泛和成熟。1、当前大模型的使用范式主要为:预训练大模型+微调训练+提示词工程,针对不同行业、不同应用场景,灵活组合。2、预训练大模型:从0开始训练一个大模型训练周期长,GPU需求大,成本高。闭源未来只有少数公司有能力、有意愿做这件事,开源社区会形
10、成几个性能较好的基础大模型。3、微调训练+提示词工程:基于预训练好的大模型(开源或者闭源)进行领域知识微调训练或添加提示工程,再应用到具体的场景,算力成本较低,而且离业务更近,是当前AIGC创新很快的一个方向,如何更好的落地具体的应用场景,更好的提升生产力是当前很多公司都在探索的,这方面有很多可能性。AIGC未来发展的可能开源与闭源大模型应用网宿边缘计算优势内生于网宿CDN的资源协同优势;基于全球2800个节点打造轻量化边缘云平台,节点分布广泛,平台运营经验丰富媒体医疗1、随着多模态发展,生成的内容可能是图片、语音或视频文件,并且AIGC在各行各业的应用会越来越广泛,推理相对训练的成本比重将越
11、来越大,对流量需求也将越来越大。2、AIGC模型领域化、小型化、轻量化技术也在发展,未来对算力要求会持续降低。大模型推理运算可以从中心下沉到边缘推理,有更低的带宽成本、更快的响应速度。1、训练:对比中心,边缘没什么优势,但也能跑大模型的LORA微调训练。2、推理:边缘推理值得期待。3、生态:基于开源模型生态,而不是其它厂商的闭源模型。对于我们来说,推理 训练,训练场景中,微调训练 大模型的全量预训练。所以我们重点关注边缘推理跟基于开源模型的二次微调训练相关的方向。网宿边缘计算+AIGC推理 训练网宿边缘计算+AIGC的机会目 录AIGC的探索方向1、大范围、低成本、低延时地提供大模型推理服务需
12、要边缘化;边缘推理需要轻量化。2、大模型轻量微调训练方法,能大大降低大模型个性化、领域化的适配成本。对AIGC在垂直应用场景的落地起到促进作用。1、通过使用模型量化、蒸馏、剪枝等技术,降低模型运行大小,提供高性价比的边缘推理服务。2、集成LORA、QLORA等轻量微调训练方法,降低模型微调成本,用户可自行选择适合自己应用场景的训练方案。3、GPU虚拟化:提供更细粒度的GPU资源,提高GPU利用率、降低GPU算力成本的同时,保障业务运行的隔离性,可靠性和性能。核心:轻量化关键技术媒体医疗量化推理INT8 量化示意图效果大模型的参数量巨大,整个推理过程,显存要求高,如何保证推理精度的同时最大程度节
13、省资源,降低成本,对于边缘节点来说,这个问题很关键。模型量化就是通过某种方法将权重值进行缩放。比如说原来的模型里面的权重都是float32,通过模型量化,将模型变成权重都是int8的模型。1、减小模型尺寸,例如8位整型量化可减少75%的模型大小。2、加快推理速度,访问一次32位浮点型可以访问四次int8整型,整型运算比浮点型运算更快模型量化会损失一定的精度,虽然在优化后可以减少精度损失,但推理精度确实会下降。需求背景什么是模型量化优点缺点医疗LORA训练大模型的参数量巨大,在这个基础上进行所有参数的微调成本非常高,在一些应用场景上不可接受。LORA正是在这个背景下提出的解决方案之一。1、训练时
14、,原模型固定,只训练降维矩阵A和升维矩阵B,以极小的参数量来实现大模型的间接训练,大大降低训练的时间跟算力成本。2、推理时,可将BA加到原参数上,不引入额外的推理延迟。3、可插拔式的切换任务,加载不同的LORA参数矩阵,即可实现任务切换;开源图像生成模型Stable Diffusion的各种LORA风格训练。大语言模型(例如LLama)的增量训练。LORA效果:在原模型旁边增加一个旁路,通过低秩分解(先降维再升维)来模拟参数的更新量需求背景优点应用场景媒体医疗产品形态1、依托网宿边缘计算节点,提供边缘GPU算力平台,支持包括3090等消费级GPU。2、支持GPU虚拟化,满足轻量AI任务场景的需
15、求。1、基于开源预训练大模型,提供包含模型微调训练、性能评估、部署监控、轻量化推理等功能的端到端大模型服务平台。方便客户打造自己专属的的大模型。2、深耕大模型轻量化技术,降低客户大模型应用落地成本。1、提供开箱即用的基于私有大模型的企业知识库解决方案。2、提供电商领域的图像生成解决方案,例如AI模特。边缘GPU算力平台垂直领域解决方案开源大模型训练部署平台这几个分别对应IAAS层,PAAS层,SAAS层。未来我们将提供全栈的解决方案,核心思路就是降低AIGC技术的使用门槛,我们相信,AIGC应用得越广泛,我们的边缘智能平台就越有用武之地。这就是机会,也是方向。成立于2000年,2009年于深交
16、所创业板首批上市(300017),是全球领先的信息基础设施平台服务提供商,业务遍及全球70多个国家和地区。公司始终致力于助力产业数字化转型升级,满足用户随时随地、安全、可靠的数据处理及交互需求。公司专注于边缘计算、云分发、云安全、云计算、云服务及绿色数据中心业务,帮助企业技术创新实践,是产业数字化转型升级值得信赖的合作伙伴。公司现有员工2300余人,在厦门、深圳、韩国首尔、美国硅谷等四地设立研发中心,研发技术人员占比55%。全球领先的边缘计算及安全服务提供商网宿科技服务覆盖全行业十大电商平台60%选用网宿十大游戏厂商60%选用网宿十大手机品牌80%选用网宿服务十大家电品牌80%选用网宿服务五大航空公司60%选用网宿服务六大国有银行100%选用网宿十二大股份制银行80%选用网宿服务十大城商行70%选用网宿服务十大证券80%选用网宿五大保险70%选用网宿服务部委单位20+选用网宿服务央国企行业20+选用网宿服务十大央媒50%选用网宿多项国家级重大事件阅兵、两会、春晚、奥运会等网宿100%参与教育高校近百所高校选择网宿服务十大在线教育企业60%选用网宿服务深受中国产业信赖网宿科技 中国产业数字化发展的中坚力量产业数智化升级的赋能者致力于成为