《张婷婷—边缘计算商业化发展的新需求和新突破-张婷婷(for 公开).pdf》由会员分享,可在线阅读,更多相关《张婷婷—边缘计算商业化发展的新需求和新突破-张婷婷(for 公开).pdf(18页珍藏版)》请在三个皮匠报告上搜索。
1、边缘计算商业化发展新需求和新突破中国移动研究院 张婷婷2023.3边缘计算发展新趋势和新需求面向数字经济的信息基础设施新布局2021.72022.2四部委:全国一体化大数据中心协同创新体系算力枢纽实施方案,提出国家枢纽集群和城市内部边缘DC的协同体系工信部:发布新型数据中心发展三年行动计划,优化布局,算力赋能,加强边缘DC互联,提升调度能力,推动算力泛在应用四部委:同意在京津冀、长三角等8地启动建设国家算力枢纽节点,并规划了10个国家数据中心集群,正式启动“东数西算”项目2021.53中共中央国务院印发数字中国建设 整体布局规划,建设高效联通的数字基础设施、提升数据资源规模和质量、推动数字技术
2、和实体经济深度融合2023.2边缘计算行业发展新洞察边缘侧应用场景层出不穷,市场增速持续加快,市场规模持续扩大算随人动、算随需流促使应用向边缘迁移成为产业新趋势计算模式正向云-边-端多级、高度协同的泛在架构方向发展伴随数据规模以及智算需求的指数级增加,2030年智算占比将达到70%AI技术广泛落地,大模型ChatGPT的发布,让国内迎来智算中心建设热潮边缘智能在NLP文本分析、图像视频等多模态分布式推理场景下需求猛增工业互联网、人工智能、大数据等应用对算力的专用化、差异化需求凸显GPU、FPGA、AI芯片、DSA等异构算力需求增长迅猛异构算力发展进入繁荣期,与通用计算一起构成坚实的算力底座4边
3、缘应用场景激增,泛在算力需求大量释放算力结构持续演进,智能算力占比持续增加计算需求呈差异化,异构算力发展不断繁荣边缘计算行业发展新趋势数字经济时代,网络与算力关系更加紧密,深度融合发展:算让网更智能,网让算更强劲,边缘成为算网智融合锚点和触点数字经济的发展,对网络连接提出更高要求行业发展新变化,智能化场景加速算力向多样性、泛在性变化要求优化网络架构,推进省域/区域内3ms以及城市内1ms低时延产业数字化转型升级对网络确定性提出更高要求网络与算力进一步融合演进,催生网络应用感知能力算力内核包括通用算力和异构算力,呈现多样化特征算力形态随着数据处理向边端扩散呈现云、边、端分布,呈现泛在化算力结构趋
4、向智能化5中国移动边缘计算新发展中国移动大力推动网、边、云一体的协同服务,智能加速,助力行业数字化转型 优化资源,加快推进“东数西算”工程建设 加快建设“信息高速”打通经济社会发展信息大动脉“4+N+31+X”数据中心布局,落实“东数西算”工程部署;移动云收入503亿元人民币,公有云市场份额国内增速Top1;合作伙伴1500+,聚合2500+优质应用;110+万基站,全球5G基站占比约30%,实现全国100%市县城及重点乡镇覆盖5.57亿+5G套餐用户;支撑8600+行业示范项目;发布首条5616km最长距离400G光传输现网技术网络(浙江、江西、湖南、贵州),45个光放段6网边云以网带边云边
5、协同云网融合边缘广域、局域场景充分协同点面结合,各有侧重 1000+个边缘节点,覆盖300+地市;支持通用算力、部署;具备通用平台能力、5G网络能力及IoT、工业识别、区块链等行业能力智加速灵活边缘智能技术挑战和发展实践边缘智能算力需求激增,即将成为分布最广算力国内智算中心建设遍地开花武汉合肥南京天津西安嘉兴许昌哈尔滨上海北京腾讯合肥庆阳海南河北青岛沈阳大连成都徐州克拉玛依无锡昆山深圳广州长沙计算机视觉元宇宙,AIGC 自然语言处理、智慧语音现状:模型相对成熟、应用较广泛趋势:数据集变大、训练速度更快、精度越高现状:理论有一定基础,巨头正在PK大模型,应用刚刚落地巨大的技术综合系统,应用快速繁
6、荣:沉浸式体验大量数据高速连接人机交互内容生成.AI发展趋势,模型巨量化、训练速度和精度要求更高以算法为驱动,提升AI效能为目标是应用迫切需求边缘侧多样性异构算力是主流,开发生态体系繁多,如何高效融通多样算力,是边缘算力发展关键规划中的智算中心已建成的智算中心边缘智能业务协同需求芯片使能层软件平台层智算硬件设施层芯片使能层芯片软件栈软件平台层应用开发框架TensorFlowPyTorch昇思飞桨九天AI使能平台文件对象块分布式融合存储异构计算资源CPUNPUGPUDPU高速无损网络高性能以太网DPU浪潮 AI station华为 ModelArtsROCmCUDACANN.智算硬件设施层ROC
7、m芯片软件栈CUDACANN应用开发框架TensorFlowPyTorchONNXTensorRT九天AI使能平台外接分式存储服务器本地存储异构计算资源CPUNPUGPU网络高性能以太网DPU浪潮 AI station华为 ModelArtsASIC存储.OpenPPL.中心训练边缘推理模型传输至边缘部署反哺、优化模型目前,边缘智能业务有高带宽、低时延等要求,依赖于中心、边缘数据中心深度协同。中心级、边缘智算中心的软硬件基础设施不同,高效服务于模型训练、推理、部署。边缘智能硬件池化平台攻关业界GPU利用率不足30%的技术难题,革新 通用算力+异构算力 单池调度、本地绑定的分配方式,以软件定义为
8、核心,使能软件精细化分配,通用算力+异构算力 分池调度、跨机整合,促进资源利用率提升VM1VM2资源碎片GPUGPUGPUGPU无法削峰填谷任务1任务2X1/2、1/4、1/8基于OpenStack/K8S技术的本地静态绑定空闲资源少量GPUGPU1/2、1/4、1/8传统的资源管理技术下GPU平均利用率不足30%基于裸分配或虚拟切割再分配的方式,资源碎片多、利用率低管理节点智算节点智算节点智算资源池化平台调度器任务载体(如:容器)AI任务调度AI任务AI所需算力任务算力API代理GPUGPUGPUGPUAPI 捕获重定向到远程重定到本地聚合a%+bMB智算新型池化技术可有效促进GPU利用率提
9、升算力调用重定向可突破物理上的限制,促进资源有效分配、充分利用依赖硬件1/2n粒度静态绑定 软件定义 1%粒度 跨机整合 动态分配高速互联网络卡、服务器间高速互联,支持大模型并行训练多元融合存储多协议互通,为智算池提供统一存储底座高性能总线级网络端网协同的高性能以太网络体系边缘跨架构软件平台芯合 算力原生硬件层应用层1 体 适 配 中国移动 芯合 算力原生平台算力原生Pytorch.1 次 开发融通 云、边、端 等多样泛在异构算力生态竖井,使能原生应用一次开发、一次构建,跨架构即时迁移部署关键技术一:跨架构编译优化技术混合异构并行优化,生成可流转迁移的标准原生程序关键技术二:算力抽象技术异构资
10、源形成统一算力抽象模型及相匹配的编程模型与接口关键技术三:原生运行时技术实现原生程序加载及与算力平台硬件的互映射执行机制中国移动 芯合 算力原生平台打破 AI框架+工具链+硬件 单栈锁定的生态竖井,构建多模态、跨架构的统一编程模型和运行环境,使能应用跨架构无感迁移执行,探索以软件为核心的产业链牵引模式,繁荣AI 芯 生态 创新运营模式,实现全要素全场景体系化运营开放服务体系架构开放内容数据算力算法 公开数据集:图像类、语音类、文本类等 多种算力规格:CPU、vGPU、单卡、多卡等 特色数据集:网络域、客服域数据等 视觉、自然语言处理、语音、智能数据分析等多种能力,匹配多种框架和芯片平台 深度学
11、习平台,提供训练环境,提供AutoML、AutoCV、分布式训练、联邦学习等多种功能 能力平台,提供推理环境中国移动九天人工智能平台智能云服务算网大脑数据开放平台开放算法开放实验环境开放 测试验证服务 AI技术测试验证 网智类、语音类、视觉类能力 深度学习训练平台、AI能力平台 公开数据集、网智数据集、行业数据集互联网络互联网络人工智能计算中心人工智能边缘节点开放服务体系赋能智慧企业建设,促进千行百业数智化转型视听游戏体育家居政务医疗工业教育通讯交通全要素全场景九天九天“揽月揽月”合作生态合作生态将算力、网络、数据、AI模型、AI能力等多种智能化要素作为运营对象,通过整体性的规划、建设、维护、
12、优化等实现智能化要素的融合管理,基于一体化编排、调度实现智能化服务能力的构建和输出,达到一点接入、全要素供给,提供无所不及的智能服务创新-面向边缘智能场景的协同计算架构基于云边端协同的模型训练基于云边端协同的模型推理云数据中心学习模型场景模型数据模型多出口模型优化与分发任务卸载针对边缘智能协同训练与协同推理优化问题,设计了协同计算架构,实现了高效能的云边端融合计算案例实践云边端协同的视频实时物体追踪实践解决方案:综合考虑图像帧中区域处理难度不一致问题,设计图像区域分类网络,在线进行原图像帧的切分与难度判断,自适应选取追踪网络进行推理,并利用边缘计算协作推理框架,减小任务推理延迟应用效果:本地推
13、理的平均响应时间为2129.74ms,分布式推理的平均响应时间为672.58ms-1756.85ms,其加速比高达3.17x难点:城市摄像头的大规模部署使得多目标跟踪等视频分析任务需求增大,而多MOT任务因其任务复杂且模型计算量大,在终端上部署高精度MOT任务模型,难以满足时序性要求图像分类器分类案例实施云边协同的文本情感分析应用实践解决方案:通过在边缘侧部署智能客服应用及文本情感分析AI能力,并针对特定硬件环境进行的模型优化,在损失少量精度的情况下提升处理速度,缩短用户响应时延。应用效果:线上平均响时间缩小到 10ms,满足如智能搜索、智能交互等实时性要求严苛的业务难点:文本情感分析能力通过
14、深度学习 AI 算法智能识别文本内容的情感倾向,加强对用户反馈问题的处理效率及偏好挖掘。但对于多业务线条的客户服务,客服处理业务量较大,给中心服务器带来巨大压力。云数据中心边缘资源池泛在调度平台中心控制面文本情感分析模型北部资源池中部资源池智能客服应用文本情感分析模型智能客服应用文本情感分析模型训练数据处理基于CFITI算力网络创新试验网LFE Akraino CFN项目孵化验证中心化算力总计不会超过12%分布式算力超过88%,端侧的海量算力未得到有效利用算力并网社会空闲算力、超算、智算等多样化算力吸纳,提升算力规模实现跨地域、跨运营主体算力资源交易,盘活存量算力,降低单位算力使用成本和门槛场景诉求展望基于语音、图像、多模态的任务式服务正在培养和大量激发用户需求,未来2-3年将是应用爆发期(ChatGPT 日活2873w)AI任务式服务集中训练拼算力、算法和模型边缘智能将进一步加速分流本地用户,实现海量用户访问加速17云游戏、XR极致服务等为代表的元宇宙“全沉浸、全场景、临场感”高质感虚拟世界元宇宙AICG算力运营企业、AI企业、内容制作企业、终端企业的发展机会要求超强算力、超强存储、超强网络、超级终端、智能调度边缘智能,乘风而上!