《中国信通院:云原生加速数字创新的新质生产力(2023)(16页).pdf》由会员分享,可在线阅读,更多相关《中国信通院:云原生加速数字创新的新质生产力(2023)(16页).pdf(16页珍藏版)》请在三个皮匠报告上搜索。
1、中国信息通信研究院云计算与大数据研究所云原生加速数字创新的新质生产力2023年12月1日数字经济高速发展,在国民经济中的地位进一步凸显。2021年我国数字经济总量达到45.5万亿元,占GDP比重达到39.8%同比名义增长16.2%,远远高于同期GDP的3.4%,成为经济稳定增长的关键动力。背景:数字经济成为我国经济增长的核心动力数据来源:中国信通院3.4%16.2%4.819.4916.1627.1731.2935.8439.220082001820192020数字经济占GDP比重36.2%34.8%32.9%26.1%20.3%15.2%38.6%GDP名义增速2021
2、年,数字经济增速是GDP的4倍多,数字经济为推动国民经济持续增长发挥了重要作用。我国数字经济规模(单位:万亿元)数字经济保持高位增长新格局:云原生将软件开发从“农耕时代”推升至“工业时代”集装箱的发明开启了以现代运输体系为标志的全球化时代集装箱的发明加速了造船设计即走向标准化,集装箱化作业容许船货更快速装卸,在航运的生产力上引进了十倍速的改变,逆转了节节升高的成本趋势,开启了全球化的现代运输体系,引发了全世界货运港口的重新洗牌。大多数单体应用具有强依赖性需要停机更新手动本地交付依赖系统环境甚至是硬件职能分工界限明显存在沟通障碍传统软件开发到了数字经济时代,计算机产业发展得如火如荼,人们迫切需要
3、探索出一种新的信息资源运输方式,而云原生,就是计算机领域的集装箱。云原生软件开发交付:更灵活简单全球化交付无地域限制模块化架构,通过标准可进行持续的地待更新、集成和交付标准化自动化具有良好的可移植性跨职能沟通与合作顺畅,应变能力强架构:更解耦内聚更新:更高频稳定运维:更自动化依赖:更标准统一组织:更扁平化云原生的出现开启了软件行业全球分工协作、标准化流水作业的工业时代政策:云原生逐步向地方/行业渗透,加速全产业赋能国务院关于促进云计算创新发展培育信息产业新业态的意见(国发20155号)指出发展云计算,有利于分享信息知识和创新资源,降低全社会创业成本,培育形成新产业和新消费热点,对稳增长、调结构
4、、惠民生和建设创新型国家具有重要意义。国务院国家创新驱动发展战略纲要建设超算中心和云计算平台等数字化基础设施,形成基于大数据的先进信息网络支撑体系。工信部云计算发展三年行动计划(2017-2019年)到2019年,我国云计算产业规模达到4300亿元,突破一批核心关键技术,云计算服务能力达到国际先进水平。发改委推动企业上云实施指南(2018-2020)2020年,云计算在企业生产、经营、管理中的应用广泛普及,全国新增上云企业100万家。发改委、网信办印发关于推进“上云用数赋智”行动 培育新经济发展实施方案提出支持在具备条件的行业领域和企业范围探索大数据、人工智能、云计算、数字孪生、5G、物联网和
5、区块链等新一代数字技术应用和集成创新。南京市加快开源软件发展三年行动计划(2023-2025年)指出,面向云原生、大数据、人工智能、操作系统、区块链等重点领域,推动骨干软件企业布局培育一批具有技术先进性和生态竞争优势的开源项目。上海市数字经济发展“十四五”规划大力发展云原生产业,支持打造“网络+平台+应用”灵活弹性、智敏安全的云开放平台,满足新型业务应用需求。加快突破容器、微服务、服务网络等云原生核心分支技术,夯实通用组件和低代码开发应用,提高企业业务云原生化转型效率。山东省关于加快构建山东省一体化大数据中心协同创新体系着力发展云原生技术能力及应用实践,以混合云为重点培育行业解决方案、系统集成
6、、运维管理等云服务产业,培育一批高层次云服务供应商。证券协会证券公司网络和信息安全三年提升计划(2023-2025),企业级应用上加强业务一体化服务平台建设,核心系统的技术架构向分布式、低时延、开放技术架构转型,向分布式云、云原生架构升级。工信部印发新型数据中心发展三年行动计划(2021-2023年)提出加快新型数据中心运营管理等软件层,以及云原生和云网边融合等平台层的关键技术和产品创新,提升软硬件协同能力。云计算云原生价值:云原生重塑软硬件架构,拓展数字技术的融合边界云原生技术自身不断创新演进,同时也不断突破影响域,持续为软件、硬件、数智算领域创造价值。新型云原生应用构建模式,使用户聚焦于价
7、值密度更高的业务逻辑函数即服务serverless微服务应用Serverless容器关注点上移,云原生简化应用构建模式业内首个函数计算产品AWS Lambda函数计算服务的调用频率在2021 年初达到 2019 年的 3.5 倍,使用量激增。2021年,微服务+serverless的需求爆发,腾讯云发布弹性微服务TEM,华为云发布云应用引擎CAE。2021年10月,阿里发布了基于ARM架构的倚天710云原生处理器芯片以及搭载倚天710的磐久云原生服务器。2021年11月,腾讯云发布全域治理的云原生操作系统遨驰。云原生向下定义硬件与操作系统,建设全新的软硬协同体系芯片服务器操作系统云原生 加速赋
8、能,云原生技术与各领域融合发展云原生向上向下向云生传统架构计算存储耦合扩容难,缺弹性数据来源广,难管理搭建、部署、运维成本高传统架构云原生湖仓一体化方案存算分离,极致弹性,具备异构数据的存储挖掘能力云原生云数融合,改变数据“仓储”、流通方式云算融合,改变超高算力的获取、分配方式云智融合,改变AI应用和算法的开发、优化方式HPC计算任务存在明显的波峰波谷,资源利用率低对算力的调度效率低传统架构云原生HPC根据负载情况动态调整云上资源,高效调度混合资源、异构算力卡云原生AI算法模型对底层资源的消耗大算力供给不足技术门槛过高,AI应用场景难下沉传统架构算力层面,提供面向AI场景的弹性高性能异构算力应
9、用开发层面,提供面向AI应用场景的低门槛开发平台云原生分水岭:云原生颠覆式技术创新趋于平稳,规模化应用赋能成为趋势过去十年,云原生发展在经历短暂的萌芽期和发展期后迅速进入爆发期。云原生技术全线爆发,对传统技术栈产生颠覆性变化,重塑了企业的技术架构、软件架构、设计理念、组织结构实现了云计算技术的换代升级。未来,云原生作为数字基础设施,其技术变革已经趋于稳定,云原生进入规模化应用的新时期,技术融合、行业赋能成为主要发力点萌芽期:一种范式特点:基于云的软件架构和管理理念发展期:底层核心技术成熟特点:以容器、K8S为中心的交付技术技术创新期:云原生技术爆炸,对传统技术栈产生颠覆性变化技术架构、软件架构
10、、设计理念、组织结构重塑2013年,Pivotal 的工程师Matt Stine在推特推广云原生理念,它是一个思想的集合,包括DevOps、持续交付、微服务、敏捷基础设施、康威定律等,以及根据商业能力对公司进行重组。-20142018年Service Mesh取得广泛共识,Istio开启服务网格元年,微服务成为主流,治理相关技术快速发展。2019年Serverless爆发,函数计算、Serverless服务形态显著增多。2020年边缘计算需求攀升,云原生集群部署扩展至边缘,云边协同相关技术快速发展。2021年稳定性成为热点,业务系统复杂性提升带来稳定运行风险,加速可观
11、测性、混沌工程、全链路压测等技术突破。2022年多云管理、云原生中间件、云原生数据服务.2015年容器及容器镜像的发展在一致性部署方面带来颠覆性体验,云原生技术开始广受关注。2017年Kubernetes击败众多容器编排项目,容器及其编排技术的统一,为上层技术生态的繁荣奠定了基础。爆发期:上层技术生态的爆炸性发展特点:面向应用,更高级的抽象,更丰富的场景;2018-2022年云原生安全云原生系统稳定性分布式云原生云原生+行业.技术赋能期:云原生基础设施成为共识云原生技术的创新赋能作用凸显技术融合、能力聚合、行业结合2023-?容器:标准化应用交付需求推动容器技术走向普惠技术萌芽期:1979年,
12、UNIX引入了chroot,他被认为是最早的容器技术之一,这是文件系统级别进程隔离的开始。2000年,FreeBSD 4.0版本中引入了Jail,为chroot文件隔离提供了额外的进程和网络资源隔离。2006年,Google推出Process Containers,并第二年就进入了Linux内核主干,并正式更名为 Cgroups2008年,通过将 Cgroups 的资源管理能力和Namespace的视图隔离能力组合在一起,一项完整的容器技术 LXC出现在了Linux内核中技术迸发期:2013年,dotCloud公司开源其容器项目Docker,创新性的定义了分层镜像格式2014年,Google
13、基于Borg 系统创建了开源项目Kubernetes用于解决大规模集群的容器部署、运行、管理。2015年,Docker牵头发起OCI,旨在制定并维护容器镜像格式和容器运行时的正式规范,其核心产出是容器运行时规范,镜像格式规范,和镜像分发规范。商用探索期:经过5年的技术发展,容器技术基本成熟,云原生体系也具雏型。从 2017 年开始,各大云厂商均已具备提供较为完善的商业化容器解决方案的能力。ChrootJailOpenvzcGroupLXCDockerLMCTFYK8sContainerdOCI/CRI/CNIKata ContainersAWS ECS/EKSGoogle GKEMicroso
14、ft GKEAlibaba ACK/ASKHuawei CCI/CCETencent TKEfirecracker-containerd Google Cloud SandboxAlibaba Cloud SandboxMicrosoft WSL2Huawei StratoVirt技术萌芽期1979-2012技术迸发期2013-2017商用探索期2017-2018应用拓展期2019-至今容器技术本质上为应用解决了两个核心问题:应用的资源隔离限制应用的可移植性本地与云上协作更紧密本地与云上协作更紧密容器:技术热潮推动容器技术探索新领域Docker AIDocker AI的目标帮助开发人员在其应用
15、程序中快速、安全地利用 AI/ML 的强大功能Docker AI 在开发者编辑 Dockerfile 或 Docker Compose 文件、调试本地 docker build 或在本地运行测试时,为开发者提供特定上下文的自动指导,使开发者能够更多地专注于他们的应用程序,而不是工具和基础架构。GenAI StackDocker容器已经成为几乎所有训练和推理的生成式 AI 应用最主流的部署方法,进一步降低生成式 AI 应用的开发门槛。通过将 Docker 与 Neo4j 图数据库、LangChain 模型链接技术和用于运行大语言模型(LLM)的 Ollama 相集成,新一代GenAI Stack
16、能够显著简化整个AI训练和推理流程Docker致力于通过一系列工具将本地开发的响应能力和便利性与云的按需资源、连接性和协作结合起来Docker Build:之前的Docker Build通常在本地机器完成,开发团队成员日均要花一个小时来等待容器镜像构建完成;下一代 Docker Build 利用云端来加速构建,构建速度提高了39倍。Serverless:计算形态的跨越式变革9服务器无感知(Serverless)架构是云原生技术体系的核心组成部分,这是一种将基础设施资源抽象成按需使用的服务,用户只需关注应用逻辑,而无需管理复杂的基础设施运维工作的应用设计模式。200020052010201520
17、2020252030虚拟化(焦点是资源汇聚)IaaS/PaaS(焦点是虚拟资源管理调度)容器云(焦点是标准化的应用部署环境,不同状态的应用的自动化编排调谐)Serverless(聚焦业务价值,将基础设施剥离下沉)面向应用面向基础设施计算形态的演进趋势业务逻辑资源成本人力成本物理机虚拟化Serverless容器不关心关心高低高l根据Gaterner在2021年的预测,容器服务的未来演进方向是分布式云和ServerlesslServerless 是云计算发展的必然结果,代表着生产力的解放,极大的提升了用户使用云的效率。l从组成来看,Serverless架构由FaaS(应用的服务端逻辑由开发者完成、
18、被事件驱动、完全由第三方管理)和BaaS(以API的方式提供应用依赖的后端服务)共同组成。l从行为来看,Serverless架构描述了一种更细粒度的部署模型,其将应用程序打包为一个或多个功能,上传到平台,然后执行、扩展和计费,以响应当时确切的需求。l从特性来看,Serverless服务必须具备具备弹性伸缩和按量付费的特点Serverless:企业数字化转型凸显核心价值从用户的角度看,Serverless基于大量成熟的云服务能力构建应用,客户的技术决策点更少,实施复杂度更低。从云服务商的角度看,Serverless有助于云服务商建立更宽广的差异化竞争优势;提高资源利用率,加速硬件创新;形成良好的
19、用户结构。启动成本低,快速试错有利于创新发展免运维极致弹性快速交付提质增效精益成本推进创新无需提前规划容量,无需管理基础设施,极大降低运维成本专注业务逻辑,引导用户构建天然的云原生应用自动弹性伸缩,快速实现扩容以应对峰值压力按需使用,按量付费加快应用上线速度提升商业敏捷度优势降低多方成本从资源角度,按需使用避免闲置,提升资源利用率从开销角度,无前期建设成本,后期按量付费,启动成本低从人员角度,开发量减小,几乎无需运维供给“无限”算力算力资源集约化,平台集中算力资源,构建庞大的资源池算力调配自动化,平台通过对资源池的再规划,自动化分配最优算力算力获取极速化,根据使用需求快速获取,用户层面几乎无算
20、力瓶颈提高社会生产力聚焦主要矛盾,关注上层业务逻辑,把有限的精力放到最重要的环节复用成熟能力,平台提供完善的底层实现方案,提高生产效率加速价值实现,以最快速度实现敏捷迭代,加速生产力跃升事件生产者事件总线事件事件消费者f1(X)f1(X)f1(X)f2(X)f2(X)f3(X)f3(X)f3(X)f3(X)突发事件敏捷满足初期的快速研发需求弹性承载后期的用户规模降本降低构建成本聚焦代码逻辑只需关系核心业务代码,无需管理底层基础设施极致弹性事件驱动,可根据业务需求调整资源,几乎可无限扩容细粒度按需计费计费粒度最小可到毫秒级别,不使用不计费核心需求Serverless重要特性分布式云原生:云原生加
21、速分布式云一体化,开启分布式云原生新时代分布式云原生是指采用云原生技术统一多云技术栈,通过一致性的云服务提供业务价值的设计模式。驱动因素:越来越多的企业在上云过程中采用多个云提供商,管理成本大大增加建设目标:解决多云多集群场景下的管理复杂性与差异性问题核心价值:打破资源和业务边界,释放全域生产力产业界全面发力EKS Anywhere分布式云原生服务UCSAnthosACK Anywhere容器服务Arc分布式云原生操作系统遨驰开源社区生态繁荣云原生边缘多云多集群管理分布式云原生管理跨云跨集群容器网络分布式云体现了一种将云服务按需部署到不同地理位置,提供统一管理能力的云服务理念Gartner在2
22、020、2021连续两年将分布式云列入战略技术趋势,并于2022年预测分布式云将在5-10年内进入稳定发展期,到2025年超过50%的组织将在其选择的地点使用分布式云需求、技术、市场多方驱动,分布式云是云时代的必然选择云原生AI:云+AI加速云计算技术迭代与升级,云上应用服务迎来新生机在已有的IaaS/PaaS/SaaS三个层面上,新增了MaaS层(Model as a Service),推动云计算的整体架构体系的演进升级。向上重塑应用服务模式,广泛应用于聊天机器人、虚拟助手、文本生产、文本摘要、语音识别等多个领域,加速孵化创新应用场景。向下颠覆算法模型构建与异构算力调度的方式,以Tensor
23、Flow、PyTorch等为代表的AI开发框架,能够通过云计算平台API服务,提升AI大模型的训练效率、降低算力成本。集成GPU、TPU、NPU等不同架构的芯片,能够更高效的支撑AI大模型进行各类复杂任务的训练及应用国内外云服务商强化智能云服务重点服务AI大模型通义千问异构算力加速异构算力资源CPUGPUTPUNPU统一资源融合调度关键资源虚拟化存储、网络优化TensorFlowPyTorchPAIModelArtPaddleAI基础算法库神经网络算法强化学习算法TransformerAI工程框架AI大模型BERTGPTAlphaFoldAI大模型法律、教育媒体、制造办公搜索重塑应用服务模式,
24、加速孵化创新应用新场景颠覆算法模型构建方式,强化模型的易用性改良算力资源调度方式,多元异构算力的灵活调度微软推出Azure ML平台云服务,助力OpenAI大规模纵向扩展和横向扩展能力亚马逊AWS推出SageMaker,助力OpenAI对大规模部署能力和ML平台管理能力阿里云PAI服务平台为智能应用提供灵活、安全的一站式的模型训练服务腾讯云 TI 平台构建AI应用开发的产业落地全流程链路浪潮云AIStation为智能云服务中的海量数据进行全生命周期管理,提供数据安全保障应用服务层(SaaS)模型服务层(MaaS)平台软件层(PaaS)基础设施层(IaaS)云原生AI:AI赋能的云上应用服务增益
25、显现,拉动云原生第二增长曲线云计算能够推动客户终身价值,提高净收益留存率,并减少用户流失。这能够有效控制用户获取成本,并推动客户终身价值(LTV)/客户获取成本(CAC)比率达到4倍以上。过去三个季度中,生成式AI对云计算增长率的影响效果显著,大幅超过整体IT支出速度。服务商基于AI重塑云计算技术和服务体系,开辟出全新服务场景和服务内容,带动云服务新一轮高速增长。得益于人工智能应用的超大算力需求,大规模云平台的增长速度继续超过企业私有化部署增长速度的4-5倍。美国的三家云巨头围绕AI都开启了云计算领域的优化,AI对云服务的影响已经出现在损益表上。微软在AI方面的领先优势已经体现在数据上,由于采
26、用AI技术,Azure的收益上升了3%。阿里云在大模型领域的布局相对三大云巨头较晚,AI带动效应尚未显现,与巨头的增长差距明显。图2:云计算领域布局AI的主要竞争者图2显示的是净得分或支出速度(纵轴),X轴显示的是在该领域的存在。该数据筛选了ETR数据集中的1,165个云计算帐户。然后,它通过买家部署的ML/AI平台削减数据。40%的红色虚线表示平台上的消费速度很高。图1:科技公司最新支出意向调查云计算支出增幅AI支出增幅数据来源:StatistaAI带动用户云计算预算保持高增长Azure对AI的深度支持显著提升用户对云服务的支出AI带动头部云服务商新一轮高增长OpenAI的行业领先地位和Az
27、ure大胆的战略使这两家公司处在绝对领先地位。Google在大模型领域的积累,加速Google Cloud平台用户的预算支出,但是模型成熟度限制所需处理数据的量级,平台用户支出不及OpenAI和Azure。图1中的 N 是指超过 1,700 名信息技术决策者或 ITDM。Y 轴是某个部门的净得分或支出速度,X 轴是该部门在数据集中的普遍性。通过波浪线显示 AI 在 2022 年 10 月(ChatGPT 宣布前一个月)从低点反弹。2022 年 10 月(ChatGPT 宣布前一个月)企业用户对AI的支出从低点反弹,保持高速增长。过去10个月云计算的预算变化也呈现出高度正相关性,呈现出快速增长现
28、象。云原生AI:云计算+AI显著提升云上应用服务竞争力,加速业务创新云计算+AI合力催生创新型公司,收益成效斐然,引领产业智能化发展云计算+AI的组合带来非凡收益,云服务成为企业应用AI技术的一大入口,OpenAI基于云计算构建AI能力、Snowflake将云服务与AI能力结合获市场积极响应;100%的西方企业计划将AI应用和基础设施迁移至云中国内品牌同样受益于云计算与AI的组合力量,引领企业发展成为世界级品牌。国内品牌以云计算+AI稳健根基,赋能业务,占据全球领先地位海外品牌利用云计算+AI获得巨额投资,全部计划建设云上AI 发布两个月获得1亿用户 2023年4月,获得103亿美元新融资 公
29、司估值达到290亿美元51%33%16%0%0%0%20%40%60%Already on cloudThis yearNext yearIn 5 yearsNo plans西方公司计划将AI应用和基础设施迁移至云中占比 上市两分钟即熔断,收盘飙升11%,市值达到707亿美元 创软件公司史上最大规模IPO纪录人工智能科研公司 云计算 全球新能源电池市场占有率第一名 营收5年增长超过5倍 全球份额预计突破40%数据来源:Statista 2022全球应用下载量第一名 用户数量已经超过20亿 遍布全球超过150个国家和地区谷歌云计算平台提高应用程序性能、加速内容交付和改善用户体验。大数据和人工智能
30、技术来识别用户偏好和需求 2023全球应用下载量第九名 2023年韩国下载量第一名 2023年英国月活数量第三名“宁德时代-腾讯云AI联合创新基地”建设数据中心、私有云、AI算法平台,打造体系化全流程AI生产力调用阿里云资源进行计算,通过AI匹配私有数据及共有数据,满足消费者的需求软件及服务(SaaS)公司 AI单体架构分布式架构云化架构系统稳定性:分布式架构引入复杂度,带来运维压力和稳定性挑战据不完全统计,2021年宕机事件多达20起,造成巨大的安全事故和经济损失。云服务的稳定运行成为保障云上安全生产和业务系统连续性的必要前提。系统上云后面临的稳定性挑战集中式与分布式系统并存业务系统规模庞大
31、,子系统众多系统/微服务间关联复杂分布式事务多、一致性、幂等性难度大交易链路增长交易量大系统复杂交易规模多层架构运维复杂度增大传统灾备能力不足问题定位、分析困难。运维难度10月23日微软Azure云产品出现Windows虚拟机全球性故障,用户服务中断6个小时。故障频发7月13日美国云计算公司Fastly出现长达1小时的服务故障,导致全球数千家政府、网站受到影响。12月7日AWS由于云服务容量问题导致网络拥塞和性能下降而宕机近4个小时。11月16日,Google Cloud服务器由于网络配置问题造成负载均衡中断,引发全球宕机数小时,影响波及全球用户。新的系统稳定性保障技术涌现混沌工程可观测性全链
32、路压测云原生降本:混部和弹性调度技术成为企业的降本利器Serverless实例vs普通实例不同请求量的价格对比2000万台美国数据中心能源使用报告指出,2020年全球数据中心的服务器总量达到1800万台,并且正以每年100万台的速度增长。12%国内公有云服务商统计数据显示,公有云环境,虚拟机平均资源利用率仅为12%。10%部分私有云环境下,虚拟化集群资源利用率不足10%。30%Flexera2021云状态报告数据显示,企业上云后的平均资源浪费率在30%左右。混部本质是将原有运行在独立基础设施环境中的不同优先级的业务应用,在共享基础设施上进行混合部署,实现“降本增效”。在离线混部成为有效路径云原生平台能力打通混部“任督二脉”云原生弹性调度技术通过多种灵活的弹性策略,实现基于预测和事件驱动的弹性伸缩,最大程度的提升资源效能。弹性是指基础设施资源按需规模化的扩容、缩容能力;调度是指根据特定目标通过相应算法对资源进行统一调配的能力;弹性调度是指通过弹性与调度应对变化的负载、实现资源的精细化按需分配、充分保障业务质量。