《中国信通院:DPU发展分析报告(2022年)(44页).pdf》由会员分享,可在线阅读,更多相关《中国信通院:DPU发展分析报告(2022年)(44页).pdf(44页珍藏版)》请在三个皮匠报告上搜索。
1、 中国信息通信研究院云计算与大数据研究所 开放数据中心委员会 2023年1月!#!#$%&()$%&()*!#$%&版权声明版权声明 本报告版权属于中国信息通信研究院、开放数据中心委员会,并受法律保护。转载、摘编或利用其它方式使用本报告文字或者观点的,应注明“来源:中国信息通信研究院”。违反上述声明者,编者将追究其相关法律责任。本报告版权属于中国信息通信研究院、开放数据中心委员会,并受法律保护。转载、摘编或利用其它方式使用本报告文字或者观点的,应注明“来源:中国信息通信研究院”。违反上述声明者,编者将追究其相关法律责任。!在数字经济时代,数据中心是支撑发展的关键基础设施,“网络+计算”是推动数
2、据中心规模建设和应用赋能的引擎。DPU(Data Processing Unit,数据处理单元)作为应对数据流量指数级增长而带来性能问题的关键技术,将部分计算任务从 CPU 转移至 DPU,进而释放 CPU 的资源,以进一步提升整体计算效率。在政策方面,全国一体化大数据中心、新型数据中心等政策文件的出台及“东数西算”工程的实施,指引 DPU 产业高质发展。技术方面,DPU 架构不断演进,成为迈向“联接+计算”的关键技术,且软、硬件技术协同发展,全方位生态能力不断实现。产业方面,网络、计算、存储、安全等多样化的场景需求快速涌现,为 DPU 产业发展提供了有效的市场牵引,推动我国 DPU 产业高质
3、发展。未来 DPU 技术将不断迭代创新、应用场景趋于多元,以更好满足行业客户的需求。本报告从产业政策、产业规模、赋能经济三方面,对算力进行详细阐述,分析了数字基础设施发展需求。同时,综合考虑 DPU 技术及产业等发展要素,重点对 DPU 技术热点及核心价值进行了梳理,从 RDMA 高速网络、数据面转发、网络可编程、开放网络及 DPU 软件生态等方面分析了 DPU 发展的关键技术,并从政策驱动、技术创新、应用场景等方面对 DPU 未来发展进行了展望。报告仍有诸多不足,恳请各界批评指正。意见建议请联系#$一、DPU 成为算力产业发展新引擎.1(一)政策密集出台,芯片关注度高.1(二)规模持续增长,
4、DPU 快速发展.2(三)赋能实体经济,DPU 作用凸显.3 二、DPU 推动算力基础设施新发展.5(一)DPU 助力进入以算力为中心的时代.5(二)DPU 促进从云网协同走向算网一体.8(三)DPU 是下一代新型算力的重要基础.9 三、DPU 成为迈向“联接+计算”的关键一步.9(一)DPU 的技术发展综述.9(二)DPU 的核心技术价值.13(三)DPU 发展的黄金时代来临.17 四、推动 DPU 发展的关键技术及因素.20(一)RDMA 高速网络技术.20(二)数据面转发技术.26(三)网络可编程技术.29(四)开放网络及 DPU 软件生态.32 五、DPU 未来发展展望.35%#$图
5、1 关系示意图.6 图 2 标准网卡.10 图 3 智能网卡和 DPU.11 图 4 DPU 为中心的基础架构.12 图 5 通过卸载释放算力演示图.14 图 6 传统 TCP/IP 协议栈应用到应用的访问流程.20 图 7 RDMA 协议栈应用到应用的访问流程.21 图 8 DCQCN 拥塞控制算法.23 图 9 TCP 传输方式 VS RDMA 传输方式在吞吐以及 CPU 利用率的对比分析.24 图 10 GDR without VS GDR 性能对比.24 图 11 NVMe-OF RDMA vs kernel 性能测试对比.25 图 12 Pipeline 架构下处理流程.27 图 1
6、3 固化 Pipeline 转发流程.27 图 14 MATCH-ACTION Pipeline 转发架构.28 图 15 DPU 控制平面.30 图 16 开放可编程基础设施.33 图 17 端网融合的开放网络基础设施软件生态SONiC.34 DPU 发展分析报告(2022 年)1&DPU()*+,-./012(一)政策密集出台,芯片关注度高(一)政策密集出台,芯片关注度高!#$%&()!*+,-./01(&2345678019:;&=?ABC算力基础设施是实现算力供给的载体,是衡量国家信息化发展程度的重要标志。美国、欧洲及日本等世界主要国家和地区强化政策引领,推动算力基础设施建设。美国于
7、2015 年启动了“国家战略计算计划”,该计划的主要目标是在 2025年以前,建造世界上速度最快的高性能计算机。2019 年 11 月,美国白宫科学技术政策办公室对这一计划进行了更新,发布了国家战略性计算计划(更新版):引领未来计算,与 2016 年版本相比,新版计划不仅关注技术突破,同时更加侧重于算力生态的构建,包括开拓数字世界与非数字世界间的新领域、推进计算基础设施和生态系统的发展以及建立并扩大合作伙伴关系等。英国政府借鉴美国的经验和做法,积极鼓励发展数据中心业务,多家大型互联网企业纷纷在英国建设数据中心。2020 年欧盟对“欧洲高性能计算共同计划”进行了升级,重点发展下一代超级计算,强化
8、欧洲数字主权。日本具有发达的半导体产业基础,但国内能源、资源匮乏,亟需强化数字技术应用,提升生产力,2022 年日本发布2022 年先进数字技术制度政策动向调查报告,该报告对日本、欧美及中国政府数字技术制度和政策动向进行了全面调查解析,以此推动日本国内人工智能、物联网、区块链及量子计算机的发展。DEFGHIJK(LMNOAB&PQRSTUV.LWDPU 发展分析报告(2022 年)2 XY&ZF_&aLMNOWNC党中央十九次代表大会中进一步提出“推动互联网、大数据、人工智能和实体经济深度融合,在中高端消费、创新引领、绿色低碳、共享经济、现代供应链、人力资本服务等领域培育新增长点、形成新动能”
9、。2020 年 4 月 20 日,国家发改委对“新基建”概念作出正式解释,细化新一代信息技术引领的新型基础设施建设的具体内容。在新基建的重点方向中,信息领域基础设施建设是基础,将为各行业数字化转型和智能升级提供重要保障。“十四五”规划和 2035 年远景目标纲要中提出要聚焦高端芯片,强化算力统筹智能调度。新型数据中心发展三年行动计划(2021-2023 年),提出引导新型数据中心集约化、高密化、智能化建设,推动 CPU、GPU 等异构算力提升,逐步提高自主研发算力的部署比例,推进新型数据中心算力供应多元化,支撑各类智能应用。DPU b+,c.defg&haijRklm(&nopq(rstu&*
10、+vw(xy.zC目前,全球异构芯片的发展日新月异,DPU 作为一类新兴计算芯片,能够将存储、安全、虚拟化等工作负载从 CPU 上卸载到自身,进而提升数据中心等算力基础设施的效率,减少能耗浪费,降低成本,是构建新型算力基础设施的重要基础,是国家由算力大国向算力强国演进的支撑,将成为未来全球算力产业竞争的焦点。(二)规模持续增长,(二)规模持续增长,DPU快速发展快速发展|DE#&(P,&DE(18PQC 算力产业成为国家数字化竞争领域中的关DPU 发展分析报告(2022 年)3 键领域,算力产业的发展不仅能够带动信息通信相关技术创新,提升国家科技创新能力,也能够为各行业提供算力服务,进而赋能。
11、同时,我国算力需求多元化趋势逐步显现,石油勘探、新冠疫苗研发、航空航天等场景对超算需求提升,推动了我国超算建设发展。通用算力和智能算力方面,随着“东数西算”工程的实施,八大算力枢纽节点均在强化数据中心算力基础设施和网络基础设施建设。b+RST CPUGPU/“”(fg&DPUh(aw/C芯片是算力供给的核心,现有芯片主要以 CPU 和 GPU 为主,分别提供通用和智算算力。此外,FPGA、ASIC 等专用芯片也取得了快速发展。但是,无论是 CPU、GPU,还是其它专用芯片,在计算过程中均将不可避免的被存储、通信等进程打断。DPU 具有网络数据传输和计算等功能,可使 CPU、GPU 能够专注于业
12、务进程,全面提升计算效率,对于不断增长的算力需求和持续扩大的算力规模,其重要性不言而喻。当前,DPU 技术与产业快速发展,DPU 企业、通信设备厂商、互联网公司等都加入到DPU 的研发和应用。(三)赋能实体经济,(三)赋能实体经济,DPU作用凸显作用凸显(;R m#=-C数据要素价值的发挥依赖于算力,在缺乏算力支撑的情况下,数据将成为无源之水,无法得到有效使用,各类数字化应用场景也无法构建。算力对数据处理、存储及传输能力的实现主要依赖于各类信息通信技DPU 发展分析报告(2022 年)4 术,涵盖软件和硬件。|.,%aABA&78!8s BRkl&=“&019:pqC 在我国现有行业中,互
13、联网、通信、金融、政府等行业面向终端用户提供服务,需快速响应用户需求,数字化程度较高。互联网企业中,阿里、百度、腾讯、京东等在电子商务、搜索、社交等领域发力,其主要通过自建或租用数据中心等形式承载各类互联网应用,满足用户需求;金融企业中,包括工商银行、农业银行、建设银行、交通银行及中国银行在内的国有五大行,以及股份制商业银行等同样在加强数据中心的建设,且大多已经形成了“两地三中心”的数据中心灾备布局架构。受原材料上涨、用户需求升级等因素影响,能源、工业、农业等传统行业企业,如国家电网、中国电投、中国石油、中国石化等也在积极开展算力基础设施建设,不断深入推动数字化转型。b+(/fg&DPU P&
14、23#/oC当前,摩尔定律已接近极限,但是 5G、智能驾驶、AR/VR、元宇宙等算力应用场景仍在高速发展,计算持续需求提升。DPU 通过卸载算力的形式释放 CPU 计算性能,可显著提升算力基础设施计算能力,预期将在自动驾驶、人工智能和元宇宙等领域取得广泛应用。DPU 发展分析报告(2022 年)5 3DPU 45*+67890./(一)(一)DPU助力进入以算力为中心的时代助力进入以算力为中心的时代(q/LMNOrsm(9/AB&rsm(qC早期用户需求主要以 web 浏览、语音等应用为主,对算力资源需求较少,在 IT 机房中部署少量服务器即可满足需求,这一时期算力基础设施主要以小规模机房
15、为载体。随着虚拟化技术的发展,IT 资源供给更加灵活。与此同时,软件开发能力创新迭代,通信带宽不断提升,电子商务、交易系统、电子游戏等应用加速涌现,算力需求快速增加,进而需要更多服务器提供支持。在上述情况下,机房内服务器规模进一步扩大,形成了初具规模的数据中心。数据中心内服务器数量增加,一些服务器堆积密度更大的数据中心对电能持续供应能力要求提升。同时,热量的增加也对制冷提出了更高要求。因而,数据中心制冷、供配电设施建设也得到了同步发展。随着多样化算力需求的不断演进,以及信息通信技术的持续迭代,数据中心形态变得更加丰富,逐步演变出云计算中心、智算中心和超算中心等不同的形态。eSTpq&+ip(r
16、sC云计算数据中心是一种基于云计算架构的,计算、存储及网络资源松耦合,完全虚拟化各种 IT 设备、模块化程度较高、自动化程度较高、具备较高绿色节能程度的数据中心。云计算数据中心对计算、存储、网络资源池化能力要求较高,需要通过 OpenStack 或自主研发的云资源管理平台对数据中心资源进行精细化管理,为用户提DPU 发展分析报告(2022 年)6 供更加弹性可靠、敏捷高效的云计算服务。计算数据中心可承载电子商务、在线办公、视频、企业管理平台、在线交易、即时通讯等常规性的业务应用。来源:中国信息通信研究院 图 1 关系示意图 H(/meSTm18AB/JuC 当前,AI 产业化正进入快速发展阶段
17、,无人驾驶、机器人、刷脸支付等人工智能产品和应用加速落地,人工智能正从极具想象力的商业概念成为具有超强发展前景的商业赛道。传统人工智能技术无法满足大模型、多模态等技术发展,因此强大算力集群的智能计算中心成为突破人工智能发展瓶颈的重要基础保障。当前,上海、南京、武汉、杭州、广州等多个地方正在加速布局人工智能计算中心。2021年武汉正式投运人工智能计算中心,该人工智能计算中心具备百 P 级算力规模,支持人工智能重大应用的模型训练及推理,其围绕数字设计、智能制造、智慧城市、基因测序等应用场景,可广泛服务于自动DPU 发展分析报告(2022 年)7 驾驶、智慧城市、智慧医疗、智能交通等多个领域。Exy
18、/&Hme_ABC20 世纪 90 年代以来,国内外在高性能计算机研制方面不断推进,有力地推动了高性能计算的发展。美国提出 NSCI 计划,促进多个政府部门协同发展高性能计算产业。欧盟也计划 2030 年在 PRACE 的基础上,建立多台高性能计算设备。在欧盟的主支持下,依托巴塞罗那超算,建立欧洲开放计算机系统体系实验室,为高性能计算的研发提供重要技术基础。中国也紧跟国际脚步,加速研发计算技术。2021 年3 月,我国“十四五规划”中明确提出,要“加快构建全国一体化大数据中心体系,强化算力统筹智能调度,建设若干国家枢纽节点和大数据中心集群,建设 E 级和 10E 级超级计算中心”。(LMNO4
19、5eij&vwPVe+ST/$%C从整体上来看,算力服务由计算、存储和网络共同决定,任何一项能力的不足都可能会造成“木桶效应”,制约算力服务能力提升。近年来,存储和网络产业不断发展,设备性能持续提升。存储领域,全闪存阵列以及各类存储网络设备的推广应用,极大地提升了存储能力;网络领域,5G、无损网络等技术促进数据通信性能提升。相比之下,数据中心计算瓶颈正在逐步显现。在外部算力服务需求持续升级的情况下,需要避免计算芯片过多参与到存储和传输环节,全面提升计算能力,进而带动数据中心综合算力服务性能升级。以 DPU为代表的数据处理芯片可卸载 CPU 等计算芯片的存储、传输、安全等非计算功能,提升计算芯片
20、效率,真正实现算力基础设施以计算为中心的发展目标。DPU 发展分析报告(2022 年)8(二)(二)DPU促进从云网协同走向算网一体促进从云网协同走向算网一体 RSTWN“O+J/!*,&eijRST/QT#mC“东数西算”工程的实施需依托于八大枢纽节点,同时还需结合算力网络相关技术。以算网融合为基础,通过算力调度构建全国一体化算力网络,成为推动全国算力资源优化配置的关键。i45$%+$%&RSTb+#AB/LMNOkHAB&“ij+e3*+=RST/4C为适应当前数据中心的加速变革,包括交换芯片在内的网络能力不断提升。数据中心业务多样导致内部流量爆发性增长,造成网络拥塞、时延等问题,已成为影
21、响产业发展的重要因素。终端用户与服务之间的瓶颈已经从原来端云之间逐渐转移到云内,内部大量的流量负载很难控制得当,当越来越多的流量混跑在一起的时候,传统的以CPU 为中心的计算机体系结构,已经无法支撑要求。而由于流量冲突和拥塞导致的 CPU 等待时间较长的问题,已经成为制约整个数据中心算力释放的巨大瓶颈。以“联接+计算”为中心的架构能够通过提升网络能力,对数据做转换传输、延伸和分发,在端到端的网络上控制延迟,降低大规模流量的延迟,满足业务的 QoS(Quality of Service,服务质量),使得CPU、GPU、存储和加速器等可以在不同的位置或物理机上,通过数据中心网络对数据分发和调度,实
22、现各资源互相协同工作,提升运行效率。:DPU();+?*”AB&C(一)(一)DPU的技术发展综述的技术发展综述 1.标准网卡 DPU 发展分析报告(2022 年)10 传统的标准网卡(Network Interface Card,简称 NIC)是将电脑接入局域网的设备,网卡插在计算机主板的总线插槽中,负责将用户要传递的数据转换为网络设备能够识别的格式,通过网络介质传输。来源:中国信息通信研究院 图 2 标准网卡 简而言之,标准网卡没有任何面向应用的加速功能,只是承担了将主机接入网络的工作,操作系统收到数据包后由主机 CPU 承担所有数据报文处理的工作。显而易见,随着网络带宽的快速增长和基础设
23、施数据处理功能越发复杂的情况下,消耗的主机 CPU 资源和性能也越来越多。2.智能网卡和 DPU|/AB&n5R67809A/&!eRSTST.LMNOa:/;$%&(/pq*+RSTH?7AB/JC全球数字经济建设加速推进,以互联网、大数据、人工智能、云原生等为代表的新一代信息技术创新加速迭代,“数据要素”已成为数据经济发展的重要引擎。据 IDC 数据显示,全球数据量在过去 10年的年复合增长率接近 50%,每四个月对于算力的需求就会翻一倍。与此同时,随着数据中心规模加速扩张,数据中心网络的带宽不断提升,交换芯片单芯片的吞吐容量极速提升,数据处理需求不断增长,导致 CPU 收发数据调度负担加
24、大,运行高负载持续。随着摩尔定律放缓,CPU 算力的提升节奏已无法应对计算的爆炸式需求引发的海量数据存储难、数据验证效率低、网络安全无保障等系列问题。因此,DPU 作为继 CPU、GPU 之后的又一类芯片,核心的价值需算力卸载、算力释放、算力扩展等方面实现。1.算力卸载(ABH/mCA CPU/DE(CDPU 作为数字基础设施的重要组成部分,其基本功能包括网络、存储、安全和管理控制功能的卸载和加速。通过这些功能的卸载,可以释放对应功能原本在主机 CPU 上所消耗的算力资源。另外,通过更高能效比的 DPU,也可以有效降低能耗,并减少“数据中心税”。尤其在 100G 或更高带宽的网络中,采用主机
25、CPU 来支持通信处理已经越来越困难,通过 DPU 实现基础设施能力势在必行。DPU 发展分析报告(2022 年)14 从性能的角度讲,DPU 除了以更高的能效比卸载 CPU 的算力,更重要的是可以大幅提升业务性能,达到 CPU 较难达到的性能效果。根据业界实际的部署经验,在某些场景下,DPU 可以带来 10 倍以上的应用性能提升。来源:中国信息通信研究院 图 5 通过卸载释放算力演示图|RFn&DPU LGH Fn/LMNOrs&PFnIJpq6.HIC在万物互联时代,数据的战略重要性与日俱增,数据已逐渐成为业界发展的重要战略资产,数据安全成为业界重点关注的问题。在网络环境下,数据加密是保障
26、数据安全的必要途径,加密、解密算法将会消耗大量 CPU 算力,无法满足海量数据的传输,而 DPU 可以作为新的数据网关,将加密、解密算法固化在 DPU 中,将数据安全提升到新的高度。同时,DPU 独立于主机 CPU 算力单元,提供网络及数据中心基础设施服务功能,能够为外部网络和业务租户之间提供额外的安全层,满足用户数据安全和物理隔离需求。应用处理器任务卸载管控存储网络DPU 发展分析报告(2022 年)15 2.算力释放(即无需 CPU 介入多次访问内存和外设,避免不必要的数据搬运、拷贝和上下文的切换,直接在网卡硬件上对数据完成处理并交付给最终消费数据的应用。传统以 CPU 为中心的计算机体系
27、结构在处理数据的过程中需要多次在内核和应用之间拷贝和访问数据,并伴随对性能影响很大的上下文切换,带来的是极大的性能损耗,甚至引发 IO Hung 等异常故障。以数据为中心的 DPU 架构则可以有效改善 CPU 过度参与数据处理的问题,在数据处理的过程中不需要CPU 参与,直接将数据送达应用、相关的 GPU 或者存储设备,能够有效避免性能瓶颈和由于 CPU 负载过大而引发的异常。以 RDMA 技术为例,RDMA 允许用户态的应用程序直接读取和写入远程内存,无需 CPU 介入多次拷贝内存,并可绕过内核直接向网卡写数据,实现了高吞吐量、超低时延和低 CPU 开销的效果。在存储领域,存储网络一直在追求
28、大带宽高吞吐以充分发挥存储盘和 CPU 的效率,随着更高速率的 SSD 的规模应用,特别是近来高速低时延的 NVMe 技术的出现,存储需要更高速、更高效的网络。RDMA 技术因其更低时延更高吞吐、Ethernet 技术因其远超 FC 的更高带宽更低成本,这两个因素使得 RDMA 和 Ethernet 技术的结合即RoCE 成为存储网络技术的新趋势。DPU架构和技术,使服务器上运行的业务应用和操作系统内核,用简单的本地存储访问 API,就能实现对分布式、超融合或软件定义存储系统的高效透明访问。存储厂商可以把为各行业应用开发的直连DPU 发展分析报告(2022 年)16 式存储(DAS)、纵向扩展
29、(Scale-up)、横向扩展(Scale-out)、超融合架构(Hyperconverged)等存储解决方案,零开销地推广到各个应用领域的现有业务处理平台和数据中心基础架构中,而所有的安全加密、数据压缩、负载均衡等复杂又必须的功能则完全由 DPU 透明地卸载。存储行业的革新算法和实现,可以在 DPU 架构中,独立于服务器操作系统进行部署。DPU 技术帮助存储厂商实现真正的“算存分离”,完全发挥自家产品的技术优势,打通最高效服务应用需求的通路。3.算力扩展(B即通过有效避免拥塞消除跨节点的网络通信瓶颈,显著降低分布式应用任务周期中的通信耗时占比,在大规模的集群维度提升计算集群的整体算力。为了提
30、升算力,业界在多条路径上持续演进。随着摩尔定律的放缓,通用 CPU 已很难继续通过提升单核单线程的性能和扩展片内多核的方式来大幅提升算力。单核芯片的工艺提升至 3nm 后,发展放缓;通过叠加多核提升算力,随着核数的增加,单位算力功耗也会显著增长,当 128 核增至 256 核时,总算力水平无法线性提升。在计算单元的工艺演进已经逼近基线,每18 个月翻一番的摩尔定律即将失效的情况下,为了满足大算力的需求,通过分布式系统,扩大计算集群规模,提升网络带宽,降低网络延迟成为提升数据中心集群算力的主要手段。|eKKLMNOPklMQR.m/STa&U7(/VW&XLMNOpYQEZ/Hm/C计算网络,典
31、型代表DPU 发展分析报告(2022 年)17 为 HPC(High Performance Computing 高性能计算)等高性能业务,低时延是其的极致追求,之前采用 InfiniBand 专网。但随着 RoCE 技术的深入发展,Ethernet 在计算网络中的应用也逐渐普遍。RDMA 技术通过消除多 GPU 跨节点通信的网络瓶颈,显著降低了训练任务整个周期中的通信耗时占比,提高了 GPU 集群计算资源利用率和训练效率,也为集群横向扩展到更大规模时的线性加速比提供了保证。&(即为 GPU、FPGA、ASIC 或其它加速卡与 CPU 之间的数据连接。在 CPU 与加速卡之间,以及加速卡之间形
32、成的芯片互联技术被更多的采用,虽然 PCIe 有着非常通用的标准化设计,但带宽有限将会产生瓶颈。以 CXL 和 Gen-Z 为代表的等下一代互联技术取得快速发展,DPU 作为各种高速互联协议融合的沙盒,最适合成为灵活的高速互联载体,通过采用和扩展“以内存为中心”的互联协议,将带来在单个机箱外部扩展亚微秒级延迟技术的机会,为下一代计算架构创新创造可能性。(三)(三)DPU发展的黄金时代来临发展的黄金时代来临 从历史发展进程角度来看,自 18 世纪以来,人类社会先后经历了四次工业革命,从“蒸汽时代”、“电气时代”逐步过渡到“信息时代”和“智能时代”。当前,正处于数字技术引领创新与革命的历史进程中,
33、以信息技术为基础,以云计算、大数据、人工智能、物联网为代表的新一代数字技术加速迭代,“数字化、网络化、智能化”的第四次工业革命正在逐步变革。DPU 凭借高技术、高智能、高性能的优势在第四次革命中的占据重要地位。DPU 发展分析报告(2022 年)18 DPU P*+,%fgxy/HTC作为数据中心继 CPU和 GPU 之后的“第三颗主力芯片”,DPU 的演进也经历了从众核CPU/NP、FPGA+CPU 到 ASIC+CPU 的多个发展阶段或者技术演进。基于 CPU/NP、FPGA+CPU 的硬件架构分别具备软件可编程和硬件可编程的灵活优势,在 DPU 发展的初期尤其受到互联网云厂商大厂自研方案
34、的青睐,在快速迭代和灵活定制方面有比较明显的收益。然而,随着网络带宽的快速增长,网络接入带宽迅速从 10G、25G 演进到了 100G、200G 之后,基于 CPU/NP 和 FPGA+CPU 这类硬件架构的 DPU 除了在性能上难以为继以外,在成本和功耗上则有更大的挑战。基于 ASIC+CPU 的硬件架构则是结合了 ASIC 和 CPU 二者的优势,即将通用处理器的可编程灵活性与专用的加速引擎相结合,正在成为最新的产品趋势。业界的头部厂商 NVIDIA、Intel 和 AMD(收购 Pensando)的 DPU 架构都采用了这种架构路线。为了使基于 ASIC硬件架构的专用加速引擎具备一定的灵
35、活性,支持基于 P4 的可编程能力也成为了一个新的技术方向。从 DPU 芯片的实现角度看,以 ASIC+CPU 的硬件架构为例,CPU 的研发更多的是以系统级芯片的方式集成第三方成熟的 CPU 多核 IP,不同 DPU 厂商的核心竞争壁垒在于专用加速引擎的硬件实现上。由于 DPU 是数据中心中所有服务器的流量入口,并以处理报文的方式处理数据,在网络芯片领域积累更多的厂商将更有优势。DPUP*+,18/%C 随着新兴领域的逐步渗透,DPU 凭借“垂直深耕、水平扩展”的技术优势,已扩延到数据中心、DPU 发展分析报告(2022 年)19 云计算、高性能计算、高性能存储、人工智能等多个应用领域,DP
36、U市场规模加速提升。如数据中心领域的云厂商、电信运营商以及人工智能领域的医疗健康、工业互联网等多家单位已逐步使用 DPU 智能网卡设备。未来 DPU 将持续延伸至其他应用领域,扩张市场规模,保持高速增长态势。DPU R+STb+e&/TA&_18ma-bC国际方面,世界主要国家均在积极引导 DPU 产业发展,DPU 行业市场规模日益扩展,投资并购活跃,竞争日益激烈。国内方面,在“数字化转型”及“东数西算”等国家层面政策引导下,充分调动国家、社会资源,集中力量推动数字化转型的进程,为我国 DPU发展提供了重要指导,我国 DPU 产业发展步入新阶段,市场规模稳步提升,低碳高质、协同发展的格局正在逐
37、步形成。c|WN/-V&Hd&DPU 18!eimQRAI rsfg_hi8C!e_&三大运营商均积极布局,推动产品验证,并提出与产业链上的厂商推动 DPU 产业发展的合作意愿。!i_&随着云计算、云原生等业务场景的发展需求,DPU 作为数据中心演进的焦点,受到各大云厂商的广泛关注。头部厂商纷纷投入资源尝试自研,降本增效,实现效益的最大化。!mQR_&国内、外芯片厂商加速布局智能驾驶,不断提升研发效率,为 DPU 的市场发展奠定基础。j AI rsfg_h_ko&在数字经济和“东数西算”等政策影响下,中国 AI 服务器、金融、终端政企及其他领域持续高速发展,DPU 发展分析报告(2022 年)
38、20 对算力的需求不断增加,传统的技术已无法满足当前业务的发展需求,DPU 能够提供成熟的硬件加速方案,提升整个系统的效率,为 AI 服务器、金融及其他领域的发展提供技术支撑,全面推进 DPU 产业未来的发展进程。D45 DPU./ABEFGHI(一)(一)RDMA高速网络技术高速网络技术 1.RDMA 的技术背景 传统 TCP/IP 协议栈在处理报文转发的过程当中,从用户态到内核协议栈再经过网卡转发出去这个过程中,要触发多次 CPU 的上下文切换,发生多次的内存拷贝,由于多次数据拷贝,转发延时一直较高,随着网络带宽的提升,传统内核处理报文的方式已经无法满足更高带宽,更低延时的业务需求。来源:
39、中国信息通信研究院 图 6 传统 TCP/IP 协议栈应用到应用的访问流程 RDMA 是一种远程直接内存访问技术,它将数据直接从一台计算机的内存传输到另一台计算机的内存,数据从一端主机的内存通过DMA 方式从网卡转发出去,到另一端通过网卡 DMA 直接写入另一DPU 发展分析报告(2022 年)21 端主机的内存,整个数据传输过程无须操作系统以及 CPU 参与,这种 CPU内核协议栈的 bypass 技术通过硬件网卡实现,可以满足未来网络对高带宽、低延时的需求,并进一步释放 CPU 的计算资源。RDMA 技术具有以下特点:CPU 卸载:用户态应用程序通过调用 IB verbs 接口直接访问远程
40、主机的内存,可以对远程内存执行读取、写入、原子操作等多种操作,而且无须两端主机 CPU 参与。内核旁路:RDMA 采用基于 verbs 的编程方式,不同于 socket 编程方式,需要用户态与内核态的切换,应用程序可以直接在用户态调用 RDMA 的 verbs 接口,消除上下文切换带来的额外开销,并实现了额内核系统旁路。零拷贝:本端应用程序内存数据通过网卡 DMA 直接发送到远端网卡,远端网卡通过 DMA 方式直接写入对端内存,整个过程中消除了传统 TCP/IP 传输方式的多次内存拷贝的过程,实现内存零拷贝,进一步降低整个网络延时。来源:中国信息通信研究院 图 7 RDMA 协议栈应用到应用的
41、访问流程 为了达到 RDMA 在高性能和低延时上的技术优势,RDMA 有较DPU 发展分析报告(2022 年)22 高的技术门槛,需要端到端的拥塞控制来避免拥塞和降低网络延时。实现端到端的高性能 RDMA 网络需要考虑:1)网络收敛比。进行数据中心网络架构设计时,从成本和收益两方面来考虑,多数会采取非对称带宽设计,即上下行链路带宽不一致,交换机的收敛比简单说就是总的输入带宽除以总的输出带宽;2)ECMP 等价哈希均衡。当前数据中心网络多采用 Fabric 架构,并采用 ECMP 来构建多条等价负载均衡的链路,通过设置扰动因子,采用 HASH 选择一条链路来转发是简单的,但这个过程中却没有考虑到
42、所选链路本身是否有拥塞。ECMP 并没有拥塞感知的机制,只是将流分散到不同的链路上转发,对于已经产生拥塞的链路来说,很可能加剧链路的拥塞;3)Incast 流量模型,Incast 是多打一的通信模式,在数据中心云化的大趋势下这种通信模式常常发生,尤其是那些以 Scale-Out 方式实现的分布式存储和计算应用,包括 EBS 云存储、AI 集群、高性能数据库、Hadoop、MapReduce、HDFS 等;4)!#$交换机的流量控制、QoS 和拥塞控制机制以及相应的水线设置,能够让 RDMA 得到规模部署且广泛应用的就需要RDMA 的拥塞控制算法支撑。在 Fabric 网络复杂、多路径的场景下,
43、伴随着多打一、突发等情况的出现,是拥塞控制算法让 RDMA 的高性能得以充分展现,为 RDMA 的高性能保驾护航。端到端拥塞控制算法的基本原理是依托拥塞节点交换机对出向报文的 ECN 标记,目的端通过 ECN 标记处理反馈 CNP 使得源端进DPU 发展分析报告(2022 年)23 行速率调节,从而达到解决拥塞的目的。来源:中国信息通信研究院 图 8 DCQCN 拥塞控制算法 随着 RDMA 技术的普及,不同的云厂商用户结合不同的业务场景和网络环境提出了多种拥塞控制算法,比较有代表的算法有被业界大规模验证过的 DCQCN 算法,阿里提出的 HPCC 算法,以及谷歌提出的 TIMELY 和 Sw
44、ift 算法等。不同的用户或者业务场景有不同拥塞控制算法的需求。因此,DPU 芯片需要支持多种拥塞控制算法,或者能够一步到位支持拥塞控制算法的可编程能力。最后,除了满足网卡和交换机紧密配合的要求,解决转发面无损网络的需求外,还要端到端提供精细化运维的能力,才能帮助用户实现大规模部署高性能 RDMA 网络的目标。2.RDMA 的应用价值 RDMA 对比传统 TCP 传输方式在提升吞吐,降低 CPU 占用、降低延时方面均有明显的优势。后摩尔时期尤其是在网络进入 100G 甚至 200G 以上的带宽情况下,传统 TCP 协议栈内核转发完全无法满足性能要求,随着网络技术的演进,高吞吐、低延时的 RDM
45、A 技术将承担基础的网络传输功能,进一步提升数据中心整体算力。DPU 发展分析报告(2022 年)24 来源:Congestion Control for Large-Scale RDMA Deployments 图 9 TCP 传输方式 VS RDMA 传输方式在吞吐以及 CPU 利用率的对比分析1 随着大数据计算、AI、机器学习等数据模型不断扩大,以CPU+GPU的异构计算模型已经成为高性能计算领域中的主流计算架构。而高吞吐、低延时是高性能计算场景中最为迫切的应用需求。GPU Direct RDMA 是 RDMA 在异构计算场景中的应用延伸,使得 GPU 之间的通信不在依赖 CPU 转发,
46、从而进一步提升高性能计算场景中整体算力。来源:Mellanox GDR 图 10 GDR without VS GDR 性能对比2 1Congestion Control for Large-Scale RDMA Deployments”,Zhu et.al.,SIGCOMM 2015!2 Mellanox GDR 性能测试报告 DPU 发展分析报告(2022 年)25 NVMe 作为存储的主流协议,凭借其高 IOPS、低延时、节能、驱动适应性广等特点在存储领域得到了广泛应用,而在 NVMe 协议架构中已然结合 RDMA 技术实现远程存储。两者都有着高吞吐、低延时的技术特性,通过 NVMe o
47、ver RDMA 技术实现高性能存储网络,从而满足多种对不同的应用需求。来源:SPDK NVMe-oF RDMA Performance Report Release 19.10 图 11 NVMe-OF RDMA vs kernel 性能测试对比3 RDMA 凭借其高吞吐、低延时、CPU 旁路、适应性广、技术成熟等特点,已经成为数据中心基础服务的一个重要组成部分,承载着多种不同的业务类型,并且随着网络技术以及应用的发展,RDMA 的应用将进一步扩大。3 SPDK NVMe-oF RDMA Performance Report Release 19.10 DPU 发展分析报告(2022 年)2
48、6(二)数据面转发技术(二)数据面转发技术 随着网络流量的指数增长,基于硬件数据面转发技术越来越受到关注,在传统交换机和路由器上已经成熟应用的数据面转发技术也被应用到了 DPU 领域。在数据面硬件转发技术中,基本的硬件处理架构有两种:基于 NP 的 run-to-completion(RTC)架构和 pipeline 架构。1.基于 NP 的 RTC 转发架构 通用 RTC(Real-Time Clock)处理器转发模型,报文进入后,经过调度分发器后,被分配到一个报文处理引擎上处理。RTC 是一种非抢占机制,当报文进入该处理引擎后,根据转发需求进行处理,直到处理结束退出。在 RTC 架构中,每
49、个处理器上都是标准的冯诺依曼架构,包括:程序计数器(PC)、指令存储器、译码器、寄存器堆、逻辑运算单元(ALU),其中指令存储器多个核之间共享。通常报文处理流程通过C 语言或微码编程后,会被编译成一系列的指令执行。由于转发需求和报文长度不同,每个报文在处理器内部的处理时间差异很大。在 RTC 架构中,指令处理过程中,通过采用多线程来提高报文处理性能,原因如下:取址方式:报文根据起始 PC 读取指令,在指令执行结果中获取下一条需要执行指令的 PC 信息。当遇到上下文切换指令,由于带宽限制,当多线程中的报文同时访问指令存储器时产生读写冲突,从memory 中读取指令到指令信息返回时延受到影响。查表
50、内存访问冲突:对于 RTC 架构,在转发流程中,多核处理DPU 发展分析报告(2022 年)27 器之间共享 memory 资源动态共享,通过 crossbar 访问表项 memory时,会导致表项读取产生冲突。2.Pipeline 转发架构 Pipeline 架构中,整个处理流程被拆分成多个不同的处理阶段,对应到不同的步骤,每一级转发处理可以做成专用的硬件处理单元。当第一个报文执行完第一个步骤,进入第二个步骤时,第二个报文可以进入流水线中的第一个步骤进行处理。来源:中国信息通信研究院 图 12 Pipeline 架构下处理流程 根据业务需求,将转发流程拆分成多个处理步骤,每个步骤中只执行特定
51、的逻辑处理,主要应用在数据中心交换机上,比如:Broadcom TD 系列。来源:中国信息通信研究院 图 13 固化 Pipeline 转发流程 DPU 发展分析报告(2022 年)28 Match-Action Pipeline 架构也是一种业界常用的 pipeline 架构为,与固化 Pipeline 架构相比,每个步骤中可根据业务生成灵活的查表信息,根据查表结果,对报文进行相应的逻辑处理,如下图所示。来源:中国信息通信研究院 图 14 MATCH-ACTION Pipeline 转发架构 在性能上,固化 Pipeline 架构近乎定制化 ASIC,相比于可编程Pipeline 架构,吞吐
52、更高,时延更低,逻辑处理单元复杂度更低 与可编程 Pipeline 相比,固化 Pipeline,不支持可编程和新的业务添加。而可编程 MA 架构可以保留一部分灵活可拓展性,在资源允许的情况下,支持新业务拓展。3.Pipeline vs RTC Pipeline 和 RTC 作为两个主流转发架构,RTC 架构在转发业务中表项出丰富的灵活性,但随着网络流量的不断增加,Pipeline 架构表现出相对优势:在性能方面,1)在相同处理性能下,RTC 架构中通常采用多核多线程,来提高转发性能,由于多线程面积占比较高(每个线程独立维护相应的寄存器信息),报文进入处理器的调度和多核报文调度转发逻辑资源面积
53、较大,导致芯片面积和功耗通常为 Pipeline 架构的数DPU 发展分析报告(2022 年)29 倍。2)由于多核处理器访问内存,导致带宽压力较大。为提高转发性能,内存会被复制多份,降低内存访问冲突,导致内存占用率很高。时延方面,在 Pipeline 架构下,不同步骤中的 memory 资源静态分配,报文在转发过程中执行的指令信息提前预知。和 RTC 架构相比,能够大大降低由于读写/查表冲突带来的时延,通常 pipeline 架构对报文的处理时延是 RTC 架构的数十分之一。从功耗、性能、面积的角度考虑,DPU 跟随网络流量需求变化(业务需求不断丰富、网络时延敏感、功耗要求更低),基于可编程
54、 Pipeline 的硬件架构更符合DPU 加速硬件报文转发的发展方向。(三)网络可编程技术(三)网络可编程技术 在以算力为中心的时代,网络边缘设备已经从柜顶交换机延展到DPU,DPU 已经成为数据中心内部网络连接计算、存储的新的接入节点,面对不断变化的网络业务需求和自定义网络扩展能力的需要,支持网络可编程技术成为 DPU 应用于新一代数字基础设施的关键技术因素。DPU 上网络可编程技术主要包括控制平面网络可编程技术和数据平面网络可编程技术,其中控制平面网络可编程技术主要应用于DPU 内部的通用系统级芯片上,而数据平面网络可编程技术则主要应用在硬件加速器部分。DPU 发展分析报告(2022 年
55、)30 来源:中国信息通信研究院 图 15 DPU 控制平面 DPU 的数据平面主机侧连接了多种类型的虚拟化设备,网络侧连接多元化的网络业务,除了需要考虑网络协议的发展和演进,还需要兼顾用户自定义网络扩展协议的需求。所以,数据平面支持网络可编程技术已经成为 DPU 必须要支持的基础能力。目前 DPU 数据平面网络可编程技术主要包括基于快速流表和基于 P4 流水线两种常见技术。La6/DPU Ruoijhl&需要结合 DPU控制平面上虚拟交换机以软硬协同工作,软硬件耦合较紧密,通常是由软件虚拟交换机来适配 DPU 硬件数据平面来实现。上述方式是当前市场上 DPU 的主流数据平面网络可编程技术,优
56、点是可以利用原有软件虚拟交换机业务处理能力建立 DPU 硬件数据平面的快速流表,对硬件技术要求相对较低;缺点是 DPU 控制平面软件参与网络首包DPU 发展分析报告(2022 年)31 的数据转发流程,DPU 上系统级芯片要求较高,同时软硬件耦合较严重,需要软件适配工作。L P4 6tm/DPU Ruoijhl&借鉴了白盒交换机上网络可编程技术的最佳实践和发展趋势,以及 Barefoot Tofino系列可编程芯片4和思科 Silicon One 可编程芯片5在 P4 领域的成功经验,基于 P4 的协议无关的网络可编程技术,渐渐成为 DPU 上网络可编程技术的发展方向。国内外 DPU 厂商在产
57、品 Roadmap 里均将 P4网络可编程能力作为 DPU 的重点功能来支持,其中以 Pensando 的DSC 加速卡6和 Intel 的 Mount Evans IPU7为代表,这两个产品在产品化的过程中也推动着 P4 PNA(Portable NIC Architecture)标准8的发展。DPU 硬件数据平面支持基于 P4 流水线的网络可编程技术的优点在于通过 P4 语言可以同时定义了管理控制消息语义和硬件数据平面的业务处理流水线,使得 DPU 控制平面上只需要实现管理控制消息转换配置下发给 DPU 硬件数据平面,进而降低了对 DPU 上系统级芯片的要求;不足在于当前 DPU 上 P4
58、 语言标准对于用户可编程的支持还有待完善,但在厂商可编程,拓展用户场景和延长产品生命周期上已经具备了很高的价值,目前在 DPU 上具备成熟的 P4 网络可编程技术的厂商还比较有限。为了促进 P4 网络可编程技术的发展,开放数据中心委员会(Open Data Center Committee,ODCC)持续开展相关 4 https:/ 5 https:/ 6 https:/ 7 https:/ 8 https:/p4.org/p4-spec/docs/PNA-v0.5.0.html DPU 发展分析报告(2022 年)32 研究,已经发布了P4 敏捷可编程转发设计白皮书、P4 超融合网关技术白皮
59、书等成果。另外,除了快速流表和 P4 流水线这两种主要的数据平面网络可编程技术,还有基于 eBPF 和 C 语言的网络可编程技术,但基于硬件卸载的应用并不广泛。(四)开放网络及(四)开放网络及DPU软件生态软件生态 由于 DPU 芯片的发展还处于早期阶段,DPU 的软件生态也处于萌芽状态。目前,市场上主流的开放网络及 DPU 软件生态主要有Linux 基 金 会 宣 布 的 开 放 可 编 程 基 础 设 施 OPI(Open Programmable Infrastructure)项目9%由 Intel 驱动主导的 IPDK(Infrastructure Programmer Develop
60、ment Kit)框架10%Nvidia DPU 的开 源 软 件 开 发 框 架 DOCA(Data Center Infrastructur-on-a-Chip Architecture)11、开放数据中心委员会开展的无损网络项目等&DPU 作为数据中心基础设施的一颗重要芯片,拥有一个社区驱动的、基于标准的开放生态系统,以开放的形式定义 DPU 标准可编程基础设施生态,对 DPU 的长期发展至关重要。一个富有生命力的 DPU 的软件生态需要具备条件为提供一个基于开放社区的 DPU 软件堆栈以及用户驱动,且与供应商无关的软件框架和架构。支持既有的 DPU 开源应用程序生态系统,包括 DPDK
61、,OVS,SPDK 等已经在用户侧有广泛应用的开源应用软件。定义 9 https:/opiproject.org/10 https:/ipdk.io/11 https:/ DPU 发展分析报告(2022 年)33 DPU/IPU(Infrastructure Processing Unit)开放可编程基础设施的接口API,用于 DPU/IPU 生态系统相关组件元素进行交互,包括硬件、软件应用程序、主机节点以及配置、编排和运维等相关接口,实现裸金属、IaaS 虚拟机和容器化平台的统一管理调度功能。定义统一的目标抽象硬件接口,通过这个接口驱动不同的目标硬件,使上层软件能够做到与底层硬件目标解耦。支
62、持数据平面的 P4 可编程的编译环境和软件部署模式。来源:中国信息通信研究院 图 16 开放可编程基础设施 L%nDo0p/DPU qr0sCt&SONiC u/ijuv$CSONiC 是由微软于 2016 年发起,其所有软件功能模块都来自开源生态。如下图所示,SONiC 通过将 SAI(Switch Abstraction Interface)接口作为统一的硬件管理接口,由各DPU 发展分析报告(2022 年)34 厂商在 SAI 接口之下实现对应硬件驱动,通过这样的方式屏蔽不同厂商硬件之间的驱动差异,使 SONiC 软件可以运行在各种硬件设备中,形成白盒交换机统一的软件生态。来源:中国信息
63、通信研究院 图 17 端网融合的开放网络基础设施软件生态SONiC 在 P4 可编程和 DPU 的支持方面,SONiC 先是通过 PINS(P4 Integrated Network Stack)版本12在 SDN 市场白盒交换机中落地了最佳实践,得到了产业界的广泛支持;之后又推出了 SONiC DASH(Disaggregated API for SONiC Hosts)版本13,将 SONiC 在 SDN 交换机市场的最佳实践引入到主机侧,实现了主机端与网络白盒交换机统一的开放网络生态,为 DPU 顺利加入数字基础设施的 SDN 网络域打下了基础。在 DPU 软件生态层面,DPU 实际上还
64、是以网络为基础,通过网络业务模式创新和硬件加速技术,来构建和拓展存储和安全业务,进 12 https:/ 13 https:/ DPU 发展分析报告(2022 年)35 而提升计算业务的效能,实现数字基础设施变革。我们期待业界能够基于现有的开放网络软件生态继续拓展对 DPU 的支持,而不是各家DPU 厂商另起炉灶,各立门户,人为增加不必要的 DPU 软件使用门槛。以开放网络平台软件 SONiC 为例,如果能在用户的 DPU 软件生态中得到普及,将会构建出端网融合的统一网络基础设施开放平台,这无疑将会进一步在更高的维度打开端网协同创新的想象空间。JDPU KL./M RSTb+Ac#/wlxy&
65、_18ma)!-bC从政策维度看,国务院及有关政府部门先后颁布了一系列支持政策,加大研发投资力度,加快 IT 等核心技术研发,为DPU 行业发展提供了政策保障。2020 年 4 月 3 日,国家科技部表示加大研发先进计算、核心软件、宽带通信、人工智能等前沿技术,支撑国家新型基础设施建设。2021 年 5 月 24 日,国家发改委、网信办、工信部、能源局发布关于印发全国一体化大数据中心协同创新体系算力枢纽实施方案的通知,在国家枢纽节点重点任务部分指出,加大服务器芯片、操作系统、数据库、中间件、分布式计算与存储、数据流通模型等软硬件产品的规模化应用。支持和推广大数据基础架构、分布式数据操作系统、大
66、数据分析等方面的平台级原创技术。2021 年7 月,工信部发布新型数据中心发展三年行动计划(2021-2023 年)明确提出“推动 CPU、GPU 等异构算力提升,逐步提高自主研发算力的部署比例”,“加强专用服务器等核心技术研发”,“树立基于 5G 和工业互联网等重点应用场景的边缘数据中心应用标杆”等内容,为DPU 发展分析报告(2022 年)36 DPU 等新型算力芯片的发展提供了政策支撑。从市场助力维度看,我国数据中心领域市场规模高速增长,DPU 作为数据中心核心引擎,应用势能加速提升,以应用为驱动,激发企业与国外厂商的竞争意识,促进 DPU 产业高质发展。|.,%/AB&DPU)-z|1
67、/&ABrsI-z?.&.P;C从技术架构维度看,DPU 以数据为中心的计算架构,改变传统“垂直延伸”的形式,通过“水平扩展”的方式覆盖更多的创新技术。可编程平台、通用的软件生态等新技术开始应用于 DPU 技术创新,以技术促进 DPU 产业变革的趋势不断增强。从应用服务维度看,随着新兴技术的加速发展,应用场景丰富多元使得 DPU 技术创新不断提升,DPU 与网络、安全、存储、虚拟化等基础技术联接日益紧密,智能芯片、高性能计算、高性能存储、智能运维等技术的应用,有效地提升了 DPU 的服务能力。w/XQ&SEQ/DPU(-C 在全产业数字化转型趋势之下,DPU 覆盖领域将从数据中心逐步向智能
68、驾驶、网络安全、网络储存、云计算、高性能计算、人工智能、边缘计算、数据存储及流媒体等多领域渗透,相比传统的智能网卡有着更加丰富的应用方向。在东数西算战略背景下,数据中心的算力资源配置优化,而 DPU 通过对网络、储存、算力等资源的有效调度,提升计算效率,能够较好地满足算力资源优化的需求。开放数据中心委员会(Open Data Center Committee,ODCC)是国内DPU 发展分析报告(2022 年)37 影响力广泛、用户参与活跃的数据中心组织,业界可在 ODCC 开展相关工作,共促产业发展。NOPQNOPQ 本报告于 2022 年 6 月启动编制工作,在撰写过程中,得到了上海云脉芯联科技有限公司的大力支持,在此表示感谢。中国信息通信研究院中国信息通信研究院 云计算与大数据研究所云计算与大数据研究所 地址:北京市海淀区花园北路地址:北京市海淀区花园北路52号号 邮编:邮编:100191 电话:电话: 传真:传真: 网址:网址: