报告预览

网络驱动大规模 AI 训练 - 阿里云可预期网络 HPN 7.0 架构-席永青.pdf

编号：164043

PDF 27页 5.76MB 下载积分：VIP专享

下载报告请您先登录！

网络驱动大规模 AI 训练 - 阿里云可预期网络 HPN 7.0 架构-席永青.pdf

1、网络驱动大规模 AI 训练阿里云可预期网络 HPN 7.0 架构阿里云资深网络架构师席永青席永青阿里云资深网络架构师，数据中心架构负责人团队负责阿里云高性能数据中心网络系统的整体架构设计和发展规划主导阿里云AI智算网络HPN7.0架构的设计和落地高性能网络系统进入可预期时代 GPU集群对网络的关键要求阿里云 HPN 7.0 架构 GPU centric 高性能网络系统未来展望阿里云可预期网络阿里云可预期网络HPN7.0HPN7.0架构架构高性能网络系统进入可预期时代 GPU集群对网络的关键要求阿里云 HPN 7.0 架构 GPU centric 高性能网络系统未来展望阿里云可预期

2、网络阿里云可预期网络HPN7.0HPN7.0架构架构from CPU centric to GPU centric网络性能进入可预期时代：From Best-effort to the Predictable Network第一个10年第二个10年Now：AI Infrastructure经典网络经典网络SDNSDN 软件定义网络软件定义网络AIAI 计算定义网络计算定义网络信息化，传统 IT 互联互通互联网应用超大规模&弹性AI 大模型大算力可预期性能网络以协议为中心设备黑盒，人肉运维IETF 定义互联标准互联网应用重新定义网络系统互联网应用重新定义网络系统软件定义网络（SDN）设备白

3、盒解耦，运维自动化，SONiC 为代表的网络开源生态AI AI 计算重新定义数据中心架构计算重新定义数据中心架构高性能智算网络端网融合，计算/存储和网络协同生态：开放解耦与闭环并存AI AI 计算重新定义数据中心网络架构计算重新定义数据中心网络架构集群算力的关键要素集群算力的关键要素规模扩展的高性能持续可靠的稳定性100%80%60%40%200%网络性能即算力网络性能即算力计算计算通信通信通信通信同步同步1284096网络是算力网络是算力SCALESCALE OUTOUT的核心的核心102401024理论实际backwardUpdatebackwardUpdateLoad DataForwa

4、rdbackwardUpdateGPU0Load DataForwardGPU1Load DataForwardGPU2backwardUpdateLoad DataForwardGPU3average Grad 高性能网络系统进入可预期时代 GPU集群对网络的关键要求阿里云 HPN 7.0 架构 GPU centric 高性能网络系统未来展望阿里云可预期网络阿里云可预期网络HPN7.0HPN7.0架构架构PSWPSWASWASWNCPUPCIeNCPUPCIeNCPUPCIeNCPUPCIe单机多网卡，机内单机多网卡，机内8 8卡高速互联卡高速互联单机带宽单机带宽3.2T3.2TGPUGP

5、U directdirect RDMARDMA，超短，超短RTTRTT单网卡，无内部互联单网卡，无内部互联单机带宽单机带宽200G200G东西向东西向+南北向流量，长短南北向流量，长短RTTRTT传统网络集群设计不再适用传统网络集群设计不再适用AIAI计算计算传统通用计算集群AIAI 大模型训练集群大模型训练集群互联拓扑差异大传统网络集群设计不再适用传统网络集群设计不再适用AIAI计算计算成本、性能、稳定性、弹性扩展持续稳定的性能计算Service存储Client计算同步通信提供计算存储服务的通用计算，相对持续稳定的流量提供模型训练的AI计算，高突发、高并发的流量最优的性价比与扩展性最优的性价

6、比与扩展性提升训练效率，缩短训练时间，提升训练效率，缩短训练时间，加速业务迭代加速业务迭代传统通用计算集群AIAI 大模型训练集群大模型训练集群流量模型的网络诉求差异大传统网络集群设计不再适用传统网络集群设计不再适用AIAI计算计算100k100k级别连接级别连接60+60+级别连接数级别连接数传统通用计算集群AIAI 大模型训练集群大模型训练集群连接数差异大AAPPPPDD D DD D PPPPAA网络协议/CCAPP网络协议/CCAPP1HPN集群架构交换机/拓扑架构/路由HASH3监控运营系统监控/问题定位/资源编排端到端传输网卡/协议/CC2路车交通管理AIAI集群高性能网络系统关键

7、要求集群高性能网络系统关键要求AAPPPPDD D DD D PPPPAAAAPPPPDD D DD D PPPPAAAAAAincast流控快速适应多打一的高效带宽利用网络HASH的均匀性少量大流在网络链路上的负载均匀性AAPPPPDD D DD D PPPPAAAADMA、0拷贝，协议栈带宽和时延单流e2e数据传输效率=12GG=12GG1236012360cross planeplane1plane2DDPPAAAA适合的集群物理架构带宽、规模、千卡、万卡层级，计算存储AIAI集群高性能网络系统关键要求集群高性能网络系统关键要求高性能网络系统进入可预期时代 GPU集群对网络的关键要求

8、阿里云 HPN 7.0 架构 GPU centric 高性能网络系统未来展望阿里云可预期网络阿里云可预期网络HPN7.0HPN7.0架构架构Infra网络演进，from CPU-centric to GPU-centric2*10G2*25G2*50G2*100G8*100G8*400GCPUPCIeNICASWASWASWASWASWASWASWASWCPUPCIeNICCPUPCIeNICCPUPCIeNICG1G2G3G4G5G6G7G8NVLink1.6T1.6T1.6T1.6T1.6T1.6T1.6T1.6T1.6T1.6T1.6T1.6T1.6T1.6T1.6T1.6T400G4

9、00G400G400G400G400G400G400GASWASWASWASWASWASW单机多网卡，3.2T及以上网络带宽机内GPU间高速互联单机单网卡，最大2*100G网络带宽传统通用计算集群AI智算集群N*800GScale up/Scale out液冷，100k+N*1.6T未来 AI Infra 网络集群AI AI 计算网络集群架构演进计算网络集群架构演进阿里云阿里云HPN7.0HPN7.0 为为AIAI设计的高性能网络架构设计的高性能网络架构全球首个基于 51.2T Ethernet 交换芯片的高性能 GPU 互联集群多轨+双平面网络拓扑，单层千卡 Segment，两层万卡，存算分

10、离/10万+级规模超大集群自研 ACCL 通信库，全局协同/拓扑感知400G RoCEv2 RDMA，自研 HPCC 流控Front-endFront-end 存储存储+VPC+VPC 网络网络Back-endBack-end GPUGPU 互联网络互联网络=12GG=12GG1plane1plane2123N23Ncross planeAAAADDPPFront-end 存储+VPC网络 400G RDMA 存储可用区共享存储Back-end GPU互联网络 3.2T带宽单层千卡，两层万卡Tier1 千卡GPU，多轨+双上联Tier1 千卡GPU，多轨+双上联.Tier2 万卡GPU，双

11、平面模型视角模型视角GPUGPU集群视角集群视角Data阿里云阿里云HPN7.0HPN7.0 为为AIAI设计的高性能网络架构设计的高性能网络架构为大模型极致性能设计的HPN7.0架构集合通信提升最高超1倍模型训练性能提升10%10.63%6.23%阿里云阿里云HPN7.0HPN7.0 为为AIAI设计的高性能网络架构设计的高性能网络架构HPN7.0被SIGCOMM24收录AI网络集群架构领域的首篇顶会论文架构设计细节将会在论文中详述阿里云阿里云HPN7.0HPN7.0 为为AIAI设计的高性能网络架构设计的高性能网络架构极简设计的硬件系统，模块化架构标准UNP128x 400G，QSFP11

12、2 MSAPHYless设计，极致时延支持LPO光模块，极致能耗S3IP OCM/BMC/Fans/机箱等标准模组快速使能multi-source，TTM开放生态，轻松演进RSCRSM 高性能网络系统进入可预期时代 GPU集群对网络的关键要求阿里云 HPN 7.0 架构 GPU centric 高性能网络系统未来展望阿里云可预期网络阿里云可预期网络HPN7.0HPN7.0架构架构AI 计算驱动云基础设施架构变革From CPU-centric to GPU-centricGPU 高功耗驱动 IDC 基础设施变革（风冷到液冷）服务器形态从单机单机多卡 Rack级多卡新型物理网络拓扑/端网融

13、合架构：GPU 多卡互联的 scale-up网络（如NV switch）和数据中心scale-out 网络（如 RDMA）协同设计AI 并行计算对网络高性能的需求驱动高性能网络协议演进AIAI基础设施网络架构基础设施网络架构未来展望未来展望CPU 服务器CPU 服务器。以太网交换机CPU 服务器高性能网络交换机GPUGPUGPUGPUCPU 服务器CPUCPU-centricCPU-centric独立服务器部署，网络连接 Scale Out风冷典型 20KW液冷典型 50KWGPU-centricGPU-centricRack 级优化 Scale Up，高性能网络连接 Scale Out

14、Scale-Out传统网络Scale-Out高性能网络inner X Switch/.Scale-Up内部互联1624 独立服务器AI RackAIAI基础设施网络架构基础设施网络架构未来展望未来展望DC infra，from CPU-centric to GPU-centricGPUSRAMGPUHBMHost MemoryCPU DRAMGPUSRAMGPUHBMHost MemoryCPU DRAMin-boxscale upData/ckpt Memory/SSDGPUSRAMGPUHBMHost MemoryCPU DRAMGPUSRAMGPUHBMHost MemoryCPU D

15、RAMin-boxscale upData/ckpt Memory/SSDGPU direct RDMAEthernet scale outckpt storage RDMAEthernet scale outCPFSAIAI基础设施网络架构基础设施网络架构未来展望未来展望scalescale upup +scalescale outout 网络，网络，融合设计融合设计通信框架容错设计电力和物理布局规模，拓扑AIAI基础设施网络架构基础设施网络架构未来展望未来展望10w+10w+算力级别的网络集群，算力级别的网络集群，100T100T网络交换芯，新型网络硬件系统网络交换芯，新型网络硬件系统

友情提示

1、下载报告失败解决办法
2、PDF文件下载后，可能会被浏览器默认打开，此种情况可以点击浏览器菜单，保存网页到桌面，就可以正常下载了。
3、本站不支持迅雷下载，请使用电脑自带的IE浏览器，或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩，下载后原文更清晰。

本文（网络驱动大规模 AI 训练 - 阿里云可预期网络 HPN 7.0 架构-席永青.pdf）为本站（张5G）主动上传，三个皮匠报告文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。若此文所含内容侵犯了您的版权或隐私，请立即通知三个皮匠报告文库（点击联系客服），我们立即给予删除！

温馨提示：如果因为网速或其他原因下载失败请重新下载，重复下载不扣分。

上海品茶

网络驱动大规模 AI 训练 - 阿里云可预期网络 HPN 7.0 架构-席永青.pdf

网络驱动大规模 AI 训练 - 阿里云可预期网络 HPN 7.0 架构-席永青.pdf