巨型内存AI工作负载下GH200性能表现突出 原图定位 GPU 卡间的光互连带宽仍有望保持提升。继 DGX H100 之后,英伟达于 2023 年 5 月推出DGX GH200,把 256 个 Grace Hopper 超级芯片连接为一起,可提供 1EFlops 的 FP8 Transform Engine算力,目标使用场景为存在GPU内存容量瓶颈的AI和HPC应用。GH200首次把 Grace Hooper 超级芯片与 NVLink Switch System 配对使用:1)Grace Hooper 超级芯片采用 NVLink-C2C 技术,可实现超快速的芯片到芯片、裸片到裸片互联,使得 Grace CPU 和 Hopper H100 GPU 构成一个完整的系统,并实现内存的相互访问,而不需要沿着 “CPU-内 存-主板-显存-GPU”的 PCIe 路线,功耗效率 、带宽大幅提升。2)NVLink Switch System 使得系统中的 GPU 能够以全频宽互连,并在丛集中协同合作,可为运算密集的工作负载提供更高的频宽并减少延迟。两者配对使用,使得内存容量大幅上升,突破存储瓶颈,在巨型内存 AI 工作负载下性能表现突出。