英伟达H200能耗降低 原图定位 3.1 英伟达:H200出货在即,定制芯片业务储备中 首款搭载 HBM3E 的 GPU H200 于 2023 年 11 月发布,预计 24Q2 实现出货。2023年 11月 13日,英伟达发布首款提供 HBM3e 的 GPU,作为一种更快、更大的内存,HBM3e可加速生成式 AI 和大型语言模型,同时能推进 HPC 工作负载的科学计算。借助 HBM3e,NVIDIA H200 能以每秒 4.8 TB 的速度提供 141GB 内存,与前前一代的 NVIDIA A100 相比,容量几乎翻倍,带宽增加 2.4 倍,在用于推理或生成问题答案时,性能较 H100 提高了 60%至 90%,采用 HBM3e 内存技术的H200 在处理 700 亿参数的大模型时,推理速度较 H100 快了整整一倍,能耗降低了一半。受 HBM3E供应限制,预计 H200将于 24Q2实现出货。