HBM定位在片上存储和普通DRAM之间 原图定位 从速度来看,在 AI 应用中,每个 SoC 的带宽需求(尤其是在训练应用中)都会超过几 TB/s,但常规主存储器无法满足这个要求,具有3200Mbps DDR4 DIMM 的单个主存储器通道只能提供 25.6GB/s 的带宽,具有 4800Mbps DDR5 DIMM 的单个主存储器通道提供 38.4GB/s,即使是具有 8 个存储器通道的最先进的 CPU 平台,DDR4 和 DDR5 对应速度也只能达到 204.8GB/s、307GB/s,围绕单个 SoC 的 4 个 HBM2堆叠可提供大于 1TB/s 的带宽,因而能够消除带宽差距。