2023年H100GPU出货客户估算 原图定位

Scaling-law 助推参数量、数据量高速扩张，训练需求仍在攀升。1）Scaling-law 简单理解即为，随着模型大小、数据集大小和用于训练的计算浮点数的增加，模型的性能会提高；并且为了获得最佳性能，所有三个因素必须同时放大。根据华尔街见闻报道，GPT4在 120 层中总共包含了或约 1.8 万亿参数量，而 GPT3 只有约为 1750 亿个参数，规模提升约 10 倍；同时，GPT4 的训练数据集包含 13 万亿个 token，彼时单次训练成本约为6300 万美元。2）为了在大模型上取得竞争优势，以微软、谷歌、Meta 等为代表的科技大厂，在 AI 智算建设上的投入仍在快速扩大，力度空前。根据新智元报道，微软与 OpenAI正计划建设“星际之门”项目，将配备数百万专用的超算服务器芯片，项目成本预计超千亿美元；Meta 计划于 2024 年底拥有 35 万张英伟达 H100GPU，未来算力储备将达到60 万张。