AI训练对算力的需求成倍上涨,尤其是Transformer相关模型 原图定位 看好整体 AI 芯片需求将伴随着大模型和生成式 AI 的 B 端应用落地而增加 2022 年开始,大模型的数量及参数量均呈指数级增长。总体来说,我们认为模型的数量和所需的训练数据才是对于算力要求的关键,因此,我们看好整体 AI 芯片的需求,将伴随着 大模型和 生成式 AI 所支持的 B 端商业应用落地而增加 。自 2018 年 OpenAI(未上市)发布了包含 1.17 亿参数的第一代 GPT(Generative Pre-trained Transformer)模型以来,每一代 GPT 模型的迭代都伴随着参数量的飞跃。一众中外的科技巨头们也不甘示弱,包括Google、Meta、百度等纷纷发布了 PaLM 、LaMDA 、Llama、文心一言等为代表的大语言模型。2020 年 1 月,OpenAI 团队论文《Scaling Laws for Neural Language Models》提出“缩放定律”(Scaling Laws),即大模型表现伴随模型参数量、数据集大小和计算量增长而增长,他们于 2023 年 5 月也再次强调,目前缩放定律仍未出现瓶颈。但我们也看到,谷歌在今年 5 月的 I/O 大会里发布的新一代 PaLM 大模型,PaLM2,就是通过算法上的改进达到训练数据增加为上一代 PaLM(7800 亿 tokens)的约 5 倍,达到 3.6 万亿个 tokens,