《计算机行业AI系列专题研究报告:AI算力研究框架-230613(80页).pdf》由会员分享,可在线阅读,更多相关《计算机行业AI系列专题研究报告:AI算力研究框架-230613(80页).pdf(80页珍藏版)》请在三个皮匠报告上搜索。
1、AI算力研究框架AI系列专题研究报告刘熹(证券分析师)S证券研究报告2023年06月13日计算机请务必阅读报告附注中的风险提示和免责声明2核心提要核心提要 GPT4GPT4:AIAI技术和工程的伟大创新,开启科 技“十年新 周期”技术和工程的伟大创新,开启科 技“十年新 周期”GPT-4 是世界首个最接近AGI的先进AI系统,展现出强大的“涌现能力”。GPT的成功,得益于其参数规模扩大,RLHF、Transformer、Prompt、插件、系统工程等方面的伟大创新。我们预计,ChatGPT将对科技产业产生深远的影响,类似于操作系统,ChatGPT将接入现有的全部软硬件系统。GPT-4的诞生将加
2、速AGI时代的到来,开启科技“十年新周期”。AIAI算力:科技企业大模型竞赛的核心“装备”,算力:科技企业大模型竞赛的核心“装备”,AIGCAIGC应用的关键基建应用的关键基建Transfomer架构大模型训练对算力的消耗呈指数级增长。2023年1月,ChatGPT计划再向微软融资100亿美金,该融资将是新一代大模型算力基建的主要资金来源。ChatGPT激发“鲶鱼效应”,全球科技巨头将AI战略提升到空前高度,算力作为新一轮科技竞赛的核心“装备”,迎来需求的脉冲式增长。未来,ChatGPT应用的全面落地还将释放更为广阔的算力需求。计算是计算是AIAI算力的核心引擎,存储、网络、软件是算力的核心引
3、擎,存储、网络、软件是AIAI算力算力的主要发展方向的主要发展方向1 1)计算:)计算:GPU是ChatGPT训练和推理的核心支柱,其更新速度远超过“摩尔定律”,受益于AI和高性能市场需求增长,GPU行业景气度显著提升。AI服务器作为GPU的重要载体,预计其市场规模、渗透率将随着GPU放量迎来同步高增。2 2)网络:)网络:已成为限制AI算力提升的主要瓶颈,英伟达推出InfiniBand架构下的NVLink、NVSwtich等方案,将GPU之间的通信能力上升到新高度。而800G、1.6T高端光模块作为AI训练的上游核心器件,将受益于大模型训练需求的增长。3 3)存储:)存储:“内存墙”是制约算
4、力提升的重要因素。NAND、DRAM等核心存储器在制程方面临近极限,不断探索“3D”等多维解决方案。HBM基于其高宽带特性,成为了高性能GPU的核心组件,市场前景广阔。请务必阅读报告附注中的风险提示和免责声明3 投资建议投资建议ChatGPTChatGPT对算力的影响远不止当前可见的基建投入,未来对算力的影响远不止当前可见的基建投入,未来TransformerTransformer大模型的迭代推动模型训练相关需求的算力增长,大模型的迭代推动模型训练相关需求的算力增长,以及以及AIGCAIGC大模型应用的算力需求,将是算力市场不断超预期的源泉。相关公司:大模型应用的算力需求,将是算力市场不断超预
5、期的源泉。相关公司:1 1、计算、计算1 1)服务器:)服务器:浪潮信息、中科曙光、紫光股份、工业富联、纬创、广达、英业达、戴尔、联想集团、超威电脑、中国长城、神州数码、拓维信息、四川长虹;2 2)GPUGPU:英伟达、AMD、Intel、海光信息、寒武纪、龙芯中科、景嘉微;2 2、网络、网络1 1)网络设备:)网络设备:紫光股份、中兴通讯、星网锐捷、深信服、迪普科技、普天科技、映翰通;2 2)光模块:)光模块:中际旭创、新易盛、光迅科技、华工科技、联特科技、剑桥科技、天孚通信;3 3、存储、存储1 1)存储器:)存储器:紫光国微、江波龙、北京君正、兆易创新、澜起科技、东芯股份、聚辰股份、普冉
6、股份、朗科科技。风险提示:宏观经济影响下游需 求,大 模型 迭代不 及预期,大 模型应 用不及 预期,市场 竞争加 剧,中风险提示:宏观经济影响下游需 求,大 模型 迭代不 及预期,大 模型应 用不及 预期,市场 竞争加 剧,中美博弈加剧美博弈加剧,相关相关公司公司业绩不及 预期等。业绩不及 预期等。核心提要核心提要请务必阅读报告附注中的风险提示和免责声明4目录目录1.GPT4:AI技术和工程的伟大创新技术和工程的伟大创新,迈向迈向AGI时代时代2.AI算力:算力:GPT基座,率先受益于基座,率先受益于AI“十年新周期”“十年新周期”3.算力算力计算:计算:GPU为算力核心,服务器为重要载体为
7、算力核心,服务器为重要载体4.算力算力网络:数据中心算力瓶颈,光模块需求放量网络:数据中心算力瓶颈,光模块需求放量5.算力算力存储:存储:AI训练“内存墙”,训练“内存墙”,3D工艺持续突破工艺持续突破6.投资建议和风险提示投资建议和风险提示请务必阅读报告附注中的风险提示和免责声明51.GPT4:AI技术和工程的伟大创新,迈向技术和工程的伟大创新,迈向AGI时代时代请务必阅读报告附注中的风险提示和免责声明61.1 GPT4:全球领先的“智能涌现”:全球领先的“智能涌现”AI大模型大模型 GPTGPT-4 4 是世界是世界第一个最第一个最接近接近AGIAGI的先进的先进AIAI系统。系统。Gen
8、erative Pre-trained Transformer 4(GPT-4)是OpenAI创建的多模态大型语言模型,于 2023 年 3 月 14 日发布,并已通过ChatGPT Plus和商业API形式对外提供服务。ChatGPTChatGPT是OpenAI在2022年11月推出的基于 GPT-3.5的新型 AI聊天机器人,只需向ChatGPT提出需求,即可实现文章创作、代码创作、回答问题等功能。ChatGPTChatGPT从推出到月用户过亿仅用了从推出到月用户过亿仅用了2 2个月时间,是世界上个月时间,是世界上增速最快消费级应用。增速最快消费级应用。GPT4:全球最为领先的AI应用之一
9、资料来源:OpenAI官网,businessday,国海证券研究所请务必阅读报告附注中的风险提示和免责声明7 2018年以来,GPT系列模型的参数规模、训练数量规模曾指数级增长,算法和框架持续升级。预计GPT4的参数规模接近1万亿,数据量20万亿 Tokens。1.1 GPT4:全球领先的“智能涌现”:全球领先的“智能涌现”AI大模型大模型GPT-1BERT(开源)GPT-2(开源)GPT-3ChatGPT/GPT-3.5GPT4(多模态)发布时间201820182019 20202022年11月30日2023年3月14日模型技术结构特点与安全性措施-基于Transformer 架构-12层,
10、768维词嵌入向量-无监督预训练和 有监督微调-基于Transformer架构,12层-双向编码器(全文 本)-词嵌入向量维度为 768或1024使用掩 码语言模型(MLM)进行预训练-下游任务微调-从GPT-1基础上增加 到48层,使用1600维 向量进行词嵌入-修改初始化的残差层 权重,缩放为原来的 1/N(N为残差层的数 量-交替密度和局部带状 稀疏注意模式-96层,参数数量增加 到约1750亿(175B)-上下文窗口宽度增加 到2048个tokens-训练数据更大-采用交替密度和局部 带状稀疏注意模式-基于GPT-3的架构,进行了针对性的优化 和调整-参数数量、层数和 词表与GPT-3
11、相近,但具体参数可能有所 不同-RLHF训练-预期参数数量远大于1750亿-视觉语言模型组件(VLM)-对抗性测试和红队测试-RLHF训练-基于规则的奖励模型(RBRM)模型参数117M340M1.5B1758B大概175B-6B-1.3B未知上下文窗口512 token512 token1024 token2048 token4096 token32,000 token训练方法无监督预训练和有监督微调掩码语言模型预训练无监督预训练无监督预训练1)有监督微调2)RLHIF训练奖励模 型3)PPO强化学习1)有监督微调2)RLHF训练奖励模型3)构造基于规则的奖 励模型(RBRM)4)PPO强化
12、学习数据集BooksCorpusBooksCorpus与English WikipediaWebTextCommon Crawl,WebText2,Books1,Books2和Wikipedia类似GPT-3,但可能有更新更大规模和多样化数据量规模5G40GB45TB45T+X20万亿Tokens资料来源:OpenAI官网,GPT-4核心技术分析报告陈巍,人工智能大模型技术高峰论坛,国海证券研究所请务必阅读报告附注中的风险提示和免责声明8 GPT4GPT4的显著特征“涌现能力”,的显著特征“涌现能力”,LLMLLM的的涌现涌现能力被正式定义为能力被正式定义为“在小型模型中不存在,但在大型模型中
13、出现的能力在小型模型中不存在,但在大型模型中出现的能力”。涌现能力出现时的一个显著特点:当模型规模达到一定程度时,性能显著提升。当模型规模达到一定程度时,性能显著提升。这种涌现模式与物理学中的相变现象相变现象有着密切的联系。原则上,涌现能力也可以根据一些复杂任务来定义。涌现是非线性深度网络的基本特征,也是群体智能行为与复杂思维,感知与认知的基本特质。涌现特征特征 描述In-context learning(情景学习)上下文学习能力由GPT-3正式引入:假设语言模型已经提供了一个自然语言指令和/或几个任务演示,它可以通过完成输入文本的单词序列为测试实例生成预期的输出,而不需要额外的训练或梯度更新
14、Instruction following(指令跟随)通过对经自然语言描述(即指令)格式化的多任务数据集的混合进行微调,LLM在同样以指令形式描述的未见任务上表现良好。有了这种能力,指令调优使LLM能够通过理解任务指令来执行新任务,而无需使用明确示例,这可以在很大程度上提高泛化能力Step-by-step reasoning(逻辑推理)对于小型语言模型,通常很难解决涉及多个推理步骤的复杂任务,例如数学应用题。而在思维链推理策略下,LLMs可以利用包含中间推理步骤以获得最终答案的提示机制来解决此类任务。据推测,这种能力可能是通过对代码的训练获得。1.1 GPT4:全球领先的“智能涌现”:全球领先
15、的“智能涌现”AI大模型大模型资料来源:A Survey of Large Language Models Wayne Xin Zhao等,国海证券研究所GPT4:“智能涌现”特征描述请务必阅读报告附注中的风险提示和免责声明9GPTGPT-4 4 在以下六个方面实现飞跃式提升。在以下六个方面实现飞跃式提升。创造能力更强:创造能力更强:GPT-4 比以往任何时候都更具创造性和协作性。它可以生成、编辑并与用户一起迭代创意和技术写作任务,例如创作歌曲、编写剧本或学习用户的写作风格。推理能力更强:推理能力更强:GPT-4在高级推理能力方面超过ChatGPT。更长的上下文:更长的上下文:GPT-4能够处
16、理超过25,000个单词的文本,允许使用诸如长表单内容创建、扩展对话、文档搜索和分析等用例。图片识别能力:图片识别能力:GPT-4可以接受图像作为输入,并生成标题、分类和分析。专业知识更强:专业知识更强:大多数专业和学术考试中,GPT-4表现出了人类水平的表现。更安全、更一致:更安全、更一致:与GPT-3.5相比,GPT-4对禁用内容的请求做出响应的可能性要低82%,产生事实性响应的可能性要高40%。1.1 GPT4:全球领先的“智能涌现”:全球领先的“智能涌现”AI大模型大模型GPT4:专业考试、逻辑推理、多模态能力突出资料来源:OpenAI官网,国海证券研究所请务必阅读报告附注中的风险提示
17、和免责声明101.2 OpenAI:AGI的重要推手的重要推手OpenAIOpenAI,在美国成立的,在美国成立的人工智能人工智能研究公司,核心宗旨在于“实现安全的通用人工智能研究公司,核心宗旨在于“实现安全的通用人工智能(AGI)”(AGI)”,使其有益于人类。,使其有益于人类。OpenAI2015年12月11日OpenAI成立2016年4月27日发布OpenAI Gym Beta2016年12月5日发布Universe2017年7月20日发布Proximal Policy Optimization算法2018年4月9日发布OpenAI宪章2019年2月14日提升语言模型GPT-2模型201
18、9年4月25日发布深度神经网络MuseNet2019年7月22日微软投资OpenAI并与其合作2019年11月5日发布GPT-2:1.5B 版本2020年4月30日发布神经网络Jukebox2020年6月11日开放人工智能应用程序接口2021年1月5日研究连接文本和图像神经网络CLIP2021年1月5日研究从文本创建图像神经网络DALL E2021年3月4日研究人工神经网络中的多模式神经元2022年4月6日发布新的人工智能系统DALL E 22022年11月30日研究ChatGPT并发布:优化对话的语言模型2019年3月创建OpenAI LP公司2020年9月授权微软使用GPT-3模型2023
19、年3月发布GPT-42023年3月多名专家及高管签署公开信,呼吁类似GPT-4的超强人工智能训练计划暂停6个月资料来源:维基百科,百度百科,国海证券研究所OpenAI历史沿革历史沿革请务必阅读报告附注中的风险提示和免责声明111.2 OpenAI:AGI的重要推手的重要推手1995年创办Zip2公司,1999年被康柏公司收购,获利2200万美元1999年创办X.com公司,2001年更名为PayPal,2002年被eBay收购2002年成立太空探索技术公司Space X,出任首席执行官兼首席技术官2016年成立 The Boring Company,用于解决地面拥堵问题的轨道交通2004年向特
20、斯拉投资630万美元,任公司董事长、拥有所有事务最终决定权2016年创立Neuralink公司,目标是将人脑与电脑连接起来openAI创始人埃隆 马斯克Elon Musk现任Y Combinator 总裁、人工智能实验室OpenAI首席执行官,Loopt的联合创始人,被媒体称为“ChatGPT之父”LinkedIn联合创始人,曾经担任PayPal高级副总裁。是硅谷最有名的天使投资者之一,曾经投资过60多家创业公司,包括Facebook和Digg。1998年创办PayPal并担任CEO,2004年成为Facebook的首个外部投资者,同年成立软件公司Palantir。OpenAI的联合创始人兼董
21、事长兼总裁,曾担任OpenAI以及支付巨头Stripe的CTO(Stripe 4号员工)。OpenAI 联合创始人,人工智能研究员,现任OpenAI研究员。OpenAI 联合创始人,人工智能研究员,曾担任OpenAI首席科学家。山姆 阿尔特曼Sam Altman彼得 蒂尔Peter Thiel约翰 舒尔曼John Schulman沃赫切赫 扎雷姆巴Wojciech Zaremba里德 霍夫曼Reid Hoffman格雷格 布罗克曼Greg Brockman2008年创立了SolarCity,公司致力于太阳能的技术革新资料来源:搜狐网,新智元,创业邦传媒,第一财经,百度百科,国海证券研究所请务必
22、阅读报告附注中的风险提示和免责声明12右起三个人分别是:1 1)首席科学家伊尔亚)首席科学家伊尔亚苏茨克维苏茨克维(Ilya Sutskever)(Ilya Sutskever)2 2)总裁兼董事长格雷格)总裁兼董事长格雷格布罗克布罗克曼曼 (Greg Brockman)(Greg Brockman)3 3)CEOCEO萨姆萨姆奥特曼奥特曼(Sam(Sam Altman)Altman)三人皆是2015年OpenAI成立时的创始元老。GPTGPT-4 4 幕后的研发团队幕后的研发团队大致可分为七个部分:预训练(预训练(PretrainingPretraining)、长上下文()、长上下文(Lon
23、g contextLong context)、视觉()、视觉(VisionVision)、强)、强化学习化学习&对齐(对齐(RL&alignmentRL&alignment)、评估)、评估&分析(分析(Evaluation&analysisEvaluation&analysis)、部署()、部署(DeploymentDeployment),以及其他。),以及其他。1.2 OpenAI:AGI的重要推手的重要推手主要团队主要团队任务预训练计算机集群扩展 数据 分布式训练基础设施 硬件正确性 优化&架构 Training run babysitting长上下文长上下文研究 长上下文内核视觉架构研究
24、 计算机集群扩展 分布式训练基础设施 硬件正确性 数据 对齐数据Training run babysitting 部署&后训练强化学习&对齐数据集贡献 数据基础设施 ChatML 格式 模型安全 Refusals 基础 RLHF 和 InstructGPT 工作Flagship training runs 代码功能评估&分析OpenAI Evals 库加速预测模型等级评估基础设施ChatGPT评估能力评估编码评估真实世界用例评估污染调查指令遵循和 API 评估新功能评估部署核心贡献者推理研究GPT-4 API和ChatML部署GPT4网络体验推理基础设施可靠性工程信托与安全工程产品管理Open
25、AI团队主要分工团队主要分工资料来源:GPT-4 Technical Report,多搜百科,国海证券研究所请务必阅读报告附注中的风险提示和免责声明131.3 GPT-4六大颠覆式技术创新六大颠覆式技术创新1、大参数+大数据+算法创新2、Transformer:自注意力机制3、对齐调优:RLHF4、Prompt:情境学习、思维链5、工具引入:卡片、互联网6、工程创新资料来源:国海证券研究所请务必阅读报告附注中的风险提示和免责声明141.3 GPT4六大颠覆式技术创新(六大颠覆式技术创新(1):大参数):大参数+大数据大数据+算法创新算法创新 参数扩大是提高参数扩大是提高LLMLLM模型模型能力
26、能力的关键因素的关键因素。GPT-3首先将模型大小增加到175B参数的极大规模。语言模型前期前期的性能和模型规模大致呈线性关系,当模型规模大到一的性能和模型规模大致呈线性关系,当模型规模大到一定程度时,任务性能有了明显的突变。定程度时,任务性能有了明显的突变。大规模语言模型基座的可扩展性很强,实现反复自我迭代。因此,因此,LLMLLM也被看作是实现通用人工智能也被看作是实现通用人工智能AGIAGI的希望。的希望。参数对大模型性能起到明显作用参数对大模型性能起到明显作用参数对大模型性能起到明显作用参数对大模型性能起到明显作用资料来源:A Survey of Large Language Mode
27、ls Wayne Xin Zhao等,SpeechHome,国海证券研究所请务必阅读报告附注中的风险提示和免责声明151.3 GPT4六大颠覆式技术创新(六大颠覆式技术创新(1):大参数:大参数+大数据大数据+算法创新算法创新模型能力不仅与模型大小有关,还与数据大小和总计算量有关。同时,预训练数据的质量对取得良好的性能起着关键作用,因此在扩展预训练语料库时,数据收集和清洗策略是非常重要的考虑。预训练语料库的来源大致可以分为两类:通用数据:如网页、书籍和对话文本,由于其庞大、多样化和可访问性,被大多数LLM使用,可以增强LLM的语言建模和泛化能力。专业数据:如多语言数据、科学数据和代码,使LLM
28、具有特定的任务解决能力。大模型主要利用各种公共文本数 据集做 预训 练大模型主要利用各种公共文本数 据集做 预训 练预训练大语言模型典型的数据处 理过程预训练大语言模型典型的数据处 理过程资料来源:A Survey of Large Language Models Wayne Xin Zhao等,国海证券研究所请务必阅读报告附注中的风险提示和免责声明161.3 GPT4六大颠覆式技术创新(六大颠覆式技术创新(1):大参数:大参数+大数据大数据+算法创新算法创新名称具体介绍Transformers开源的Python库,用于使用Transformer架构构建模型,由Hugging Face开发和维
29、护。它具有简单和友好的API,使其易于使用和定制各种预训练模型,以及用于数据集处理和评估的工具。它是一个强大的库,拥有一个庞大而活跃的用户和开发人员社区,他们定期更新和改进模型和算法。DeepSpeed由微软开发的基于PyTorch的深度学习优化库,已用于训练许多LLM,如GPT-Neo和BLOOM。它为分布式训练提供了各种优化技术,如内存优化(零技术)、梯度检查点和流水线并行。此外,它还提供了微调和评估这些模型的API。Megatron-LM基于PyTorch的深度学习库,由NVIDIA开发,用于训练大规模语言模型。它还为分布式训练提供了丰富的优化技术,包括模型和数据并行、混合精度训练、闪光
30、注意力和梯度检查点。这些优化技术可以显著提高训练效率和速度,实现跨gpu和机器的高效分布式训练。JAX谷歌Brain开发的用于高性能机器学习的Python库,允许用户在支持硬件加速(GPU或TPU)的数组上轻松执行计算。它支持各种设备上的计算,并提供了一些方便的功能,如即时编译加速和自动批处理。Colossal-AI由EleutherAI开发的深度学习库,用于训练大规模语言模型。它建立在JAX之上,并支持训练的优化策略,如混合精度训练和并行。最近,一个名为ColossalChat的类似聊天gpt的模型已经公开发布了两个版本(7B和13B),它们是使用基于LLaMA的colossalai开发的。
31、BMTrainOpenBMB开发的一个高效的分布式训练大规模参数模型的库,它强调代码简单、低资源和高可用性。BMTrain已经将几个常见的LLM(例如Flan-T5和GLM)合并到其ModelCenter中,开发人员可以直接使用这些模型。FastMoE专门用于MoE(即,专家混合)模型的训练库。它是在PyTorch之上开发的,在设计中优先考虑效率和用户友好性。FastMoE简化了将Transformer模型转换为MoE模型的过程,并在训练期间同时支持数据并行和模型并行。并行训练。并行训练。由于模型规模巨大,成功训练一个强大的LLM是非常具有挑战性的。LLMLLM的网络参数学习通常需要联合使用多
32、种并行策略,的网络参数学习通常需要联合使用多种并行策略,一些优化框架已经发布,以促进并行算法的实现和部署一些优化框架已经发布,以促进并行算法的实现和部署,如Transformer、DeepSpeed和Megatron-LM。此外,优化技巧对训练稳定性和模型性能也很重要。最近,GPT-4提出开发特殊的基础设施和优化方法,用小得多的模型的达到大型模型的性能。目前,常用的训练LLM的库包括TransformersTransformers,DeepSpeedDeepSpeed、MegatronMegatron-LMLM、JAXJAX、ColossalColossal-AIAI、BMTrainBMTra
33、in、FastMoeFastMoe等。此外,现有的深度学习框架(如PyTorchPyTorch、TensorFlowTensorFlow、MXNetMXNet、PaddlePaddlePaddlePaddle、MindSporeMindSpore和和OneFlowOneFlow)也提供了对并行算法的支持。目前开发大模型主要使用的算法 库目前开发大模型主要使用的算法 库资料来源:A Survey of Large Language Models Wayne Xin Zhao等,国海证券研究所请务必阅读报告附注中的风险提示和免责声明171.3 GPT4六大颠覆式技术创新(六大颠覆式技术创新(2):
34、):Transformer TransformerTransformer由由Google Google 在在20172017年的年的论文论文 Attention is All you needAttention is All you need 中提出中提出,GPTGPT与与BERTBERT均采用了均采用了TransformerTransformer模型。模型。Transformer基于显著性的注意力机制为输入序列中的任何位置提供上下文信息,使得Transformer具有全局表征能力强,全局表征能力强,高度并行性,位置关联操作不受限,通用性强,可扩展性强高度并行性,位置关联操作不受限,通用性强,
35、可扩展性强等优势,从而使得GPT模型具有优异的表现。资料来源:中国人工智能学会,国海证券研究所Ngram统计语言模型容易训练可解释强缺乏长期依赖,泛化差,稀疏Word2vec神经语言模型RNNLM 神经语言模型Transformer 注意力语言模型 上下文语义 部分长期依赖 更长依赖难以 建模,单向依赖并行化捕捉长距离全局信息多项多维相关模型复杂,成本高 更好长依赖 稠密词表示 更好泛化性 可解释性差,无法解决长距离依赖GPT-1GPT-2GPT-3ChatGPTBertRoBERTaXLMALBERTGPT系列(预测未来)自回归预训练语言模型自自然语言生成任务:应用然语言生成任务:应用Zer
36、o/Few Shot Prompt/lnstrustBERT系列(完形填空)双向预训练语言模型N-1token1token3token4token2=),.,/(11iniiwwwP),.,(),.,(111ininiwwCwwCiFeature-based:作为特征提取器,单独训练下游任务20022202020980201720122003自然语言自然语言理解理解:应用应用Fine-tuning请务必阅读报告附注中的风险提示和免责声明181.3 GPT4六大颠覆式技术创新(六大颠覆式技术创新(2):):Transformer SelfSelf-At
37、tentionAttention自注意力机制:自注意力机制:当模型处理每个词(输入序列中的每个位置)时,Self-Attention 机制使得模型不仅能够关注当前位置的词,而且能够关注句子中其他位置的词,从而可以更好地编码这个词。即单词自己记住我和哪些单词在同一句话里面。Transformer基于自注意力机制,学会单词和单词之间学会单词和单词之间共同共同出现出现的的概率概率,在在语料语料输入输入后后,可以可以输出单词和单词共同出现的输出单词和单词共同出现的概率概率,同时,同时,TransformerTransformer能够挖掘长距离上下文的词之间的双向关系。能够挖掘长距离上下文的词之间的双向
38、关系。资料来源:papers with code,国海证券研究所请务必阅读报告附注中的风险提示和免责声明191.3 GPT4六大颠覆式技术创新(六大颠覆式技术创新(3):RLHF RLHF是ChatGPT所采用的关键技术之一。Reinforcement Learning with Human Feedback(RLHF)是强化学习(RL)的一个扩展分支,RLHF 将人类的反馈信息纳入到训练过程,通过使用这些反馈信息构建一个奖励模型神经网络,以此提供奖励信号来帮助 RL 智能体学习,从而更加自然地将人类的需求,偏好,观念等信息以一种交互式的学习方式传达给智能体,对齐(align)人类和人工智能之
39、间的优化目标,产生行为方式和人类价值观一致的系统。Step 1.预训练语言模型(LM)Step 2.训练奖励模型(RM)Step 3.用强化学习(RL)微调RLHF训练步骤训练步骤资料来源:Hugging Face,国海证券研究所请务必阅读报告附注中的风险提示和免责声明201.3 GPT4六大颠覆式技术创新(六大颠覆式技术创新(4):):Prompt“提示提示”是一种提供给预训练语言模型的线索是一种提供给预训练语言模型的线索,让预训练语言模型能更好的理解人类的问题让预训练语言模型能更好的理解人类的问题。通过在输入中增加额外的文本(clue/prompt),以更好地利用预训练模型中的知识。提 示
40、 学 习 的 基 本 流 程 主 要 包 括 以 下 四 个 步 骤:提 示 构 造提 示 构 造(PromptPrompt ConstructionConstruction),答 案 构 造答 案 构 造(AnswerAnswerConstructionConstruction),答案预测答案预测(AnswerAnswer PredictionPrediction),以及答案以及答案-标签映射标签映射(AnswerAnswer-LabelLabel MappingMapping)。提示学习的优势:1 1)对预训练模)对预训练模LMLM的利用率高;的利用率高;2 2)小样本场景训练效果提升;)
41、小样本场景训练效果提升;3 3)finefine-tunetune成本大幅度下降成本大幅度下降等。Prompt的案例演示的案例演示P ro mt p t u n i n g 与与 p re-t r a i n a n d f i n e-t u n e 对 比对 比根据提示,根据提示,BERT BERT 能回答能回答/补全出补全出 “JDKJDK是由是由 Oracle Oracle 研发的”,研发的”,BART BART 能对长能对长文本进行总结,文本进行总结,ERNIE ERNIE 能说出鸟类的能力。能说出鸟类的能力。资料来源:网易新闻,百度智能云,国海证券研究所请务必阅读报告附注中的风险提
42、示和免责声明21 语境学习语境学习(in(in-context learning,ICL)context learning,ICL)作为一种特殊的提示形式与作为一种特殊的提示形式与GPTGPT-3 3一起被首次提出,并已成为一种典型的利用一起被首次提出,并已成为一种典型的利用LLLL的的方法。方法。首先,从任务描述开始,从任务数据集中选择一些示例作为演示。然后,将它们按照特定的顺序组合起来,形成具有特殊设计模板的自然语言提示。最后,测试实例被附加到演示中,作为LLM生成输出的输入。基于任务演示,LLM可以在不显式梯度更新的情况下识别并执行新任务。1.3 GPT4六大颠覆式技术创新(六大颠覆式技
43、术创新(4):):Prompt情境学习情境学习(ICL)与思维链与思维链(CoT)提示的比较研究提示的比较研究注释:注释:ICLICL用自然语言描述、几个演示和一个测试查询提示用自然语言描述、几个演示和一个测试查询提示LLMLLM,而,而CoTCoT提示则涉及提示中的一系列中间推理步骤。提示则涉及提示中的一系列中间推理步骤。资料来源:A Survey of Large Language Models Wayne Xin Zhao等,国海证券研究所请务必阅读报告附注中的风险提示和免责声明22由于由于LLMLLM是在大量纯文本语料库上训练成文本生成器的,是在大量纯文本语料库上训练成文本生成器的,因
44、此在非文本生成方面(例如,数值计算)表现不佳。此外,LLM的能力局限于预训练数据,例如无法捕捉最新信息。为解决这些问题,为解决这些问题,ChatGPTChatGPT启用了外部插件的机制启用了外部插件的机制,帮助ChatGPT访问最新信息,运行计算或使用第三方服务,类似于LLM的“眼睛和耳朵”,可以广泛扩展LLM的能力范围。20232023年年5 5月,月,ChatGPTChatGPT更新了包括网络浏览功能和更新了包括网络浏览功能和70 70 个测试个测试版插件版插件。此更新有望彻底改变ChatGPT 的使用方式,从娱乐和购物到求职和天气预报。ChatGPTChatGPT建立一个社区,插件开发者
45、来构建建立一个社区,插件开发者来构建ChatGPTChatGPT插件,插件,然后在语言模型显示的提示符中列出启用的插件,以及指导模型如何使用每个插件的文档。1.3 GPT4六大颠覆式技术创新(六大颠覆式技术创新(5):插件):插件C h a t G P T 可 以 启 用 网 络 浏 览 和 插 件 功 能可 以 启 用 网 络 浏 览 和 插 件 功 能C h a t G P T 插 件 部 分 展 示插 件 部 分 展 示资料来源:Open AI官网,knowtechie,国海证券研究所请务必阅读报告附注中的风险提示和免责声明23 OpenAIOpenAI 联合创始人联合创始人&CEO S
46、am Altman&CEO Sam Altman表示:表示:GPTGPT-4 4是人类迄今为止最复杂的软件系统。是人类迄今为止最复杂的软件系统。LLM的发展使得研发和工程的界限不再清晰。LLM的训练需要在大规模数据处理和分布式并行训练方面的广泛实践经验。开发LLM,研究人员必须解决复杂的工程问题,与工程师一起工作或成为工程师。1.3 GPT4六大颠覆式技术创新(六大颠覆式技术创新(6):系统工程):系统工程集群建设难数据准备难应用落地难推理压缩难模型训练难 如何实现参数面无损网络 如何超大集群稳定性设计?.如何构建高质量的大规模数据集?如何进行数据集质量评测?如何选择模型稠密稀疏结构?.如何选
47、择最高效的并行策略组合?如何实现多任务可视化调试调优?如何实现断点续训?.如何进行大模型的分布式推理?如何逬行大模型的推理加速?如何进行大模型的无损量化.如何搭建大规模推理集群调度系统?如何进行防攻击设计?如何有效的进行故障恢复和隔离.开源数据能耗系统设计及优化平台调度系统设计与优化计算系统设计与优化网络设计与优化存储设计与优化私有数据模型结构设计代码调试模型训练代码调试模型微调训练转换量化蒸馏剪枝在线推理离线推理API开发集群建设和上线前期准备模型预训练下游任务微调模型转换/优化模型部署能力开放大模型专业开发者平台系统工程师应用开发者资料来源:人工智能大模型技术高峰论坛,国海证券研究所请务必
48、阅读报告附注中的风险提示和免责声明242.AI算力:算力:GPT的基座,显著受益于新一轮科技革命的基座,显著受益于新一轮科技革命请务必阅读报告附注中的风险提示和免责声明252.1 GPT开启开启AI新纪元:对标新纪元:对标Windows的生态价值的生态价值ChatGPTChatGPT的发布类似于的发布类似于WindowsWindows的诞生。的诞生。ChatGTP作为大语言模型,将会起到信息系统入口的作用,同时,ChatGPT或将重塑目前的软件生态。2022年,Windows在全球PC操作系统市占率约75%,应用数量3000万以上,是世界上生态规模最庞大的商业操作系统。围绕Windows所创造
49、的桌面软件生态,诞生了现有的全球互联网巨头,亚马逊、谷歌、META、阿里巴巴、腾讯、百度等。资料来源:人工智能大模型技术高峰论坛,国海证券研究所C h a t G P T 成 为 人 工 智 能 时 代 新 的 信 息 系 统 入 口成 为 人 工 智 能 时 代 新 的 信 息 系 统 入 口桌面和移动应用服务应用AI应用ChatQA翻译作曲画图写代码.办公浏览器图片编辑播放器科学计算各种服务器文件系统内存管理进程管理人机交互网络安全管控意图识别情感分析问答文字生成图片形成声音生成图生成文本表示图像表示图表示操作系统大语言模型请务必阅读报告附注中的风险提示和免责声明262.1 GPT开启开启
50、AI新纪元:对标新纪元:对标Iphone的“十年周期”的“十年周期”英伟达英伟达CEOCEO黄仁勋:黄仁勋:ChatGPTChatGPT是是AIAI的“的“IphoneIphone时刻”时刻”iPhone是苹果公司(Apple Inc.)于2007年1月9日开始发售的搭载iOS操作系统的系列手机产品。同时,围绕苹果创造的智能手机生态,诞生了抖音、微信等应用公司,以及苹果供应链环节的广阔市场机遇。苹 果 的 生 态苹 果 的 生 态2 0 0 7-2 0 2 1 年 苹 果年 苹 果 i P h o n e 出 货 量(百 万 台)出 货 量(百 万 台)2 0 0 7-2 0 2 1 年 苹
51、果年 苹 果 i Ph o n e 市 占 率市 占 率资料来源:counter point research,the product head,国海证券研究所3.713.124.947.593.0135.8153.4192.6231.5215.2 215.8206.3195.6201.1237.905002007 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017 2018 2019 2020 20213%9%14%15%18%18%15%15%16%14%14%14%13%15%17%0%2%4%6%8%10%12%14
52、%16%18%20%2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017 2018 2019 2020 2021请务必阅读报告附注中的风险提示和免责声明272.1 GPT开启开启AI新纪元:科技产业的“十年新周期”新纪元:科技产业的“十年新周期”时间1970s1980s1990s2000s2010s2020s类型大型机小型机个人电脑桌面互联网移动互联网AI代表公司IBMControl DataSperryBurroughsDECHPPrimeData GeneralMicrosoftCiscoIntelDellGoogleEbaySina
53、百度阿里巴巴腾讯AppleMetaQualcomm腾讯字节跳动NvidiaTeslaMicrosoftOpenAI.图示全球科技产业“十年一周期”,新的科技革命诞生新的巨头!全球科技产业“十年一周期”,新的科技革命诞生新的巨头!资料来源:清华博学堂,国海证券研究所请务必阅读报告附注中的风险提示和免责声明282.2 算力是大模型的根基,算力是大模型的根基,GPT的率先受益赛道的率先受益赛道大模型预训练上游上下文算力算法数据计算存储网络模型框架数据软件视觉对齐部署评估下游办公视频创作搜索教育医疗金融模型插件应用网络数据加工文娱通用模型行业模型2C2B大语言模型(大语言模型(LLMLLM)产业链)产
54、业链资料来源:国海证券研究所请务必阅读报告附注中的风险提示和免责声明29 算力是对信息数据进行处理输出目标结果的计算能力。随着社会数字化转型算力是对信息数据进行处理输出目标结果的计算能力。随着社会数字化转型的持续深入,算力已成为支撑和推动数字经济发展的核心力量,并对推动科的持续深入,算力已成为支撑和推动数字经济发展的核心力量,并对推动科技进步、社会治理等发挥着重要的作用技进步、社会治理等发挥着重要的作用。根据中国算力发展指数白皮书测算,算力没投入1元,将带动3-4元的经济产出。2021年全球计算设备算力总规模达到615EFlops,同比增长44%,其中智能算力规模为232EFlops,超级算力
55、规模为14EFlops。智算中心、边缘数据中心将保持高速增长。先进计算技术产业体系框架计算力指数与GDP走势显著正相关2016-2021年全球算力规模及增速资料来源:中国信通院,IDC,国海证券研究所2.2 算力是大模型的根基,算力是大模型的根基,GPT的率先受益赛道的率先受益赛道0%5%10%15%20%25%30%35%40%45%50%005006007002001920202021全球算力规模(Eflops)同比增速(%)超算超算通用、智算通用、智算边缘算力边缘算力 科学实验 气象研究 航空航天 石油勘探 互联网 通信 金融 政府 智能汽车
56、视频监控 移动设备 传感设备算力需求场景请务必阅读报告附注中的风险提示和免责声明30 微软投资10亿美金打造OpenAI超算平台。2020年5月,微软投资10亿美金与OpenAI独家合作打造了Azure AI超算平台亮相,性能位居全球前五,拥有超过28.5万个CPU核心、1万个GPU、每GPU拥有400Gbps网络带宽的超级计算机,主要用于大规模分布式AI模型训练。据OpenAI报告,训练一次1746亿参数的 GPT-3模型需要的算力约为3640 PFlop/s-day。即假如每秒计算一千万亿次,也需要计算3640天。C ChatGPThatGPT训练需要消耗巨大算力训练需要消耗巨大算力OOp
57、enAIpenAI融资历程融资历程2.2 算力是大模型的根基,算力是大模型的根基,GPT的率先受益赛道的率先受益赛道融资时间融资轮次融资金额投资方2023/1B轮100亿美元微软2022/1A轮2.5亿美元微软、Google Ventures等2021/1Pre-A轮未披露Sequoia CapitalAndreessen HorowitzTiger Global ManagernerntBedrock Capital2021-未披露微软2019/7天使+轮10亿美元微软2019/4天使轮1000万美元Matthew Brown2019/3种子轮未披露Khosla VenturesReid H
58、offman Foundation2016/8Pre-种子轮12万美元Y Combinator资料来源:清华博学堂,人工智能大模型技术高峰论坛,国海证券研究所请务必阅读报告附注中的风险提示和免责声明31 TransformerTransformer相关模型对算力的需求提升数倍,远超过算力产业的摩尔定律增速。相关模型对算力的需求提升数倍,远超过算力产业的摩尔定律增速。基于Transformer体系结构的大型语言模型(Large Language Models)涉及高达数万亿从文本中学习的参数。开发它们是一个昂贵、耗时的过程,需要深入研究技术专长、分布式数据中心规模的基础设施和完整的堆栈加速计算方
59、法。“大模型“大模型+大数据”成为预训练模型的“新范式”。大数据”成为预训练模型的“新范式”。近年新推出的大语言模型所使用的数据量和参数规模呈现“指数级”增长,参数和数据规模的增长带来的是算力消耗增加。我们预计未来的大模型所消耗的算力将远超过目前已有的大模型。“大模型“大模型+大数据”成为大数据”成为AIAI预训练模型的“新范式”预训练模型的“新范式”Transformer模型消耗的算力远超过摩尔定律2.2 算力是大模型的根基,算力是大模型的根基,GPT的率先受益赛道的率先受益赛道资料来源:A Survey of Large Language Models,新智元,国海证券研究所请务必阅读报告
60、附注中的风险提示和免责声明32 ChatGPTChatGPT产品运营需要更大的算力产品运营需要更大的算力:据SimilarWeb数据,2023年1月ChatGPT官网总访问量为6.16亿次。据Fortune杂志,每次用户与ChatGPT互动,产生的算力云服务成本约0.01美元。根据科技云报道如果使用总投资30.2亿元、算力500P的数据中心来支撑ChatGPT的运行,至少需要7-8个这样的数据中心,基础设施的投入都是以百亿计的。ModelPromptCompletion8K context$0.03/1K tokens$0.06/1K tokens32K context$0.06/1K tok
61、ens$0.12/1K tokens2.2 算力是大模型的根基,算力是大模型的根基,GPT的率先受益赛道的率先受益赛道GPTGPT的应用场景的应用场景GPTGPT-4 4的的APIAPI价格价格资料来源:从大模型到人工智能机遇与挑战专题论坛,PingCode,国海证券研究所请务必阅读报告附注中的风险提示和免责声明332.3 2023年,全球算力上市公司市值涨幅可观年,全球算力上市公司市值涨幅可观行业证券代码证券简称涨幅排名光模块603083.SH剑桥科技681.24%光模块301205.SZ联特科技496.05%服务器SMCI.O超微电脑375.14%光模块300308.SZ 中际旭创366.
62、71%光模块300502.SZ新易盛303.38%存储300042.SZ朗科科技270.54%GPU688256.SH寒武纪251.32%光模块300394.SZ天孚通信226.95%GPUNVDA.O英伟达219.55%服务器3231.TW纬创166.29%服务器601138.SH工业富联150.59%服务器000977.SZ浪潮信息129.01%服务器603019.SH中科曙光116.81%服务器000938.SZ紫光股份106.24%GPU688047.SH龙芯中科97.65%GPUAMD.OAMD97.16%光模块000988.SZ华工科技95.48%GPU300474.SZ景嘉微93
63、.95%光模块002281.SZ光迅科技89.64%服务器2382.TW广达67.53%服务器000066.SZ中国长城63.11%服务器2356.TW英业达61.35%服务器DELL.N戴尔43.05%服务器0992.HK联想集团42.22%存储000660.KS海力士38.15%存储005930.KS三星33.71%GPU688041.SH海光信息33.27%存储MU.O美光科技31.44%GPUINTC.OINTEL25.27%存储300223.SZ北京君正19.43%存储688008.SH澜起科技11.22%存储603986.SH兆易创新 9.76%20222022年年1010月月-至
64、今至今 英伟达和全球部分证券市场走势图英伟达和全球部分证券市场走势图资料来源:Wind,国海证券研究所,注释:股价截至日期2023年6月12日20222022年年1010月月-至今至今 全球算力相关公司市值涨幅全球算力相关公司市值涨幅010,00020,00030,00040,00050,00060,00070,000-11%39%89%139%189%2022-10-032022-11-182023-01-102023-03-012023-04-192023-06-07成交金额(百万元)(右)英伟达(NVIDIA)纳斯达克指数ChatGPT突破1亿月活,频繁发生宕机比尔盖茨、黄仁勋等大咖为C
65、hatGPT“站台”。云计算公司抢购A100/H100,产品涨价,供货周期拉长英伟达发布2024年第一季度财报,Q1业绩和Q2指引均超预期请务必阅读报告附注中的风险提示和免责声明342022.102022.10-至今至今 GPUGPU公司股价走势公司股价走势2022.102022.10-至今至今 服务器公司股价走势服务器公司股价走势2022.102022.10-至今至今 存储公司股价走势存储公司股价走势2022.102022.10-2023.6 2023.6 光模块公司股价走势光模块公司股价走势2.3 2023年,全球算力上市公司市值涨幅可观年,全球算力上市公司市值涨幅可观资料来源:Wind,
66、国海证券研究所,注释:股价截至日期2023年6月12日-20%30%80%130%180%230%280%330%2022-10-032022-11-182023-01-102023-03-012023-04-192023-06-07英伟达(NVIDIA)海光信息超威半导体(AMD)英特尔(INTEL)寒武纪-U-7%43%93%143%193%243%293%343%2022-10-102022-11-242023-01-112023-03-062023-04-212023-06-12浪潮信息中科曙光工业富联纬创超微电脑-17%-7%3%13%23%33%43%53%63%2022-10-1
67、02022-11-242023-01-112023-03-062023-04-212023-06-12SAMSUNG ELECSK HYNIX美光科技(MICRON TECHNOLOGY)兆易创新东芯股份-5%95%195%295%395%495%595%2022-10-102022-11-242023-01-112023-03-062023-04-212023-06-12中际旭创剑桥科技联特科技新易盛天孚通信英伟达是核心锚请务必阅读报告附注中的风险提示和免责声明353.计算:计算:GPU为算力核心,服务器为重要载体为算力核心,服务器为重要载体请务必阅读报告附注中的风险提示和免责声明36 服务
68、器通常是指那些具有较高计算能力,能够提供给多个用户使用的计算机。服务器通常是指那些具有较高计算能力,能够提供给多个用户使用的计算机。服务器与PC机的不同点很多,例如PC机在一个时刻通常只为一个用户服务。服务器与主机不同,主机是通过终端给用户使用的,服务器是通过网络给客户端用户使用的,所以除了要拥有终端设备,还要利用网络才能使用服务器电脑,但用户连上线后就能使用服务器上的特定服务了。AIAI服务器是一种能够提供人工智能(服务器是一种能够提供人工智能(AIAI)计算的服务器。)计算的服务器。它既可以用来支持本地应用程序和网页,也可以为云和本地服务器提供复杂的AI模型和服务。AI服务器有助于为各种实
69、时AI应用提供实时计算服务。AIAI服务器按应用场景可分为训练和推服务器按应用场景可分为训练和推理两种,其中训练对芯片算力要求更高,推理对算力的要求偏低。理两种,其中训练对芯片算力要求更高,推理对算力的要求偏低。3.1 服务器:服务器:AI算力的重要载体算力的重要载体服务器的主要分类服务器的主要分类NVIDIA A100服务器资料来源:智研咨询,servethehome,国海证券研究所请务必阅读报告附注中的风险提示和免责声明371 1)全球服务器市场:)全球服务器市场:根据Counterpoint报告,2022年,全球服务器市场的收入将同比增长17%,达到1117亿美元。主要企业:主要企业:戴
70、尔、惠普、联想、浪潮和超微等服务器公司,以及富士康、广达、纬创、英业达等ODM厂商。ODM Direct的增长速度比整体市场高3个百分点,ODM Direct将成为大规模数据中心部署的硬件选择。2 2)全球)全球AIAI服务器市场:服务器市场:根据IDC数据,预计2022年市场规模约为183亿美元,2023年市场规模211亿美元。市场份额:市场份额:浪潮信息市场占有率达20.2%。其次,戴尔、HPE、联想、华为占比分别为13.8%、9.8%、6.1%、4.8%。2021全球AI服务器市场份额2022年全球AI服务器主要客户2021年全球各服务器公司收入(单位:百万美元)3.1 服务器:服务器:
71、AI算力的重要载体算力的重要载体资料来源:Counterpoint,IDC,中商情报网,国海证券研究所微软,19.00%谷歌,17.00%Meta,16.00%AWS,14.00%字节跳动,6.00%腾讯,2.30%阿里巴巴,1.50%百度,1.50%其他,22.70%请务必阅读报告附注中的风险提示和免责声明381 1)中国服务器市场:)中国服务器市场:2022年,中国服务器市场规模为273.4亿美元。2022年,浪潮以28.1%的市场份额位列第一,收入达530.63亿。2 2)中国加速服务器市场:)中国加速服务器市场:根据IDC数据,2022年,中国加速服务器市场规模达到67亿美元,同比增长
72、24%。2022年,浪潮、新华三、宁畅位居前三,占据了60%以上的市场份额互联网依然是最大的采购行业,占整体加速服务器市场接近一半的份额。3.1 服务器:服务器:AI算力的重要载体算力的重要载体2023-2027E中国加速服务器市场规模2022年中国AI服务器市场份额2019-2023年中国服务器市场规模2021-2022年中国服务器市场份额182216.49250.9273.430818.95%15.89%8.97%12.66%0%2%4%6%8%10%12%14%16%18%20%0500300350200222023E市场规模(亿美元)同比增长
73、(%)资料来源:中商产业研究院,IDC,华经产业研究院,国海证券研究所浪潮,47%新华三,11%宁畅,9%安擎,7%坤前,6%华为,6%宝德,5%思腾合力,2%其他,7%请务必阅读报告附注中的风险提示和免责声明39AIAI芯片是算力的核心。芯片是算力的核心。AI芯片也被称为AI加速器或计算卡,即专门用于处理人工智能应用中的大量计算任务的模块(其他非计算任务仍由CPU负责)。伴随数据海量增长,算法模型趋向复杂,处理对象异构,计算性能要求高,AI 芯片在人工智能的算法和应用上做针对性设计,可高效处理人工智能应用中日渐多样繁杂的计算任务。GPUGPU是是目前最广泛应用的目前最广泛应用的AIAI芯片。
74、芯片。AI芯片主要包括图形处理器(GPU)、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、神经拟态芯片(NPU)等。GPU属于通用型芯片,ASIC属于专用型芯片,而FPGA则是介于两者之间的半定制化芯片。2022年,我国GPU服务器占AI服务器的89%。AI芯片的分类不同AI芯片之间对比GPUGPUFPGAFPGAASICASIC特点通用型半定制化专用型芯片架构叠加大量计算单元和高速内存,逻辑控制单元简单具备可重构数字门电路和存储器,根据应用定制电路结构可根据特定领域应用和特定算法定制擅长领域3D图像处理,密集型并行运算算法更新频繁或者市场规模较小的专用领域市场需求量大的专用领域优点
75、计算能力强,通用性强,开发周期短,难度小,风险低功能可修改,高性能、功耗远低于GPU,一次性成本低专业性强、性能高于FPGA、功耗低、量产成本低缺点价格贵、功耗高编程门槛高、量产成本高开发周期长、难度太、风险高、一次性成本高3.2 GPU:AI算力的核心算力的核心资料来源:前瞻产业研究院,华经情报网,国海证券研究所请务必阅读报告附注中的风险提示和免责声明40年份 主要进展代表产品晶体管数量总线API渲染模型1980-1990图形工作站系统SGI Iris Geometry engine1MIris GL1995-1998GPU,硬件光栅化3dfx VoodooNVIDIA TNT2ATI Ra
76、ge10MPCI,AGP 2XOpenGL 1.12,DirectX61999-2000硬件几何处理NVIDA Geforce2 ATI Radeon 7000S3 Savage 3D25MAGP4XOpenGL 1.12,DirectX7 2001可编程顶点程序Geforce Radeon800060MOpenGL 1.13,DirectX81.02003可编程程序像素Geforce FX Radeon9000100MAGP8XOpenGL 1.13,DirectX9 2.位颜色,视频出来,增强可编程性Geforce 6/7 Radeon X 200MPCI-EOpe
77、nGL 2.10,DirectX 9.10c3.02006-至今可编程同意渲染器GPGPUGeforce 8/9 Radeon 2000/3000/4000700MPCIe2.0OpenGL 2.11,Directx10,CUDA,OpenCL 4.0 GPUGPU是是NVIDIANVIDIA公司公司在在19991999年年8 8月发表月发表NVIDIA GeForce 256NVIDIA GeForce 256绘图处理芯片时首先提出的概念。绘图处理芯片时首先提出的概念。在此之前,电脑中处理影像输出的显示芯片,通常很少被视为是一个独立的运算单元。3.2 GPU:AI算力的核心算力的核心资料来源
78、:清华博学堂,国海证券研究所请务必阅读报告附注中的风险提示和免责声明41 图形处理器图形处理器(GPUGPU),又称显示核心显示核心(display core)、视觉处理器视觉处理器(video processor)、显示芯片显示芯片(display chip)或图形芯片图形芯片(graphics chip),是一种专门执行绘图运算工作的微处理器。GPUGPU具有数百或数千个内核,经过优化,可并行运行大量计算。具有数百或数千个内核,经过优化,可并行运行大量计算。虽然GPU在游戏中以3D渲染而闻名,但它们对运行分析、深度学习和机器学习算法尤其有用。GPU允许某些计算比传统CPU上运行相同的计算速
79、度快10倍至100倍。GPGPU,即是将GPU的图形处理能力用于通用计算领域的处理器。GPUGPU主要产品形态及玩家主要产品形态及玩家GPUGPU和和CPUCPU架构对比架构对比3.2 GPU:AI算力的核心算力的核心资料来源:中国人工智能学会,embedded,国海证券研究所请务必阅读报告附注中的风险提示和免责声明42 根据LC数据,20192019年,年,NVIDIANVIDIA在全球在全球AIAI加速云市场份额高达加速云市场份额高达97%97%。此外,。此外,AMD GPUAMD GPU、赛灵思、赛灵思FPGAFPGA、InteIntel l FPGAFPGA的云的云计算份额分别为计算份
80、额分别为1.0%1.0%、1.0%1.0%、0.6%0.6%的份额。的份额。20212021年,中国加速卡出货量超年,中国加速卡出货量超8080万片,万片,NvidiaNvidia市占率市占率80%+80%+。2021年我国服务器AI加速卡市场份额英伟达数据中心GPU类别80%20%Nvidia其他2019年全球四大云平台加速卡占比3.2 GPU:AI算力的核心算力的核心资料来源:快科技,IDC,国海证券研究所请务必阅读报告附注中的风险提示和免责声明43 CUDACUDA是英伟达是英伟达20072007年推出的一种并行计算平台和应用程序编程接口年推出的一种并行计算平台和应用程序编程接口(API
81、)(API),允许软件使用某些类型的GPU进行通用计算机处理。CUDA与 NVIDIA GPU 无缝协作,加速跨多个领域的应用程序开发和部署。目前,超过一百万的开发人员正在使用目前,超过一百万的开发人员正在使用 CUDACUDA-X X,它提供了提高生产力的能力,同时受益于持续的应用程序性能。,它提供了提高生产力的能力,同时受益于持续的应用程序性能。3.2 GPU:AI算力的核心算力的核心资料来源:英伟达官网,国海证券研究所请务必阅读报告附注中的风险提示和免责声明442023 2023 财年,英伟达全球收入财年,英伟达全球收入269.7269.7亿美元,亿美元,其中,图形业务部门的收入约为 1
82、19 亿美元,计算与网络部门的收入为 151 亿美元。2023Q12023Q1(Q1 FY24Q1 FY24)财季,英伟达数据中心业务营收)财季,英伟达数据中心业务营收42.842.8亿美元,亿美元,历史新高,同比增长历史新高,同比增长14%14%,环比增长,环比增长18%18%。2015-2023年英伟达全球收入(十亿美元)2015-2023年英伟达按部门收入(百万美元)2021Q2-2024Q1 英伟达各季度收入-按市场1,752 1,900 1,903 2,048 2,366 2,936 3,263 3,750 3,806 3,833 3,620 4,280 05001,0001,500
83、2,0002,5003,0003,5004,0004,500Q2 FY21Q3 FY21Q4 FY21Q1 FY22Q2 FY22Q3 FY22Q4 FY22Q1 FY23Q2 FY23Q3 FY23Q4 FY23Q1 FY24GamingData CenterProressianal VisualizationAutoOEM&Other3.2 GPU:AI算力的核心算力的核心资料来源:statista,英伟达财报,国海证券研究所请务必阅读报告附注中的风险提示和免责声明454.网络:数据中心算力瓶颈,光模块需求放量网络:数据中心算力瓶颈,光模块需求放量请务必阅读报告附注中的风险提示和免责声明4
84、6 数据通信设备(网络设备、数据通信设备(网络设备、ICTICT设备)设备)泛指实现IP网络接入终端、局域网、广域网间连接、数据交换及相关安全防护等功能的通信设备,主要大类包括交换机、路由器、交换机、路由器、WLANWLAN。其中主要的是交换机和路由器。其中主要的是交换机和路由器。网络设备是互联网基本的物理设施层,属于信息化建设所需的基础架构产品。网络设备是互联网基本的物理设施层,属于信息化建设所需的基础架构产品。4.1 网络:算力的瓶颈之一,英伟达布局网络:算力的瓶颈之一,英伟达布局InfiniBand网络设备分类及介绍资料来源:华经产业研究院,国海证券研究所请务必阅读报告附注中的风险提示和
85、免责声明47 网络设备制造服务行业,网络设备制造服务行业,上游主要为芯片、PCB、电源、各类电子元器件等生产商,直接下游为各网络设备品牌商,终下游包括运营商、政府、金融、教育、能源、电力、交通、中小企业、医院等各个行业。网络设备根据应用领域分为电信级、企业级和消费级。网络设备根据应用领域分为电信级、企业级和消费级。电信级网络设备主要应用于电信运营商市场,用于搭建核心骨干互联网;企业级网络设备主要应用于非运营商的各种企业级应用市场,包括政府、金融、电力、医疗、教育、制造业、中小企业等市场;消费级网络设备主要针对家庭及个人消费市场。4.1 网络:算力的瓶颈之一,英伟达布局网络:算力的瓶颈之一,英伟
86、达布局InfiniBand网络设备按照应用领域分类情况网络设备上下游情况资料来源:观研报告网,国海证券研究所请务必阅读报告附注中的风险提示和免责声明48 市场规模市场规模,1 1)全球:)全球:根据IDC报告,2021年网络市场规模为542.4亿美元,同比增长10.1%。其中交换机、路由器和WLAN增速分别为9.7%、6.5%和20.4%。2 2)中国:中国:2021年网络市场规模为102.4亿美元(约677.89亿元人民币),同比增长12.1%。数字经济、数字经济、5G5G、云计算、网络设备升级、大型数据中心建设等驱动网络设备行业需求持续提升。、云计算、网络设备升级、大型数据中心建设等驱动网
87、络设备行业需求持续提升。竞争格局,竞争格局,行业集中度较高,思科、华为、新华三等少数几家企业占据着绝大部分的市场份额,呈现寡头竞争的市场格局。人工智能和高性能计算人工智能和高性能计算(HPC)(HPC)日益增长的计算需求推动了多节点、多日益增长的计算需求推动了多节点、多GPUGPU系统的无缝、高速通信的需求,为了构建最强大系统的无缝、高速通信的需求,为了构建最强大的、能够满足业务速度的端到端计算平台,需要一个快速、可扩展的互连网络。的、能够满足业务速度的端到端计算平台,需要一个快速、可扩展的互连网络。2021年全球及中国交换机行业市场份额情况资料来源:智研咨询,华经产业研究,国海证券研究所20
88、17-2024年中国网络设备市场规模统计(亿美元)4.1 网络:算力的瓶颈之一,英伟达布局网络:算力的瓶颈之一,英伟达布局InfiniBand请务必阅读报告附注中的风险提示和免责声明494.1 网络:算力的瓶颈之一,英伟达布局网络:算力的瓶颈之一,英伟达布局InfiniBand 通信成为算力的瓶颈。通信成为算力的瓶颈。AI加速器通常会简化或删除其他部分,以提高硬件的峰值计算能力,但是却难以解决在内存和通信上的难题。无论是芯片内部、芯片间,还是AI加速器之间的通信,都已成为AI训练的瓶颈。扩展带宽的技术难题还尚未被攻扩展带宽的技术难题还尚未被攻克。克。过去20年间,运算设备的算力提高了90,00
89、0倍,虽然存储器从DDR发展到GDDR6x,接口标准从PCIe1.0a升级到NVLink3.0,但是通讯带宽的增长只有30倍。通信带宽的提升速度远低于计算提升的速度资料来源:量子位,国海证券研究所请务必阅读报告附注中的风险提示和免责声明50 英伟达英伟达NVLinkNVLink。NVLinkNVLink是是 NVIDIA NVIDIA 的高带宽、高能效、的高带宽、高能效、低延迟、无损的低延迟、无损的 GPU GPU 到到 GPU GPU 互连技术,互连技术,其中包含诸如链路级错误检测和数据包回放机制等弹性特性,可保证数据的成功传输。对比上一代,第四代对比上一代,第四代NVLinkNVLink可
90、将全局归约操作的带宽提可将全局归约操作的带宽提升升 3 3 倍,通用带宽提升倍,通用带宽提升 50%50%,单个单个NVIDIA H100 NVIDIA H100 Tensor Core GPUTensor Core GPU最多支持最多支持1818个个NVLinkNVLink连接,连接,多多 GPU IO GPU IO 的总带宽为的总带宽为 900GB/s900GB/s,是,是 PCIe 5.0 PCIe 5.0 的的 7 7 倍。倍。NVLink 性能表现NVLink 规格NVLink 链接图4.1 网络:算力的瓶颈之一,英伟达布局网络:算力的瓶颈之一,英伟达布局InfiniBand资料来源
91、:英伟达官网,国海证券研究所请务必阅读报告附注中的风险提示和免责声明51 英伟达英伟达NVSwitchNVSwitch。第三代 NVSwitch 技术包括位于节点内部和外部的交换机,用于连接服务器、集群和数据中心环境中的多个 GPU。节点内的每个节点内的每个 NVSwitchNVSwitch 具有具有 64 64 个第四代个第四代 NVLinkNVLink 链路端口,链路端口,可加速多 GPU 连接。交换机总吞吐量从上一代的 7.2Tb/s 提升到 13.6Tb/s。新的第三代NVSwitch 技术还通过组播和 NVIDIA SHARP 在网计算,为集合运算提供硬件加速。英伟达结合英伟达结合全
92、新全新 NVLINK NVLINK 和和 NVSwitchNVSwitch 技术,技术,构建大型构建大型NVLinkNVLink Switch Switch 系统网络,实现前系统网络,实现前所未有的通信带宽水平。所未有的通信带宽水平。NVLink Switch 系统最多可支持 256 个 GPU。互连节点能够提供 57.6 TB 的多对多带宽,可提供高达 1 exaFLOP 级别的 FP8 稀疏计算算力。NVSwitch规格参数基于 DGX A100 与 DGX H100 的 32 节点、256 GPU NVIDIA SuperPOD对比4.1 网络:算力的瓶颈之一,英伟达布局网络:算力的瓶颈
93、之一,英伟达布局InfiniBand资料来源:英伟达官网,国海证券研究所请务必阅读报告附注中的风险提示和免责声明52InfiniBandInfiniBand是一个用于高性能计算的计算机网络通信标准,特点是高带宽高带宽、低延迟低延迟,主要用于高性能计算(HPC)、高性能集群应用服务器和高性能存储。20192019年年3 3月,英伟达以月,英伟达以6969亿美金收购亿美金收购Mellanox Mellanox,加大,加大InfiniBandInfiniBand投入。投入。2021年,发布NVIDIA Quantum-2,采用第七代 NVIDIA InfiniBand 架构,为AI 开发者和科学研究
94、人员提供超强网络性能和丰富功能。InfiniBand(12X)万兆以太网带宽30G,60G,120G,168G,312G10G延迟小于等于1微秒接近10微秒应用领域超级计算企业存储领域互联网、域域网、数据中心骨干等优点极低的延迟和高吞吐量应用范围广、已成为业界普遍认可的标准互联技术缺点再服务器硬件上需要昂贵的专有互联设备延迟难以进一步降低InfiniBand与万兆以太网的比较InfiniBand广泛应用于全球超算中心资料来源:英伟达官网,开源Linux,半导体行业观察,国海证券研究所NVIDIA Quantum-2 InfiniBand 交换机可提供海量吞吐、出色的网络计算能力、智能加速引擎、
95、杰出的灵活性和健壮架构,在高性能计算(HPC)、AI 和超大规模云基础设施中发挥出色性能,并为用户降低成本和系统复杂性。NVIDIA Quantum-2 InfiniBand 交换机系列4.1 网络:算力的瓶颈之一,英伟达布局网络:算力的瓶颈之一,英伟达布局InfiniBand请务必阅读报告附注中的风险提示和免责声明53 光模块是光纤通信系统的核心器件之一,光模块是光纤通信系统的核心器件之一,其为多种模块类别的统称,包括:光接收模块,光发送模块,光收发一体模块光收发一体模块和光转发模块等。通常情况下,光模块由光发射器件光发射器件(TOSATOSA,含激光器含激光器)、光接收器件光接收器件(RO
96、SAROSA,含光探测器含光探测器)、驱动电路驱动电路、放大器和光放大器和光(电电)接口接口等部分组成。光模块主要用于实现电光模块主要用于实现电-光和光光和光-电信号的转换电信号的转换。光模块:光电转换示意图资料来源:深圳市电子商会,亿渡数据,国海证券研究所4.2 光模块:网络核心器件,光模块:网络核心器件,AI训练提振训练提振800G需求需求请务必阅读报告附注中的风险提示和免责声明54 光模块行业的上游主要包括光芯片、电芯片、光组件企业。光模块行业的上游主要包括光芯片、电芯片、光组件企业。光组件行业的供应商较多,但高端光芯片和电芯片技术壁垒高,研发成本高昂,主要由境外企业垄断。光模块行业位于
97、产业链的中游,属于封装环节。光模块行业下游包括互联网及云计算企业、电信运营商、数据通信和光通信设备商等。光模块:产业链资料来源:深圳市电子商会,国海证券研究所4.2 光模块:网络核心器件,光模块:网络核心器件,AI训练提振训练提振800G需求需求请务必阅读报告附注中的风险提示和免责声明55 作为信息化和互连通信系统中必需的核心器件,光通信模块的发展对作为信息化和互连通信系统中必需的核心器件,光通信模块的发展对 5G 5G 通信、电子、大数据、互联网行业的影响至关重通信、电子、大数据、互联网行业的影响至关重要。要。全球数据流量的增长,光通信模块速率的提升,光通信技术的创新等推动光模块产业规模持续
98、增长。全球光模块市场Lightcounting 预测,全球光模块的市场规模在未来全球光模块的市场规模在未来 5 5 年将以年将以 CAGR11%CAGR11%保持增长,保持增长,2027 2027 年将突破年将突破 200 200 亿美元。亿美元。另外,高算力、低功耗是未来市场的重要发展方向,CPO、硅光技术或将成为高算力场景 下“降本增效”的解决方案。光模块应用场景主要可以分为数据通信和网络通信两大领域。光模块应用场景主要可以分为数据通信和网络通信两大领域。数据通信领域主要是指互联网数据中心以及企业数据中心。网络通信主要包括光纤接入网、城域网/骨干网以及5G接入、承载网为代表的移动网络应用。
99、2017-2022全球光模块市场规模统计预测(百万美元)2020年我国光模块应用市场结构全球光模块细分市场规模及预测资料来源:华经产业研究院,中商产业研究院,中际旭创公告,国海证券研究所4.2 光模块:网络核心器件,光模块:网络核心器件,AI训练提振训练提振800G需求需求请务必阅读报告附注中的风险提示和免责声明56 2010年至年至2021年,全球前十家光模块厂商中,中国企业增长至年,全球前十家光模块厂商中,中国企业增长至5家。家。Omdia发布的全球前十大光模块厂商名单及其2021年市场份额变动情况显示,前十名分别为:高意集团、中际旭创、朗美通、光迅科技、博通、海信宽带多媒体、高意集团、中
100、际旭创、朗美通、光迅科技、博通、海信宽带多媒体、Acacia、昂纳集团、住友电工、英特尔昂纳集团、住友电工、英特尔。国内入围的厂商有中际旭创、光迅科技、海信宽带多媒体、昂纳集团中际旭创、光迅科技、海信宽带多媒体、昂纳集团,前四大国内光模块厂商占据全球的26%市场份额。海关数据显示,海关数据显示,2017-2021年中国光模块行业贸易顺差额逐年增长。年中国光模块行业贸易顺差额逐年增长。2017年我国光模块行业贸易顺差额为14.85亿美元,其中进口额为10.80亿美元,出口额为25.65亿美元;2021年光模块行业贸易顺差额增长至33.23亿美元,其中进口额为8.77亿美元,出口额为42.10亿美
101、元。项目2017年2018年 2019年2020年2021年进口额10.808.939.949.228.77出口额25.6528.9930.5136.9042.10进出口额36.4537.9240.4546.1250.87贸易顺差14.8520.0620.5727.6733.23全球前十大光模块厂商2017-2021年中国光模块行业进出口状况表(亿美元)2021年全球光模块市场份额资料来源:中商产业研究院,中际旭创公告,前瞻产业研究院,深圳市电子商会,国海证券研究所4.2 光模块:网络核心器件,光模块:网络核心器件,AI训练提振训练提振800G需求需求请务必阅读报告附注中的风险提示和免责声明5
102、7企业简称业务/产品类型光模块业务概况2022 年 光 模块销量(万块)同比增速光迅科技光电子器件、模块和子系统数据中心 800G 高速产品、固网接入 combo PON 系列产品、400G DCO 系列产品等均取得较好进展。21075.27-8.57%中际旭创高端光通信收发模块、光器件800G 和相干系列产品等已实现批量出货,1.6T 光模块和 800G 硅光模块已开发成功并进入送测阶段,CPO(光电共封)技术和 3D 封装技术也在持续研发进程中。946-9.13%新易盛光模块已成功研发出涵盖 5G 前传、中传、回传的25G、50G、100G、200G 系列光模块产品并实现批量交付。前已成功
103、推出800G 的系列高速光模块产品,基于硅光解决方案的 800G、400G 光模块产品及 400G ZR/ZR+相干光模块产品、以及基于LPO 方案的 800G 光模块产品。759-2.57%联特科技光模块研发生产的不同型号光模块产品累计1000 余种,公司兼具产品研发和生产制造能力,拥有光芯片集成、光器件以及光模块的设计、生产能力,是国内少数可以批量交付涵盖 10G、25G、40G、50G、100G、200G、400G、800G 全系列光模块的厂商。29818.73%博创科技PLC光分路器、光收发模块等坚持走光电结合和器件模块化、集成化、小型化的道路,专注于集成光电子器件的规模化应用,为电信
104、传输网和接入网以及数据通信提供关键的光电子器件。产品包括PLC 光分路器PON光收发模块、AWG和VMUX、用于无线承载网的前传、中回传光收发模块,25G-400G bps 速率的光收发模块、AOC、DAC、ACC、CPO 等。532.6442.12%德科立光收发模块、光放大器、光传输子系统在非相干光模块领域,25G 单波速率下,100G(425G)80km 产品传输距离业界领先;50G单波速率下,200G(450G)40km 产品传输距离业界领先;100G 单波速率下,400G(4100G)10km/40km 产品传输距离业界领先。在相干光模块领域,公司最新研发的 100G/200G 相干光
105、模块产品在国内市场仍处于技术领先水平。公司是行业内少数能够同时提供高速率相干与高速率非相干光模块的公司。133.1911.23%剑桥科技高速光模块进一步优化 800G 8FR1 产品和 800G 2FR4 的工艺和良率并在上海工厂逐步量产,推动新一代低功耗、低成本 400G DR4/DR4+产品的生产导入和量产,对 100G CWDM4、100G LR4、100G DR/FR、400G FR4 进行持续的降本改进,加快 800G 产品大规模量产的步伐。89.032.77%光模块:光模块行业上市公司基本信息对比4.2 光模块:网络核心器件,光模块:网络核心器件,AI训练提振训练提振800G需求需
106、求资料来源:各公司公告,前瞻产业研究院,国海证券研究所请务必阅读报告附注中的风险提示和免责声明58 AIGC 的高速发展将进一步促进数据流量的持续增长和包括光模块在内的 ICT 行业的发展,加速光模块向 800G 及以上产品迭代。LightCounting 数据显示,2023 年开始,800G 有望拉动新一轮增长,预计在 2026 年突 破 30 亿美元大关。预计英伟达 H100 GPU:800G光模块为1:2-1:4。英伟达采用的InfiniBand无阻塞、胖树架构。我们预计算力网络中,服务器层GPU与800G光模块比例为1:1;交换机层GPU与800G光模块比例为1:2;此外,考虑核心层交
107、换机,以及管理网络、存储网络等,以及安装率相关因素,预计英伟达 H100 GPU:800G光模块的比例约为1:2-1:4。数据中心光模块需求演进(2021-2026年数据为预测值)DGX H100 数据网络配置图资料来源:LightCounting,servethehome,国海证券研究所4.2 光模块:网络核心器件,光模块:网络核心器件,AI训练提振训练提振800G需求需求请务必阅读报告附注中的风险提示和免责声明59 2023年5月,英伟达推出DGX GH200GH200,GH200GH200是是将将 256 256 个个NVIDIA Grace HopperNVIDIA Grace Hop
108、per超级芯片超级芯片完全连接,旨在处理用于大规模推荐系统、生成式人工智能生成式人工智能和图形分析的太字节级模型。NVLink交换系统采用两级、无阻塞、胖树结构。如下图:L1和L2层分为96和32台交换机,承载Grace Hopper超级芯片的计算底板使用NVLink fabric第一层的定制线缆连接到NVLink交换机系统。LinkX电缆扩展了NVLink fabric的第二层连接。我们预计我们预计GH200GH200的推出将进一步促进的推出将进一步促进800G800G光模块的需求增长。光模块的需求增长。DGX GH200技术参数DGX GH200通过NVLink将256个GPU完全联接4.
109、2 光模块:网络核心器件,光模块:网络核心器件,AI训练提振训练提振800G需求需求资料来源:英伟达官网,国海证券研究所请务必阅读报告附注中的风险提示和免责声明605.存储:人工智能“内存墙”,存储:人工智能“内存墙”,3D工艺持续突破工艺持续突破请务必阅读报告附注中的风险提示和免责声明615.1 存储:半导体产业核心支柱,存储:半导体产业核心支柱,AI算力的“内存墙”算力的“内存墙”计算机存储器是一种利用计算机存储器是一种利用半导体半导体、磁性介质等技术制成的存储、磁性介质等技术制成的存储资料资料的电子设备。其的电子设备。其电子电路电子电路中的资料以中的资料以二进制二进制方式存储,方式存储,
110、不同存储器产品中基本单元的名称也不一样。不同存储器产品中基本单元的名称也不一样。存储芯片可分为掉电易失和掉电非易失两种,存储芯片可分为掉电易失和掉电非易失两种,其中易失存储芯片主要包含静态随机存取存储器(SRAM)和动态随机存取存储器(DRAM);非易失性存储器主要包括可编程只读存储器(PROM),闪存存储器(Flash)和可擦除可编程只读寄存器(EPROM/EEPROM)等。NAND FlashNAND Flash和和DRAMDRAM存储器领域合计占半导体存储器市场比例达到存储器领域合计占半导体存储器市场比例达到95%95%以上。以上。数据中心光模块需求演进(2021-2026年数据为预测值
111、)DGX H100 数据网络配置图资料来源:鲜枣课堂,果壳硬科技,国海证券研究所请务必阅读报告附注中的风险提示和免责声明62 半导体存储器也是整个半导体产业的核心支柱之一。半导体存储器也是整个半导体产业的核心支柱之一。半导体行业分为集成电路、光电器件、分立器件、传感器等子行业,根据功能的不同,集成电路又可以分为存储器、逻辑电路、模拟电路、微处理器等细分领域。根据世界半导体贸易统计(WSTS)对世界半导体贸易规模的最新报告,20212021年全球半导体行业的整体规模达到年全球半导体行业的整体规模达到5529.615529.61亿美元,同比增长亿美元,同比增长25.6%25.6%。其中存储器的市场
112、规模接近。其中存储器的市场规模接近16001600亿美元,是半导体中规模最亿美元,是半导体中规模最大的子行业,占比超过大的子行业,占比超过1/41/4。65020040060080007年2018年2019年2020年2021年2022年2017-2022年全球存储器行业市场规模(单位:亿美元)2021年全球半导体细分行业结构存储器,29%逻辑电器,27%微处理器,14%模拟电路,13%光电器件,8%分立器件,6%传感器,3%存储器逻辑电器微处理器模拟电路光电器件分立器件传感器存储芯片产业链5.1 存储:半
113、导体产业核心支柱,存储:半导体产业核心支柱,AI算力的“内存墙”算力的“内存墙”资料来源:WSTS,中商产业研究院,前瞻产业研究院,国海证券研究所请务必阅读报告附注中的风险提示和免责声明63“内存墙”“内存墙”(memory wall)是制约是制约AIAI算力提升的重要因素。算力提升的重要因素。Transformer模型中的参数数量呈现出2年240倍的超指数增长,而单个GPU内存仅以每2年2倍的速度扩大。训练AI模型的内存需求,通常是参数数量的几倍。因为训练需要存储中间激活,通常会比参数(不含嵌入)数量增加3-4倍的内存。自谷歌团队在2017年提出Transformer,模型所需的内存容量开始
114、大幅增长。2016-2021年Transformer参数数量和单GPU内存的变化趋势训练不同神经网络模型所需要的内存量5.1 存储:半导体产业核心支柱,存储:半导体产业核心支柱,AI算力的“内存墙”算力的“内存墙”资料来源:量子位,国海证券研究所请务必阅读报告附注中的风险提示和免责声明64存算一体的原理、优势存算一体的原理、优势存算一体就是存算一体就是存储器中叠加计算能力,以新的高效运算架构进行二维和三维矩阵计算。存算一体的优势存算一体的优势包括:具有更大算力(1000TOPS以上)具有更高能效(超过10-100TOPS/W),超越传统ASIC算力芯片降本增效(可超过一个数量级)存算一体技术的
115、技术底层存算一体技术的技术底层特征包括:减少数据搬运(降低能耗至1/101/100)存储单元具备计算能力(等效于在面积不变的情况下规模化增加计算核心数,或者等效于提升工艺代)单个存算单元替代“计算逻辑+寄存器”更小更快更高并行度、更高能效、更大专用算力代表企业代表企业代表企业存算一体原理优势资料来源:陈巍先进存算一体芯片设计,国海证券研究所5.1 存储:半导体产业核心支柱,存储:半导体产业核心支柱,AI算力的“内存墙”算力的“内存墙”请务必阅读报告附注中的风险提示和免责声明65 NVIDIA DGX GH200 NVIDIA DGX GH200 是第一台通过是第一台通过GPUGPU的的NVLi
116、nkNVLink 联接实现联接实现144TB 144TB 内存内存的超级计算机的超级计算机。NVIDIA DGX GH200 通过 NVLink 为 GPU 共享内存编程模型提供了近 500 倍的内存,形成了一个巨大的数据中心大小的 GPU。NVIDIA DGX GH200 是第一台通过在 256 个NVIDIA Grace Hopper 超级芯片上提供 144TB 海量共享内存空间的 AI 超级计算机。NVIDIA DGX GH200NVIDIA DGX GH200中的每个中的每个NVIDIA Grace HopperNVIDIA Grace Hopper超级芯片具有超级芯片具有480 GB
117、 LPDDR5 CPU480 GB LPDDR5 CPU内存,每内存,每GBGB的功率是的功率是DDR5DDR5和和96 GB fast HBM396 GB fast HBM3的八分之一。的八分之一。NVIDIA Grace CPU和Hopper GPU通过NVLink互连,每个GPU都可以以900GBps的速度访问其他GPU的内存和NVIDIA Grace CPU的扩展GPU内存。DGX每一代产品的 存储能力DGX每一代产品的 存储能力资料来源:英伟达官网,国海证券研究所5.1 存储:半导体产业核心支柱,存储:半导体产业核心支柱,AI算力的“内存墙”算力的“内存墙”请务必阅读报告附注中的风险
118、提示和免责声明66NAND Flash嵌入式:eMMC/UFSSSD写入速度(MB/s)移动设备1200 900600300000eMMC5.1UFS2.1UFS3.0 UFS3.1eMMC特点:低功耗UFS特点:低功耗+高速消费级-PC数据中心级企业级1.2x2x3x NANDNAND基本原理:非易失性存储,基本原理:非易失性存储,通过外部施加电压控制存储单元中的电荷量,实现电荷在内存单元中的存储。NAND优势:非易失、读写速度快、抗震、低功耗、体积小、价格较低等;NAND挑战:耐久性,高密度、高容量。NAND FlashNAND Flash出货形态以出货形态以 eMM
119、C/UFSeMMC/UFS(主要应用在移动设备、智能手机、平板电脑等(主要应用在移动设备、智能手机、平板电脑等)、SSD(SSD(主要应用在服务器和主要应用在服务器和PC)PC)产品为主。主要应用在产品为主。主要应用在数码相机、MP3随身听记忆卡、体积小巧的U盘等。5.2 NAND:大容量存储的最佳方案,:大容量存储的最佳方案,3D NAND技术持续突破技术持续突破资料来源:观研报告网,国海证券研究所请务必阅读报告附注中的风险提示和免责声明67 NAND FlashNAND Flash是大容量存储器当前应用最广和最有效的解决方案。是大容量存储器当前应用最广和最有效的解决方案。据Gartner统
120、计,NAND Flash2020年市场规模为534.1亿美元。随着人工智能、物联网、大数据、5G等新兴应用场景不断落地,电子设备需要存储的数据也越来越庞大,NAND Flash需求量巨大,市场前景广阔。目前全球具备NAND Flash晶圆生产能力的主要有三星、铠侠、西部数据、美光、三星、铠侠、西部数据、美光、SKSK海力士、英特尔海力士、英特尔等企业,国产厂商长长江存储处于起步状态,正在市场份额与技术上奋起直追江存储处于起步状态,正在市场份额与技术上奋起直追。根据Omdia的数据统计,2020年六大NAND Flash晶圆厂占据了98%的市场份额。2017-2022年NAND Flash市场规
121、模(单位:亿美元)全球DAND Flash行业需求应用统计2020年全球NAND Flash晶圆场市场份额537.4579.5426.6534.1652.7816.4005006007008009002017年2018年2019年2020年2021年2022年固态硬盘,49%智能手机,32%存储卡,4%U盘,3%平板,3%汽车电子,1%可穿戴设备,1%其他,7%固态硬盘智能手机存储卡U盘平板汽车电子可穿戴设备其他三星,34%西部数据,19%铠侠,14%美光,11%SK海力士,11%因特尔,9%长江存储,1%其他,1%三星西部数据铠侠美光SK海力士因特尔长江存储其他5.2
122、NAND:大容量存储的最佳方案,:大容量存储的最佳方案,3D NAND技术持续突破技术持续突破资料来源:Gartner,Omdia,观研报告网,国海证券研究所请务必阅读报告附注中的风险提示和免责声明68 NANDNAND最核心的是数据的稳定性。最核心的是数据的稳定性。根据厂家测试,在做到15、16nm 工艺之后,NAND 闪存的可靠性就会断崖性下跌。不能一味地通过先进制程先进制程,缩小晶体管体积、提高密度的方式来提升的性能。全球存储巨头都在投入3D NAND。长江存储发布独家 3D 堆叠技术Xtacking。5.2 NAND:大容量存储的最佳方案,:大容量存储的最佳方案,3D NAND技术持续
123、突破技术持续突破全球主要NAND厂商的堆叠层数资料来源:电子工程专辑,国海证券研究所请务必阅读报告附注中的风险提示和免责声明69 DRAMDRAM(Dynamic Random Access MemoryDynamic Random Access Memory,动态随机存取存储器)是一种半导体存储器,动态随机存取存储器)是一种半导体存储器,主要的作用原理是利用电容内存储电荷的多寡来代表一个二进制比特(bit)是1还是0。DRAM根据应用设备可分为计算机(DDR)、移动(LPDDR)、图形存储器DRAM(GDDR),DDRDDR和和LPDDRLPDDR合计占合计占DRAMDRAM应用比例约应用比
124、例约90%90%。DRAMDRAM优势:优势:体积容量高、成本低、高密度、结构简单;DRAMDRAM挑战:挑战:访问速度慢、耗电量大。DRAMDDRLPDDRGDDDRDDR1DDR2DDR3DDR4DDR5LPDDR1LPDDR2LPDDR3LPDDR4LPDDR5GDDR2GDDR3GDDR4GDDR5GDDR6速度越来越快利基DRAM主流DRAM市场规模小,成熟工艺,一般很少扩充产线市场规模大,较为先进工艺,类大宗品属性更强应用场景注:当产品不再为主流市场规格时,该产品将主动转利基盟市场,如大量容DRAM出货量的增长,DDR4-4GB将会逐渐转至利基DRAM服务器PC等手机 平板等GPU
125、等5.3 DRAM:存储器最大细分市场,:存储器最大细分市场,3D成为重要方向成为重要方向资料来源:观研报告网,Trend Force,国海证券研究所请务必阅读报告附注中的风险提示和免责声明70 DRAMDRAM是存储器市场规模最大的芯片,根据是存储器市场规模最大的芯片,根据Trend ForceTrend Force数据统计,数据统计,20222022年年DRAMDRAM市场规模预计达到市场规模预计达到10551055亿美元。亿美元。市场格局:市场格局:目前DRAM晶圆的市场供应主要集中在三星、SK海力士和美光,三大厂商2021年市场占有率合计已达到94.1%,其中三星市场占有率43.6%,
126、SK海力士与美光分别占比27.7%与22.8%。国内DRAM晶元厂商主要为合肥长鑫,目前尚处于起步阶段。下游行业:下游行业:根据Gartner统计及预测,DRAM下游需求市场格局较为稳定,移动端电子产品、服务器、个人电脑占为主,个人电脑占比近年来呈现缓慢下降的趋势。72446008007年2018年2019年2020年2021年2022年2017-2022年DRAM市场规模(单位:亿美元)2021年全球DRAM行业竞争格局2021年全球DRAM行业需求结构图三星,43.60%SK海力士,27.70%美光,22.80%其他,5.9
127、0%三星SK海力士美光其他移动端电子产品,39%服务器,28%个人电脑,18%其他,15%移动端电子产品服务器个人电脑其他5.3 DRAM:存储器最大细分市场,:存储器最大细分市场,3D成为重要方向成为重要方向资料来源:Trend Force,中商产业研究院,中国存储器行业发展趋势研究与投资前景调研报告,国海证券研究所请务必阅读报告附注中的风险提示和免责声明71 DRAMDRAM停滞在停滞在10nm10nm。DRAM 容量取决于 DRAM 的物理尺寸和其中的存储单元数量。存储单元密度受单元尺寸、用于构建芯片的层的厚度以及运行芯片所需的功率量的限制。由于多项技术挑战,DRAM小型化的速度已经放缓
128、。自 2016 年以来,由于电容由于电容器尺寸和低于器尺寸和低于 10 10 纳米水平的其他电纳米水平的其他电气限制,气限制,DRAM DRAM 尺寸停滞在尺寸停滞在 10 10 纳纳米。米。现有的现有的DRAMDRAM技术将可能在技术将可能在20262026年逼年逼近终点。近终点。现有6F2结构DRAM单元设计下,10nm的D/R可能是2027年或2028年成为DRAM的最后一代。厂商的DRAM路线图:D1z-D1z DRAM在2020-2022年上市5.3 DRAM:存储器最大细分市场,:存储器最大细分市场,3D成为重要方向成为重要方向资料来源:2022 AND BEYOND FOR ME
129、MORY TECHNOLOGYJeongdong Choe,国海证券研究所请务必阅读报告附注中的风险提示和免责声明72 3D DRAM 3D DRAM 视为存储器半导体市场的游戏规则改变者,它或将在未来视为存储器半导体市场的游戏规则改变者,它或将在未来 3 3 到到 4 4 年内克服超精细工艺的局限性年内克服超精细工艺的局限性,发展,发展3D 3D DRAM DRAM 架构对聊天架构对聊天 GPT GPT 和人工智能和人工智能 (AI)(AI)的发展是必要的。的发展是必要的。Neo Semiconductor Neo Semiconductor 推出3D X-DRAM,通过垂直堆叠存储单元以增
130、加存储容量,而不会增加存储芯片的物理占用空间。根据公司估计,这项技术可以通过这项技术可以通过 230 230 层实现层实现 128 Gb 128 Gb 的密度的密度是当今是当今 DRAM DRAM 密度的八倍。密度的八倍。三星电子三星电子、SKSK海力士海力士和美光和美光将将 3D DRAM 3D DRAM 视为未来将改变内存市场游戏规则的关键技术,正在根据各种路线图加速研究。视为未来将改变内存市场游戏规则的关键技术,正在根据各种路线图加速研究。Neo Semiconductor 预测的 DRAM 技术的未来3D X-DRAM概念图5.3 DRAM:存储器最大细分市场,:存储器最大细分市场,3
131、D成为重要方向成为重要方向资料来源:Neo半导体,allaboutcircuits,国海证券研究所请务必阅读报告附注中的风险提示和免责声明73HBMHBM(HighHighBandwidthBandwidth MemoryMemory)高带宽存储器,是一种面向)高带宽存储器,是一种面向需要极高吞吐量的数据密集型应用程序的需要极高吞吐量的数据密集型应用程序的DRAMDRAM。HBMHBM特点:特点:更高带宽、更多I/O数量、更低功耗、更小尺寸。HBMHBM挑战:挑战:灵活性不足、容量小、访问延迟高。超高的带宽让超高的带宽让HBMHBM成为了高性能成为了高性能GPUGPU的核心组件。的核心组件。根
132、据 TrendForce报告,目前市场上主要的HBM制造商为SK 海力士、三星、美光,市占率分别为50%、40%、10%。HBM性能演进目前推出的搭载HBM和GDDR的GPU产品HBM更适用于AI、高性能计算等场景5.3 DRAM:存储器最大细分市场,:存储器最大细分市场,3D成为重要方向成为重要方向资料来源:SK海力士,奎芯科技,芯世相,TrendForce,国海证券研究所请务必阅读报告附注中的风险提示和免责声明746.投资建议和风险提示投资建议和风险提示请务必阅读报告附注中的风险提示和免责声明75 投资建议投资建议ChatGPTChatGPT对算力的影响远不止当前可见的基建投入,未来对算力
133、的影响远不止当前可见的基建投入,未来TransformerTransformer大模型的迭代推动模型训练相关需大模型的迭代推动模型训练相关需求的算力增长,以及求的算力增长,以及AIGCAIGC大模型应用的算力需求,将是算力市场不断超预期的源泉。相关公司:大模型应用的算力需求,将是算力市场不断超预期的源泉。相关公司:1 1、计算、计算1 1)服务器:)服务器:浪潮信息、中科曙光、紫光股份、工业富联、纬创、广达、英业达、戴尔、联想集团、超威电脑、中国长城、神州数码、拓维信息、四川长虹;2 2)GPUGPU:英伟达、AMD、Intel、海光信息、寒武纪、龙芯中科、景嘉微;2 2、网络、网络1 1)网
134、络设备:)网络设备:紫光股份、中兴通讯、星网锐捷、深信服、迪普科技、普天科技、映翰通;2 2)光模块:)光模块:中际旭创、新易盛、光迅科技、华工科技、联特科技、剑桥科技、天孚通信;3 3、存储、存储1 1)存储器:)存储器:紫光国微、江波龙、北京君正、兆易创新、澜起科技、东芯股份、聚辰股份、普冉股份、朗科科技。6.1 投资建议投资建议请务必阅读报告附注中的风险提示和免责声明766.1 相关公司相关公司业务业务股票名称股票名称归母净利润归母净利润(亿元)亿元)PEPE归母净利润归母净利润CAGRCAGR2022A2022A2023E2023E2024E2024E2025E2025E2023E20
135、23E2024E2024E2025E2025E20222022-2025E2025E601138.SH工业富联200.73237.26266.70299.9917.8715.9014.1414.33%000977.SZ浪潮信息20.8026.4832.9138.4025.1420.2317.3422.67%603019.SH中科曙光15.4420.1626.1032.8537.1928.7122.8228.61%000938.SZ紫光股份21.5826.9933.1339.9934.6628.2423.3922.83%000066.SZ中国长城1.205.507.7210.3481.6558.
136、2143.47104.83%688041.SH海光信息8.0413.0218.9425.03139.9596.1972.7846.05%688256.SH寒武纪-U-12.57-8.13-5.59-3.38-112.84-164.25-271.04-35.42%688047.SH龙芯中科0.522.073.944.50270.40142.10124.29105.65%300474.SZ景嘉微2.894.095.757.59103.2873.4455.6537.96%300223.SZ北京君正7.898.9912.0614.8347.2535.2428.6623.40%603986.SH兆易创新
137、 20.5313.3619.2525.5051.3635.6626.917.51%688008.SH澜起科技12.9912.0719.8924.7154.8033.2426.7623.89%300308.SZ中际旭创12.2415.0519.8624.9164.8149.1339.1626.72%300502.SZ新易盛9.049.0612.5916.5847.6334.3026.0522.41%002281.SZ光迅科技6.086.878.029.2332.7728.0824.3814.91%300394.SZ天孚通信4.035.066.538.5367.3252.1439.8928.41%
138、000988.SZ华工科技9.0612.1415.5819.3829.8323.2318.6828.83%301205.SZ联特科技1.131.291.982.94128.5983.6656.3037.36%资料来源:Wind,国海证券研究所,注:盈利预测为Wind一致预期,估值日期2023年6月12日请务必阅读报告附注中的风险提示和免责声明776.2 风险提示风险提示1 1、宏观 经济 影响下游 需求:、宏观 经济 影响下游 需求:宏观经济环境下行将影响政府、行业客户对数字基础设施的采购需求。2 2、大模 型迭 代不及预 期:、大模 型迭 代不及预 期:未来大模型迭代速度不及预期将导致大模型
139、训练对算力的需求增长放缓。3 3、大模型应用不及预期:、大模型应用不及预期:受监管等方面原因,如果大模型不能广泛向商业市场应用,其推理端算力需求的释放或放缓。4 4、市场竞争加剧:、市场竞争加剧:新兴企业投入的GPU、网络、存储、等算力产业,将加剧市场竞争,影响企业的盈利能力。5 5、中美博弈加剧:、中美博弈加剧:国际形势持续不明朗,美国不断通过“实体清单”等方式对中国企业实施打压,若中美紧张形势进一步升级,将可能导致中国半导体供应链供应受到影响。6 6、相关公司、相关公司业绩不及预期:业绩不及预期:市场环境变化、公司治理情况变化、其他非主营业务经营不及预期等原因或将导致相关公司的整体业绩不及
140、预期。请务必阅读报告附注中的风险提示和免责声明78研究小组介绍研究小组介绍刘熹,本报告中的分析师均具有中国证券业协会授予的证券投资咨询执业资格并注册为证券分析师,以勤勉的职业态度,独立,客观的出具本报告。本报告清晰准确的反映了分析师本人的研究观点。分析师本人不曾因,不因,也将不会因本报告中的具体推荐意见或观点而直接或间接收取到任何形式的补偿。分析分析师承师承诺诺行业投资评级行业投资评级国海证券投资评级标准国海证券投资评级标准推荐:行业基本面向好,行业指数领先沪深300指数;中性:行业基本面稳定,行业指数跟随沪深300指数;回避:行业基本面向淡,行业指数落后沪深300指数。股票投资评级股票投资评
141、级买入:相对沪深300 指数涨幅20%以上;增持:相对沪深300 指数涨幅介于10%20%之间;中性:相对沪深300 指数涨幅介于-10%10%之间;卖出:相对沪深300 指数跌幅10%以上。计算机小组介绍计算机小组介绍刘熹,计算机行业首席分析师,上海交通大学硕士,多年计算机行业研究经验,2021年新浪财经金麒麟新锐分析师(计算机行业)第三名主要成员。主要研究AI、数据要素、信创、网络安全、工业软件、智能网联、云计算、地理信息化等赛道。请务必阅读报告附注中的风险提示和免责声明79免责声明和风险提示免责声明和风险提示本报告的风险等级定级为R3,仅供符合国海证券股份有限公司(简称“本公司”)投资者
142、适当性管理要求的的客户(简称“客户”)使用。本公司不会因接收人收到本报告而视其为客户。客户及/或投资者应当认识到有关本报告的短信提示、电话推荐等只是研究观点的简要沟通,需以本公司的完整报告为准,本公司接受客户的后续问询。本公司具有中国证监会许可的证券投资咨询业务资格。本报告中的信息均来源于公开资料及合法获得的相关内部外部报告资料,本公司对这些信息的准确性及完整性不作任何保证,不保证其中的信息已做最新变更,也不保证相关的建议不会发生任何变更。本报告所载的资料、意见及推测仅反映本公司于发布本报告当日的判断,本报告所指的证券或投资标的的价格、价值及投资收入可能会波动。在不同时期,本公司可发出与本报告
143、所载资料、意见及推测不一致的报告。报告中的内容和意见仅供参考,在任何情况下,本报告中所表达的意见并不构成对所述证券买卖的出价和征价。本公司及其本公司员工对使用本报告及其内容所引发的任何直接或间接损失概不负责。本公司或关联机构可能会持有报告中所提到的公司所发行的证券头寸并进行交易,还可能为这些公司提供或争取提供投资银行、财务顾问或者金融产品等服务。本公司在知晓范围内依法合规地履行披露义务。免责声明免责声明市场有风险,投资需谨慎。投资者不应将本报告为作出投资决策的唯一参考因素,亦不应认为本报告可以取代自己的判断。在决定投资前,如有需要,投资者务必向本公司或其他专业人士咨询并谨慎决策。在任何情况下,
144、本报告中的信息或所表述的意见均不构成对任何人的投资建议。投资者务必注意,其据此做出的任何投资决策与本公司、本公司员工或者关联机构无关。若本公司以外的其他机构(以下简称“该机构”)发送本报告,则由该机构独自为此发送行为负责。通过此途径获得本报告的投资者应自行联系该机构以要求获悉更详细信息。本报告不构成本公司向该机构之客户提供的投资建议。任何形式的分享证券投资收益或者分担证券投资损失的书面或口头承诺均为无效。本公司、本公司员工或者关联机构亦不为该机构之客户因使用本报告或报告所载内容引起的任何损失承担任何责任。风险提示风险提示本报告版权归国海证券所有。未经本公司的明确书面特别授权或协议约定,除法律规
145、定的情况外,任何人不得对本报告的任何内容进行发布、复制、编辑、改编、转载、播放、展示或以其他任何方式非法使用本报告的部分或者全部内容,否则均构成对本公司版权的侵害,本公司有权依法追究其法律责任。郑重声明郑重声明心怀家国,洞悉四海国海研究深圳国海研究深圳深圳市福田区竹子林四路光大银行大厦28F邮编:518041电话:国海研究上海国海研究上海上海市黄浦区绿地外滩中心C1栋国海证券大厦邮编:200023电话:国海研究北京国海研究北京北京市海淀区西直门外大街168号腾达大厦25F邮编:100044电话:国海证券国海证券研究所研究所计算机计算机研究团队研究团队