1、 免责声明和披露以及分析师声明是报告的一部分，请务必一起阅读。1 证券研究报告 计算机计算机 GPT 系列：系列：经典深度学习算法拆解经典深度学习算法拆解 华泰研究华泰研究 计算机计算机 增持增持 (维持维持)研究员 谢春生谢春生 SAC No.S0570519080006 SFC No.BQZ938 +(86)21 2987 2036 联系人 袁泽世，袁泽世，PhD SAC No.S0570122080053 +(86)21 2897 2228 行业行业走势图走势图 资料来源：Wind，华泰研究 2023 年 3 月 12 日中国内地 专题研究专题研究 深度学习是基于神经网络的机器学习深度学

2、习是基于神经网络的机器学习 深度学习可以概括为特征的抽象和结果的预测。深度学习与神经网络密不可分，主要原因是神经网络模型可以使用误差反向传播算法，较好地解决了深度学习中的贡献度分配问题。从历史发展看，神经网络诞生于 1943 年提出的 MP 模型，深度学习概念由 Hinton 于 2006 年正式提出。经过多年的发展，问世了如卷积神经网络（CNN）、循环神经网络（RNN）、长短时记忆网络（LSTM）、生成对抗网络（GAN）等经典的深度学习算法。2017 年，Transformer 架构的出现，再次开启了大语言模型快速发展时期。本报告聚焦 2017 年之前出现的经典深度学习算法，并进行深度拆解和

3、剖析。卷积神经网络卷积神经网络（CNN）：卷积：卷积+汇聚汇聚+全连接全连接 典型的卷积神经网络是由卷积层、汇聚层、全连接层交叉堆叠而成。其中，卷积层利用卷积核实现特征提取，并在每个卷积层后引入非线性激活函数，确保整个网络的非线性；汇聚层通过最大汇聚或平均汇聚的方法，进一步压缩数据和参数量；全连接层采用神经网络中的前馈网络结构，经计算后得到最终输出结果。参数训练方面，卷积神经网络采用误差反向传播算法。应用方面，卷积神经网络应用已从图像识别逐渐向其他领域拓展。循环循环神经网络神经网络（RNN）：具有短期记忆的神经网络：具有短期记忆的神经网络 循环神经网络是一类具有短期记忆能力的神经网络，其记忆来

4、自于神经元以环路的方式接受自身的历史信息，为整个网络提供了一定的记忆能力，增强了其计算性能。但是，循环神经网络难以建模长时间间隔状态之间的依赖关系。为了解决这一问题，长短时记忆网络（LSTM）在循环神经网络的基础上引入了新的内部控制状态和门控机制。前者能够记录到当前时刻为止的历史信息，延长了网络记忆；后者包括遗忘门、输入门和输出门，分别控制“记忆”的遗忘、保存和输出细节。生成对抗网络生成对抗网络（GAN）：生成器和判别器的对抗与学习：生成器和判别器的对抗与学习 生成对抗网络突破了以往的概率模型必须通过最大似然估计来学习参数的限制，通过对抗训练的方式使得生成网络产生的样本服从真实数据分布。GAN

5、 主要由生成网络和判别网络组成。其中，判别网络目标是尽量准确地判断一个样本是来自于真实数据还是由生成网络产生；生成网络目标是尽量生成判别网络无法区分来源的样本。这两个目标相反的网络不断地进行交替对抗训练。最终训练出生成结果真假难辨的生成器。深度强化学习深度强化学习（DRL）：深度学习与强化学习的结合：深度学习与强化学习的结合 强化学习（RL）指的是从（与环境）交互中不断学习的问题以及解决这类问题的方法。强化学习通过智能体不断与环境进行交互，并根据经验调整其策略来最大化其长远的所有奖励的累积值。强化学习可分为基于值函数的方法、基于策略函数的方法，以及两者的结合。深度强化学习是深度学习与强化学习的

6、结合，其中强化学习用来定义问题和优化目标，深度学习用来解决策略和值函数的建模问题。最早的深度强化学习模型是 2013 年提出的深度Q 网络。风险提示：宏观经济波动，技术进步不及预期。本报告内容均基于客观信息整理，不构成投资建议。(24)(14)(3)818Mar-22Jul-22Nov-22Mar-23(%)计算机沪深300 免责声明和披露以及分析师声明是报告的一部分，请务必一起阅读。2 计算机计算机 正文目录正文目录 深度学习是基于神经网络的机器学习深度学习是基于神经网络的机器学习.3 关系梳理：人工智能机器学习深度学习.3 从生物神经网络到人工神经网络.4 深度学习与神经网络发展历史（19

7、43-2017）.5 前馈神经网络：最早发明的简单人工神经网络前馈神经网络：最早发明的简单人工神经网络.6 反向传播算法：神经网络参数学习的重要算法.7 自动梯度计算：变手动计算为自动计算.7 CNN：卷积：卷积+汇聚汇聚+全连接全连接.9 典型的 CNN：LeNet-5 和 AlexNet.12 RNN：具有短期记忆的神经网络：具有短期记忆的神经网络.13 LSTM：将短期记忆进一步延长.14 GAN：生成器和判别器的对抗与学习：生成器和判别器的对抗与学习.15 深度强化学习：深度学习与强化学习的结合深度强化学习：深度学习与强化学习的结合.16 深度学习框架：深度学习的工具库深度学习框架：深

8、度学习的工具库.17 Transformer：基于自注意力机制的新兴架构：基于自注意力机制的新兴架构.18 风险提示.19 9WbUaYeU8XeZaYdX8OaO8OoMoOoMnOjMmMmPjMqRpM7NqQxOxNrQoQuOnMqM 免责声明和披露以及分析师声明是报告的一部分，请务必一起阅读。3 计算机计算机 深度学习是基于神经网络的机器学习深度学习是基于神经网络的机器学习 深度学习深度学习可以概括为特征的抽象和结果的预测可以概括为特征的抽象和结果的预测。深度学习是将原始的数据特征通过多步的特征转换得到一种更高层次、更抽象的特征表示，并进一步输入到预测函数得到最终结果。深度学习需要

9、解决的关键问题是贡献度分配问题（Credit Assignment Problem，CAP），即一个系统中不同的组件（component）或其参数对最终系统输出结果的贡献或影响。深度学习的目标是让模型自动学习出好的特征表示，从而最终提升预测模型的准确率。深度学习采用的模型主要是神经网络模型深度学习采用的模型主要是神经网络模型。主要原因是神经网络模型可以使用误差反向传播算法（Backpropagation），能够比较好地解决贡献度分配问题。只要是超过一层的神经网络都会存在贡献度分配问题，因此可以将超过一层的神经网络都看作深度学习模型。图表图表1：深度学习的数据处理流程深度学习的数据处理流程 资料

10、来源：神经网络与深度学习（邱锡鹏），ISBN:9787111649687、华泰研究 深度学习逐渐超过表示学习范畴，用于处理更加复杂的推理、决策等问题。深度学习逐渐超过表示学习范畴，用于处理更加复杂的推理、决策等问题。表示学习（Representation Learning）可以自动地学习出有效的特征（即表示），并提高最终机器学习模型的性能。早期，深度学习主要用来进行表示学习，但目前更多地用来处理更加复杂的推理、决策等问题。概括来说，深度学习是将“表示学习+预测模型的学习”进行端到端的学习，中间不需要人工干预。其中，端到端学习（End-to-End Learning），也称端到端训练，是指在学习

11、过程中不进行分模块或分阶段训练，直接优化任务的总体目标。关关系梳理：人工智能系梳理：人工智能机器学习机器学习深度学习深度学习 人工智能包括机器学习，机器学习包含深度学习。人工智能包括机器学习，机器学习包含深度学习。人工智能（AI）的重要组成部分是机器学习（ML），而神经网络（NN）是 ML 的一个子领域。深度学习可以看做是神经网络的分支，使用了更复杂和更深层次的网络结构，如卷积神经网络（CNN），来处理更高维度和更抽象的数据，如图像、声音和文本。此外，逐渐兴起的强化学习也是机器学习的一个分支。深度学习与强化学习可以相互结合，称为深度强化学习（DRL）。图表图表2：人工智能人工智能、机器学习机器

12、学习、深度学习深度学习关系梳理关系梳理 资料来源：The History Began from AlexNet:A Comprehensive Survey on Deep Learning Approaches，Zahangir（2018）、Deep Reinforcement Learning，Yuxi Li（2017）、华泰研究 底层底层特征特征中层特征中层特征高层特征高层特征预测预测原始数据原始数据结果结果表示学习深度学习人工智能人工智能机器学习机器学习神经网络神经网络深度学习深度学习强化学习强化学习深度深度强化强化学习学习AIMLDLRLDRL 免责声明和披露以及分析师声明是报告的一

13、部分，请务必一起阅读。4 计算机计算机 从生物神经网络到人工神经网络从生物神经网络到人工神经网络 神经网络是一种模仿生物神经系统的人工智能算法。神经网络是一种模仿生物神经系统的人工智能算法。通常，机器学习中的神经网络指的是人工神经网络，人工神经网络是为模拟人脑神经网络而设计的一种计算模型，它从结构、实现机理和功能上模拟人脑神经网络。人工神经网络与生物神经元类似，由多个节点（人工神经元）互相连接而成，可以用来对数据之间的复杂关系进行建模。不同节点之间的连接被赋予了不同的权重，每个权重代表了一个节点对另一个节点的影响大小。在对神经网络进行训练时，不断优化神经元之间的权重，使得输出的结果逐渐接近预期

14、的结果，最终确认整个网络的参数，并用于执行下游任务。图表图表3：生物生物神经元神经元与人工“神经元”与人工“神经元”对比对比 资料来源：神经网络与深度学习（邱锡鹏），ISBN:9787111649687、华泰研究 常用的神经网络常用的神经网络结构结构包括前馈网络、记忆网络和图网络。包括前馈网络、记忆网络和图网络。1）前馈网络前馈网络：各个神经元按接收信息的先后分为不同的神经层，整个网络中的信息朝一个方向传播，没有反向的信息传播。2）记忆网络）记忆网络：也称为反馈网络，网络中的神经元不但可以接收其他神经元的信息，也可以接收自己的历史信息，具有记忆功能记忆神经网络中的信息传播可以是单向或双向。3）

15、图）图网络网络：是定义在图结构数据上的神经网络。每个节点都由一个或一组神经元构成，节点之间的连接可以是有向的，也可以是无向的。每个节点可以收到来自相邻节点或自身的信息。图网络是前馈网络和记忆网络的泛化。图网络是前馈网络和记忆网络的泛化。图表图表4：常用的神经网络常用的神经网络结构结构 资料来源：神经网络与深度学习（邱锡鹏），ISBN:9787111649687、华泰研究 b b生物神经元生物神经元人工人工神经元神经元相似性相似性前馈前馈网络网络记忆网络记忆网络图网络图网络 免责声明和披露以及分析师声明是报告的一部分，请务必一起阅读。5 计算机计算机 深度学习与神经网络发展历史（深度学习与神经网

16、络发展历史（1943-2017）神经网络诞生于神经网络诞生于 1943 年，深度学习崛起于年，深度学习崛起于 2006 年。年。1943 年，心理学家 McCulloch 和数学家 Pitts 最早提出了一种基于简单逻辑运算的人工神经网络MP 模型，开启了人工神经网络研究的序幕。1986 年，Hinton 提出第二代神经网络，并利用误差的反向传播算法来训练模型，该算法对神经网络的训练具有重要意义。1989 年，Yann LeCun 等提出卷积神经网络（CNN）用来识别手写体。1997 年，循环神经网络（RNN）的改进型长短时记忆网络（LSTM）被提出。2006 年，Hinton 首次提出了深度

17、置信网络（Deep Belief Network，DBN）和深度学习的概念。2014 年，生成对抗网络（GAN）的提出是深度学习的又一突破性进展。2016 年，AlphaGo 击败围棋世界冠军李世石，将深度学习推向高潮。图表图表5：深度学习发展历史深度学习发展历史 注：最大圆圈表示深度学习热度上升与下降的关键转折点，实心小圈圈的大小表示深度学习的突破大小，斜向上的直线表示深度学习热度正处于上升期，斜向下的直线表示下降期。资料来源：深度学习研究综述，张荣（2018）、华泰研究 本报告以本报告以 2016 年之前年之前几种几种典型典型的的深度学习算法为研究对象，对其进行深度拆解深度学习算法为研究对

18、象，对其进行深度拆解和分析和分析。主要算法包括：卷积神经网络（CNN）、循环神经网络（RNN）、生成对抗网络（GAN）、深度强化学习（Deep Reinforcement Learning，DRL）。此外，深度学习还包括很多其他算法和模型，例如深度信念网络、概率图模型、序列生成模型等。第一代神经网络第一代神经网络第二代神经网络第二代神经网络第三代神经网络第三代神经网络680200017MP神经元数学模型单层感知器Minsky专著感知器出版，支出单层感知器不能解决“异或回路”问题，且当时

19、计算能力无法满足神经网络计算需求LSTMLeNetXavierReLUClarifaiDropoutAlexNetGoogleNetVGGNetR-CNNGANBNFaster R-CNNResNetWGANAlphaGoZeroCapsNetAlphaGoInfoGANJMTDCNGNMT浅层学习浪潮反向传播算法万能逼近定理卷积神经网络深度信念网快速发展潮爆发期 免责声明和披露以及分析师声明是报告的一部分，请务必一起阅读。6 计算机计算机 前馈神经网络：最早前馈神经网络：最早发明发明的简单人工神经网络的简单人工神经网络 前馈神经网络是最早发明的简单人工神经网络。前馈神经网络是最早发明的简单人

20、工神经网络。神经网络是一种典型的分布式并行处理模分布式并行处理模型型，通过大量神经元之间的交互来处理信息，每一个神经元都发送“兴奋和抑制”的信息到其他神经元。前馈神经网络（FNN）也经常称为全连接神经网络（Fully Connected Neural Network，FCNN）或多层感知器（Multi-Layer Perceptron，MLP）。在前馈神经网络中，各神经元分别属于不同的层，每一层的神经元可以接收前一层神经元的信号，并产生信号输出到下一层。其中，第 0 层称为输入层，最后一层称为输出层，其他中间层称为隐藏层。整个网络中无反馈，信号从输入层向输出层单向传播。整个网络中无反馈，信号从

21、输入层向输出层单向传播。图表图表6：多层前馈神经网络多层前馈神经网络 资料来源：神经网络与深度学习（邱锡鹏），ISBN:9787111649687、华泰研究 通用近似定理保证了前馈神经网络的强拟合能力。通用近似定理保证了前馈神经网络的强拟合能力。前馈神经网络具有很强的拟合能力，常见的连续非线性函数都可以用前馈神经网络来近似。该能力由通用近似定理来保证，即对于具有线性输出层和至少一个使用激活函数的隐藏层组成的前馈神经网络，只要其隐藏层隐藏层神经元的数量足够神经元的数量足够，它可以以任意的精度来近似任何一个定义在实数空间中的有界闭集函数。前馈神经网络标志人工智能从高度符号化的知识期向低符号化的学习

22、期开始转变。前馈神经网络标志人工智能从高度符号化的知识期向低符号化的学习期开始转变。前馈神经网络在 20 世纪 80 年代后期就已被广泛使用，大部分都采用两层网络结构（即一个隐藏层和一个输出层），神经元的激活函数基本上都是 Sigmoid 函数，使用的损失函数大多数是平方损失。前馈神经网络是一种连接主义的典型模型，标志这人工智能从高度符号化的知识期向低符号化的学习期开始转变。图表图表7：神经网络神经网络常用的激活函数常用的激活函数 资料来源：神经网络与深度学习（邱锡鹏），ISBN:9787111649687、华泰研究 输入层输入层隐藏层隐藏层输输出出层层 免责声明和披露以及分析师声明是报告的一

23、部分，请务必一起阅读。7 计算机计算机 反向传播算法：反向传播算法：神经网络参数学习神经网络参数学习的重要算法的重要算法 反向传播算法是神经网络训练中经常使用的高效计算梯度方法。反向传播算法是神经网络训练中经常使用的高效计算梯度方法。神经网络参数可以通过梯度下降法来进行学习，反向传播算法（BackPropagation，BP）是经常使用的高效计算梯度方法。“反向传播”体现在，第 l 层的误差项可以通过第 l+1 层的误差项计算得到。通俗的解释是：将输出的结果与真实结果对比，计算误差（损失函数），并以误差降到最低为目标，不断调整卷积核参数和全连接网络权重，直到达到预期效果。由于这种调整方向是从输

24、出到输入逐级返回，因此叫做反向传播。图表图表8：第第 l 层的误差项可以通过第层的误差项可以通过第 l+1 层的误差项计算得到层的误差项计算得到 资料来源：神经网络与深度学习（邱锡鹏），ISBN:9787111649687、华泰研究 自动梯度计算：变手动计算为自动计算自动梯度计算：变手动计算为自动计算 深度学习框架包含的自动梯度计算功能大大提高了模型开发效率。深度学习框架包含的自动梯度计算功能大大提高了模型开发效率。神经网络的参数主要通过梯度下降来进行优化。通常，当确定了风险函数以及网络结构后，可以手动计算梯度并用代码进行实现。但是手动的方式一方面较为低效，另一方面容易出现错误，影响开发效率。

25、目前，主流的深度学习框架都包含了自动梯度计算的功能，开发者只需考虑网络结构并用代码实现，梯度计算即可由深度学习框架来自动完成，大大提高准确度和开发效率。自动微分自动微分是大多数深度学习框架首选是大多数深度学习框架首选的的自动计算梯度方法自动计算梯度方法。自动计算梯度方法包括数值微分、符号微分和自动微分。1）数值微分数值微分：指的是用数值方法来计算函数的导数。2）符号微分符号微分：是一种基于符号计算（也叫代数计算）的自动求导方法，是指用计算机来处理带有变量的数学表达式，其输入和输出都是数学表达式，不需要代入具体的值。3）自动微分）自动微分：是一种可以对程序或函数进行导数计算的方法，其基本原理是，

26、所有的数值计算可以分解为一些基本操作，然后利用链式法则来自动计算一个复合函数的梯度。按照计算导数的顺序，自动微分可以分为两种模式：前向模式和反向模式。自动微分可以直接在原始程序代码进行微分，因此成为目前大多数深度学习框架的首选。第第l层的误差项，由第层的误差项，由第l+1层决定，相当于误差层决定，相当于误差从后往前反向传播从后往前反向传播根据链式法则，第根据链式法则，第l层的误差项为层的误差项为：免责声明和披露以及分析师声明是报告的一部分，请务必一起阅读。8 计算机计算机 图表图表9：自动梯度计算方法对比自动梯度计算方法对比 资料来源：神经网络与深度学习（邱锡鹏），ISBN:978711164

27、9687、华泰研究 数数值值微微分分符符号号微微分分自自动动微微分分基本原理基本原理优点优点缺点缺点最直接的计算方法，便于理解找到合适的扰动 x 较为困难。x过大或过小都会使得导数计算不准确。因此，数值微分的实用因此，数值微分的实用性比较差。性比较差。符号计算和平台无关，可以在 CPU 或GPU 上运行。1）编译时间较长；2）一般需要设计一种专门的语言来表示数学表达式，并且要对符号进行预先声明；3）很难对程序进行调试。分解为基本操作，分解为基本操作，形成计算图形成计算图无须事先编译无须事先编译，在程序运行阶段边计算边记录计算边计算边记录计算图图，计算图上的局部梯度可直接代入数值进行计算直接代入

28、数值进行计算无明显缺点，是目前大多数深度无明显缺点，是目前大多数深度学习框架的首选学习框架的首选。免责声明和披露以及分析师声明是报告的一部分，请务必一起阅读。9 计算机计算机 CNN：卷积：卷积+汇聚汇聚+全连接全连接 典型的卷积典型的卷积神经神经网络是由卷积层、汇聚层、全连接层交叉堆叠而成网络是由卷积层、汇聚层、全连接层交叉堆叠而成。其中，一个卷积块包括连续 M 个卷积层和 b 个汇聚层（M 通常设置为 25，b 为 0 或 1）。一个卷积网络中可以堆叠 N 个连续的卷积块，然后在后面接着 K 个全连接层（N 的取值区间比较大，比如 1100或者更大；K 一般为 02）。CNN 能够有效的将

29、大数据量的图片降维成小数据量，并有效的保留图片特征。图表图表10：常用的卷积网络整体结构常用的卷积网络整体结构 资料来源：神经网络与深度学习（邱锡鹏），ISBN:9787111649687、华泰研究 卷积卷积层层利用卷积核实现利用卷积核实现特征提取特征提取。卷积层的作用是提取局部区域的特征，不同的卷积核相当于不同的特征提取器，反之，提取不同的特征需要不同的卷积核。输入原图经过卷积核提取后，即得到特征映射（Feature Map），每个特征映射可以作为一类抽取的图像特征。目前，卷积网络的整体结构趋向于使用更小的卷积核（比如 11 和 33），以及更深的结构（比如层数大于 50）。卷积卷积ReLU

30、汇聚层汇聚层全连接层全连接层输入输入MbNb形象形象解释解释 免责声明和披露以及分析师声明是报告的一部分，请务必一起阅读。10 计算机计算机 图表图表11：卷积核用于特征提取卷积核用于特征提取 资料来源：神经网络与深度学习（邱锡鹏），ISBN:9787111649687、华泰研究 每个卷积层后引入非线性每个卷积层后引入非线性激活函数激活函数，确保整个网络的非线性，确保整个网络的非线性。常用的激活函数为线性整流单元（Rectified Linear Unit，ReLU），其实质是将特征图上所有负数变成 0，而正数保持不变。其他常用的激活函数还有 Sigmoid 函数、双曲正切函数（tanh）。激

31、活函数使得神经网络模型具有非线性，从而可以表示非线性的函数，处理更加复杂的任务。图表图表12：常用的激活函数常用的激活函数图图 资料来源：神经网络与深度学习（邱锡鹏），ISBN:9787111649687、easyAI、华泰研究 汇聚层进一步压缩数据和参数量。汇聚层进一步压缩数据和参数量。汇聚层（Pooling Layer）也叫子采样层（Subsampling Layer）或池化层，其作用是进行特征选择，降低特征数量，减少参数数量。典型的汇聚层是将每个特征映射划分为 22 大小的不重叠区域，然后使用最大汇聚的方式进行下采样，即用 22 区域的最大值代替整个区域的值。此外，还可以采用 22 区域

32、的平均值来代替整个区域值。以图像为例，汇聚层的使用依据包括，一方面图像中相邻的像素倾向于具有相似的值，另一方面对图片降维通常不会影响识别结果。值得注意的是，由于卷积的操作性越来越灵活（比如不同的步长），汇聚层的作用也变得越来越小，因此目前比较流行的卷积网络中汇聚层的比例有所降低。形形象象解解释释数数学学解解释释 免责声明和披露以及分析师声明是报告的一部分，请务必一起阅读。11 计算机计算机 图表图表13：最大汇聚与平均汇聚示意图最大汇聚与平均汇聚示意图 资料来源：神经网络与深度学习（邱锡鹏），ISBN:9787111649687、华泰研究 全连接层全连接层采用神经网络中的前馈网络结构采用神经网

33、络中的前馈网络结构。将池化后的结果按顺序排成一列，输入全连接层。全连接层把相邻两层的神经元全部交叉相联结，两层之间所有神经元都有相应的权重，经计算后得到最终输出结果。通常全连接层在卷积神经网络尾部。图表图表14：全连接层示意图全连接层示意图 资料来源：神经网络与深度学习（邱锡鹏），ISBN:9787111649687、华泰研究 卷积神经网络参数卷积神经网络参数可利用可利用误差反向传播误差反向传播算算法法来确定来确定。卷积神经网络可以通过误差反向传播（Backpropagation）和梯度下降等算法进行参数学习，包括确定卷积核参数和全连接网络权重等。卷积神经网络卷积神经网络应用应用从图像识别逐渐

34、向其他领域从图像识别逐渐向其他领域拓展。拓展。卷积神经网络的前身是层级化人工神经网络神经认知模型，该模型由日本学者福岛邦彦受生物视觉系统研究启发而提出，用来处理手写字符识别等问题。随着各类基于 CNN 理念的新模型不断被提出，CNN 在语音识别、自然语言处理、人脸识别、运动分析、医学诊断等多个方面均有突破。最大汇聚最大汇聚（选取最大值）（选取最大值）平均平均汇聚汇聚（计算平均值）（计算平均值）4,3,0,1中中4最大，选取最大，选取4代表这个区域代表这个区域6,5,2,1平均值为平均值为3.5，选取，选取3.5代表这个区域代表这个区域 免责声明和披露以及分析师声明是报告的一部分，请务必一起阅读

35、。12 计算机计算机 典型的典型的 CNN：LeNet-5 和和 AlexNet LeNet-5 是是法国学者法国学者 Yann LeCun 提出提出的的基于梯度学习的卷积神经网络算法。基于梯度学习的卷积神经网络算法。LeNet-5 共有 7 层，包括 3 个卷积层、2 个汇聚层、1 和全连接层和 1 个输出层，接受的输入图像大小为 3232=1024，输出对应 10 个类别的得分。基于 LeNet-5 的手写数字识别系统在 20 世纪 90 年代被美国很多银行使用，用来识别支票上面的手写数字。图表图表15：LeNet-5 网络结构网络结构 资料来源：Gradient-based learni

36、ng applied to document recognition，Y.Lecun（1998）、华泰研究 AlexNet 是第一个现代深度卷积网络模型。是第一个现代深度卷积网络模型。AlexNet 首次使用了现代深度卷积网络的技术方法，比如使用 GPU 进行并行训练，采用 ReLU 作为非线性激活函数，使用数据增强来提高模型准确率等。AlexNet 赢得了 2012 年 ImageNet 图像分类竞赛的冠军。AlexNet 模型包括 5 个卷积层、3 个汇聚层和 3 个全连接层。由于网络规模超出了当时的单个 GPU 的内存限制，AlexNet 将网络拆为两半，分别放在两个 GPU 上，GPU

37、 间只在某些层进行通信。图表图表16：AlexNet 网络结构网络结构 资料来源：ImageNet classification with deep convolutional neural networks，Alex Krizhevsk（2017）、华泰研究 除 LeNet-5 和 AlexNet，其他的 CNN 模型还包括 VGGNet、ZFNet、GoogLeNet、ResNet、DenseNet 等。免责声明和披露以及分析师声明是报告的一部分，请务必一起阅读。13 计算机计算机 RNN：具有短期记忆的神经网络具有短期记忆的神经网络 循环神经网络（循环神经网络（RNN）是一类具有短期记忆

38、能力的神经网络）是一类具有短期记忆能力的神经网络。在循环神经网络中，神经元不但可以接受其他神经元的信息，也可以接受自身的历史信息，形成具有环路的网络结构。和前馈神经网络相比，循环神经网络更加符合生物神经网络的结构。循环神经网络的短期记忆能力提供了一定的存储功能，因此其计算能力更为强大。理论上，循环神经网络可以近似任意的非线性动力系统。图表图表17：循环神经网络引入了短期记忆功能循环神经网络引入了短期记忆功能 资料来源：神经网络与深度学习（邱锡鹏），ISBN:9787111649687、华泰研究 RNN 不同的输入输出关系不同的输入输出关系组合组合，能够解决不同的下游任务。，能够解决不同的下游任

39、务。时序上的层级结构，赋予了RNN 更灵活的输入输出关系，用于解决不同问题。例如，一对多的结构可用于文本生成，多对一的结构可用于文本分类，多对多的结构可用于问答和机器翻译等。图表图表18：RNN 不同的输入输出关系组合不同的输入输出关系组合和应用和应用 资料来源：神经网络与深度学习（邱锡鹏），ISBN:9787111649687、华泰研究 循环神经网络的参数可以通过梯度下降方法来进行学习循环神经网络的参数可以通过梯度下降方法来进行学习。在循环神经网络中主要有两种计算梯度的方式：随时间反向传播（BPTT）算法和实时循环学习（RTRL）算法。随时间反向传播算法的主要思想是通过类似前馈神经网络的误差

40、反向传播算法来计算梯度；实时循环学习则是通过前向传播的方式来计算梯度。虽然 2017 年 Transformer 模型和注意力机制的出现带来了一波新算法的崛起，但 RNN 在小数据集、低算力情况下依然较为有效。原理图原理图形象展示形象展示神经网络在时间层神经网络在时间层面建立起了联系面建立起了联系St-1StSt+1One to one一对一一对一One to many一对多一对多文本生成Many to one多对一多对一文本分类Many to many多对多多对多问答、机器翻译Many to many多对多多对多Tag生成例如对每一个词输出名词或动词等词性 免责声明和披露以及分析师声明是报告

41、的一部分，请务必一起阅读。14 计算机计算机 LSTM：将短期记忆进一步延长将短期记忆进一步延长 LSTM 引入门控机制，解决引入门控机制，解决 RNN 的长程依赖问题。的长程依赖问题。循环神经网络在学习过程中的主要问题是由于梯度消失或爆炸问题（也称为长程依赖问题），可以简单理解为参数无法正常更新（梯度变得很大或变为 0），很难建模长时间间隔状态之间的依赖关系。长短时记忆网络（Long Short-term Memory，LSTM）引入门控机制，很好了解决了 RNN 的上述问题。LSTM 网络网络特点在于新内部状态和门控机制的引入。特点在于新内部状态和门控机制的引入。1）新的内部状态新的内部状

42、态：与 RNN 相比，LSTM网络引入一个新的内部状态（internal state）ct，专门进行线性的循环信息传递。在每个时刻 t，LSTM 网络的内部状态 ct记录了到当前时刻为止的历史信息，相当于延长了网络的记忆特性。2）门控机制：）门控机制：引入遗忘门、输入门和输出门。其中，遗忘门控制上一个时刻的内部状态需要遗忘多少信息；输入门控制当前时刻的候选状态有多少信息需要保存；输出门控制当前时刻的内部状态有多少信息需要输出给外部状态。参数训练方面，虽然相比 RNN，LSTM 引入了更多参数矩阵，但依然可以使用梯度下降算法进行参数更新。图表图表19：LSTM 引入了新的内部状态引入了新的内部状

43、态和门控机制和门控机制 资料来源：神经网络与深度学习（邱锡鹏），ISBN:9787111649687、华泰研究 循环神经网络的隐状态循环神经网络的隐状态 s 为短期记忆，新内部状态为短期记忆，新内部状态 c 具有更长的具有更长的记忆记忆。循环神经网络中的隐状态 s 存储了历史信息，可以看作一种记忆。在简单循环网络中，隐状态每个时刻都会被重写，因此是一种短期记忆。在神经网络中，长期记忆可以看作网络参数，隐含了从训练数据中学到的经验，其更新周期要远远慢于短期记忆。在 LSTM 网络中，记忆单元 c 可以在某个时刻捕捉到某个关键信息，并有能力将此关键信息保存一定的时间间隔，其保存信息的生命周期要长于

44、短期记忆 s，但又远远短于长期记忆，因此称为长（的）短期记忆。原原理理图图st-1stRNNLSTM形形象象展展示示在在RNN基础上，增加了新的内部状态变量基础上，增加了新的内部状态变量c，用来实现更长的短时记忆，用来实现更长的短时记忆 免责声明和披露以及分析师声明是报告的一部分，请务必一起阅读。15 计算机计算机 GAN：生成器和判别器的对抗与学习：生成器和判别器的对抗与学习 生成对抗网络通过对抗训练的方式使得生成网络产生的样本服从真实数据分布。生成对抗网络通过对抗训练的方式使得生成网络产生的样本服从真实数据分布。生成对抗网络（GAN）突破了以往的概率模型必须通过最大似然估计来学习参数的限制

45、。通俗的解释是，许多深度生成模型其目的在于从底层构造分布函数，并通过设定训练目标来训练模型参数。但对于更复杂的情况，构造函数并不容易，且计算困难。而 GAN 采用了另一种思维，即放弃构造精确地分布函数，转而通过对抗训练出另一个模型来不断逼近想要的分布，直到生成真假难辨的结果。GAN 主要由生成网络和判别网络组成主要由生成网络和判别网络组成。在生成对抗网络中，有两个网络进行对抗训练。1）判别网络判别网络：目标是尽量准确地判断一个样本是来自于真实数据还是由生成网络产生；2）生生成网络成网络：目标是尽量生成判别网络无法区分来源的样本。这两个目标相反的网络不断地进行交替对抗训练。最终，如果判别网络再也

46、无法判断出一个样本是真实存在还是生成的，那么也就等价于生成网络可以生成符合真实数据分布的样本，该生成网络就是可以执行下游任务的模型。图表图表20：GAN 网络结构图网络结构图 资料来源：神经网络与深度学习（邱锡鹏），ISBN:9787111649687、华泰研究 训练过程需要平衡生成网络与判别网络的能力。训练过程需要平衡生成网络与判别网络的能力。和单目标的优化任务相比，生成对抗网络的两个网络的优化目标相反，训练过程往往不太稳定，需要平衡两个网络的能力。通俗的说，对于判别网络，其初始判别能力不能太强，否则难以提升生成网络的能力；同时，判别网络的判别能力也不能太弱，否则训练出的生成网络效果也会受限

47、。理想状态下，每次迭代中判别网络比生成网络的能力强一些，通过不断地迭代来逐渐“拔高”生成网络的能力。GAN 有很多有很多变种变种，广泛应用于众多领域。，广泛应用于众多领域。据 Github 数据，截至 2018 年 9 月，GAN 的变种模型已超 500 种。GAN 模型在众多领域得到广泛应用，例如图像数据集自动生成、文字转照片、照片修复、生成 3D 模型等。免责声明和披露以及分析师声明是报告的一部分，请务必一起阅读。16 计算机计算机 深度强化学习：深度学习与强化学习深度强化学习：深度学习与强化学习的结合的结合 深度强化学习是深度学习与强化学习的结合。深度强化学习是深度学习与强化学习的结合。

48、其中，强化学习用来定义问题和优化目标，深度学习用来解决策略和值函数的建模问题，然后使用误差反向传播算法来优化目标函数。深度强化学习在一定程度上具备解决复杂问题的通用智能。强化学习指的是从（与环境）交互中不断学习的问题以及解决这类问题的方法。强化学习指的是从（与环境）交互中不断学习的问题以及解决这类问题的方法。强化学习（Reinforcement Learning，RL），也叫增强学习。强化学习通过智能体不断与环境进行交互，并根据经验调整其策略来最大化其长远的所有奖励的累积值。相比其他机器学习方法，强化学习更接近生物学习的本质，可以应对多种复杂的场景，从而更接近通用人工智能系统的目标。和深度学习

49、类似，强化学习中的关键问题也是贡献度分配问题，每一个动作并不能直接得到监督信息，需要通过整个模型的最终监督信息（奖励）得到，且有一定的延时性。强化学习可分为基于值函数的方法、基于策略函数的方法，以及两者的结合。强化学习可分为基于值函数的方法、基于策略函数的方法，以及两者的结合。其中，基于值函数的方法包括动态规划、时序差分学习等，基于策略函数的方法包括策略梯度、无梯度法等，两者结合的方法包括演员-评论员算法。一般而言，基于值函数的方法在策略更新时可能会导致值函数的改变比较大，对收敛性有一定影响；基于策略函数的方法在策略更新时更加更平稳，但因为策略函数的解空间比较大，难以进行充分的采样，导致方差较

50、大，并容易收敛到局部最优解；演员-评论员算法通过融合两种方法，取长补短，有着更好的收敛性。图表图表21：不同强化学习算法不同强化学习算法树树及其及其之间的关系之间的关系 资料来源：神经网络与深度学习（邱锡鹏），ISBN:9787111649687、华泰研究 第一个强化学习和深度学习结合的模型是深度第一个强化学习和深度学习结合的模型是深度 Q 网络。网络。2013 年，DeepMind 的 Mnih 等人提出了深度 Q 网络（DQN）。DQN 模型相对简单，仅面向有限的动作空间，但依然在一款名为 Atari 游戏上取得了超越了人类水平。随着深度强化学习的快速发展，更多基于 DQN的改进模型开始出

51、现，例如双 Q 网络、优先级经验回放、决斗网络等。目前，深度强化学习更多是同时使用策略网络和值网络来近似策略函数和值函数。强化学习强化学习策略搜索策略搜索值函数估计值函数估计无梯度方法策略梯度方法REINFORCE算法蒙特卡洛方法动态规划算法时序差分学习法策略迭代算法值迭代算法SARSA算法Q学习算法演员演员-评论员算法评论员算法 免责声明和披露以及分析师声明是报告的一部分，请务必一起阅读。17 计算机计算机 深度学习框架深度学习框架：深度学习的工具库：深度学习的工具库 深度学习框架帮助构建、训练和部署深度学习模型。深度学习框架帮助构建、训练和部署深度学习模型。在深度学习中，一般通过误差反向传

52、播算法来进行参数学习，采用手工方式来计算梯度和编写代码的方式较为低效；此外，深度学习模型需要较多的计算机资源，且存在 CPU 和 GPU 之间不断进行切换的需求，开发难度较大。因此，一些支持自动梯度计算、无缝 CPU 和 GPU 切换等功能的深度学习框架应运而生。比较有代表性的框架包括：Theano、Caffe、TensorFlow、Pytorch、飞桨（PaddlePaddle）、Chainer 和 MXNet 等。图表图表22：代表性的深度学习框架及其特点代表性的深度学习框架及其特点 深度学习框架名称深度学习框架名称 描述描述 特点特点 备注备注 Theano 由蒙特利尔大学的 Pytho

53、n 工具包，用来高效地定义、优化和计算张量数据的数学表达式 Theano 可 以 透 明 地 使 用GPU 和高效的符号微分 Theano 项目目前已停止维护 Caffe 由加州大学伯克利分校开发的针对卷积神经网络的计算框架，主要用于计算机视觉 Caffe用C+和Python实现，但可以通过配置文件来实现所要的网络结构，不需要编码 Caffe2 已经被并入 PyTorch 中 TensorFlow 由 Google 公司开发的深度学习框架，可以在任意具备 CPU 或者 GPU 的设备上运行。TensorFlow 的名字来源于其计算过程中 的 操 作 对 象 为 多 维 数 组，即 张 量（Te

54、nsor）TensorFlow 的计算过程使用数据流图来表示。TensorFlow1.0 版本采用静态计算图，2.0 版本之后也支持动态计算图 PyTorch 由 Facebook、NVIDIA、Twitter 等公司开发维护的深度学习框架，其前身为 Lua 语言的 Torch 基于动态计算图的框架，在需要动态改变神经网络结构的任务中有着明显的优势 飞桨（Paddle Paddle）由百度百度开发的一个高效和可扩展的深度学习框架，同时支持动态图和静态图 飞桨提供强大的深度学习并行技术，可以同时支持稠密参数和稀疏参数场景的超大规模深度学习并行训练，支持千亿规模参数和数百个节点的高效并行训练 国产

55、深度学习框架 MindSpore 由华为华为开发的一种适用于端边云场景的新型深度学习训练/推理框架 MindSpore 为 Ascend AI 处理器提供原生支持，以及软硬件协同优化 国产深度学习框架 Chainer 最早采用动态计算图的深度学习框架，其核心开发团队为来自日本的一家机器学习创业公司 Preferred Networks 和 Tensorflow、Theano、Caffe 等框架使用的静态计算图相比，动态计算图可以在运行时动态地构建计算图，因此非常适合进行一些复杂的决策或推理任务 MXNet 由亚马逊、华盛顿大学和卡内基梅隆大学等开发维护的深度学习框架 MXNet 支持混合使用符

56、号和命令式编程来最大化效率和生产率，并可以有效地扩展到多个 GPU 和多台机器 资料来源：神经网络与深度学习（邱锡鹏），ISBN:9787111649687、华泰研究 基于以上基础框架，人们开发了建立在框架之上的高度模块化神经网络库，进一步简化构建神经网络模型的过程。比较著名的模块化神经网络框架有：1）基于 TensorFlow 和 Theano的 Keras（Keras 已被集成到 TensorFlow2.0 版本中）；2）基于 Theano 的 Lasagne；3）面向图结构数据的 DGL。免责声明和披露以及分析师声明是报告的一部分，请务必一起阅读。18 计算机计算机 Transforme

57、r：基于自注意力机制的新兴架构：基于自注意力机制的新兴架构 Transformer 是一种基于是一种基于自自注意力机制的编码器注意力机制的编码器-解码器解码器深度学习深度学习模型模型。2017 年 6 月，Google Brain 在神经信息处理系统大会（NeurIPS）发表论文“Attention is all you need”，首次提出了基于自我注意力机制（self-attention）来提高训练速度的 Transformer 模型，将其用于自然语言处理。Transformer 架构由编码器和解码器（Encoder-Decoder）两个部分组成，每个部分包含多个子层，如多头自注意力、前馈

58、神经网络、和归一化等。Transformer架构的优点是：1）可以并行处理输入序列的所有元素，大大提高训练速度；2）不需要依赖循环或卷积结构，能够捕捉长距离的依赖关系，3）可以通过预训练和微调的方式适应不同的任务。因此，Transformer 一经问世便大有取代传统 CNN、RNN 的趋势。图表图表23：Transformer 模型中模型中的的 encoer-decoder 架构架构 图表图表24：Transformer 模型架构模型架构 资料来源：Attention is all you need，Ashish Vaswani（2017）、华泰研究 资料来源：Attention is all

59、 you need，Ashish Vaswani（2017）、华泰研究 Transformer 成为现代深度学习大模型的基础架构，其衍生版本约成为现代深度学习大模型的基础架构，其衍生版本约 60 个。个。图表图表25：Transformer 家族树（相同颜色代表近似家族）家族树（相同颜色代表近似家族）资料来源：Transformer Models:An Introduction and Catalog，Xavier Amatriain（2023）、华泰研究 编码器编码器编码器编码器编码器编码器编码器编码器编码器编码器编码器编码器解码器解码器解码器解码器解码器解码器解码器解码器解码器解码器解码器

60、解码器输出输出输入输入位置编码位置编码多头自注意力多头自注意力向量相加向量相加&归一化归一化前馈神经网络前馈神经网络向量相加向量相加&归一化归一化带掩模的多头自注意力层带掩模的多头自注意力层向量相加向量相加&归一化归一化多头自注意力多头自注意力向量相加向量相加&归一化归一化前馈神经网络前馈神经网络向量相加向量相加&归一化归一化线性化线性化归一化指数函数归一化指数函数位置编码位置编码输入向量输入向量输出向量输出向量输出概率输出概率 免责声明和披露以及分析师声明是报告的一部分，请务必一起阅读。19 计算机计算机 图表图表26：Transformer 系列时间线和参数情况（相同颜色代表近似系列时间线

61、和参数情况（相同颜色代表近似 family）资料来源：Transformer Models:An Introduction and Catalog，Xavier Amatriain（2023）、华泰研究 图表图表27：提及公司列表提及公司列表 公司代码公司代码 公司简称公司简称 GOOGL US 谷歌 MSFT US 微软 META US Meta（Facebook）NVD US NVIDIA 未上市 OpenAI AMZN US 亚马逊 BIDU US 百度 未上市 华为 资料来源：Bloomberg、华泰研究 风险提示风险提示 宏观经济波动。宏观经济波动。若宏观经济波动，产业变革及新技术的

62、落地节奏或将受到影响，宏观经济波动还可能对 AI 投入产生负面影响，从而导致整体行业增长不及预期。技术进步技术进步不及预期。不及预期。若 AI 技术和大模型技术进步不及预期，或将对相关的行业落地情况产生不利影响。本报告内容均基于客观信息整理，不构成投资建议。本报告内容均基于客观信息整理，不构成投资建议。免责声明和披露以及分析师声明是报告的一部分，请务必一起阅读。20 计算机计算机 免责免责声明声明 分析师声明分析师声明 本人，谢春生，兹证明本报告所表达的观点准确地反映了分析师对标的证券或发行人的个人意见；彼以往、现在或未来并无就其研究报告所提供的具体建议或所表迖的意见直接或间接收取任何报酬。一

63、般声明及披露一般声明及披露 本报告由华泰证券股份有限公司（已具备中国证监会批准的证券投资咨询业务资格，以下简称“本公司”）制作。本报告所载资料是仅供接收人的严格保密资料。本报告仅供本公司及其客户和其关联机构使用。本公司不因接收人收到本报告而视其为客户。本报告基于本公司认为可靠的、已公开的信息编制，但本公司及其关联机构(以下统称为“华泰”)对该等信息的准确性及完整性不作任何保证。本报告所载的意见、评估及预测仅反映报告发布当日的观点和判断。在不同时期，华泰可能会发出与本报告所载意见、评估及预测不一致的研究报告。同时，本报告所指的证券或投资标的的价格、价值及投资收入可能会波动。以往表现并不能指引未来

64、，未来回报并不能得到保证，并存在损失本金的可能。华泰不保证本报告所含信息保持在最新状态。华泰对本报告所含信息可在不发出通知的情形下做出修改，投资者应当自行关注相应的更新或修改。本公司不是 FINRA 的注册会员，其研究分析师亦没有注册为 FINRA 的研究分析师/不具有 FINRA 分析师的注册资格。华泰力求报告内容客观、公正，但本报告所载的观点、结论和建议仅供参考，不构成购买或出售所述证券的要约或招揽。该等观点、建议并未考虑到个别投资者的具体投资目的、财务状况以及特定需求，在任何时候均不构成对客户私人投资建议。投资者应当充分考虑自身特定状况，并完整理解和使用本报告内容，不应视本报告为做出投资

65、决策的唯一因素。对依据或者使用本报告所造成的一切后果，华泰及作者均不承担任何法律责任。任何形式的分享证券投资收益或者分担证券投资损失的书面或口头承诺均为无效。除非另行说明，本报告中所引用的关于业绩的数据代表过往表现，过往的业绩表现不应作为日后回报的预示。华泰不承诺也不保证任何预示的回报会得以实现，分析中所做的预测可能是基于相应的假设，任何假设的变化可能会显著影响所预测的回报。华泰及作者在自身所知情的范围内，与本报告所指的证券或投资标的不存在法律禁止的利害关系。在法律许可的情况下，华泰可能会持有报告中提到的公司所发行的证券头寸并进行交易，为该公司提供投资银行、财务顾问或者金融产品等相关服务或向该

66、公司招揽业务。华泰的销售人员、交易人员或其他专业人士可能会依据不同假设和标准、采用不同的分析方法而口头或书面发表与本报告意见及建议不一致的市场评论和/或交易观点。华泰没有将此意见及建议向报告所有接收者进行更新的义务。华泰的资产管理部门、自营部门以及其他投资业务部门可能独立做出与本报告中的意见或建议不一致的投资决策。投资者应当考虑到华泰及/或其相关人员可能存在影响本报告观点客观性的潜在利益冲突。投资者请勿将本报告视为投资或其他决定的唯一信赖依据。有关该方面的具体披露请参照本报告尾部。本报告并非意图发送、发布给在当地法律或监管规则下不允许向其发送、发布的机构或人员，也并非意图发送、发布给因可得到、

67、使用本报告的行为而使华泰违反或受制于当地法律或监管规则的机构或人员。本报告版权仅为本公司所有。未经本公司书面许可，任何机构或个人不得以翻版、复制、发表、引用或再次分发他人(无论整份或部分)等任何形式侵犯本公司版权。如征得本公司同意进行引用、刊发的，需在允许的范围内使用，并需在使用前获取独立的法律意见，以确定该引用、刊发符合当地适用法规的要求，同时注明出处为“华泰证券研究所”，且不得对本报告进行任何有悖原意的引用、删节和修改。本公司保留追究相关责任的权利。所有本报告中使用的商标、服务标记及标记均为本公司的商标、服务标记及标记。中国香港中国香港 本报告由华泰证券股份有限公司制作,在香港由华泰金融控

68、股（香港）有限公司向符合证券及期货条例及其附属法律规定的机构投资者和专业投资者的客户进行分发。华泰金融控股（香港）有限公司受香港证券及期货事务监察委员会监管，是华泰国际金融控股有限公司的全资子公司，后者为华泰证券股份有限公司的全资子公司。在香港获得本报告的人员若有任何有关本报告的问题,请与华泰金融控股（香港）有限公司联系。免责声明和披露以及分析师声明是报告的一部分，请务必一起阅读。21 计算机计算机 香港香港-重要监管披露重要监管披露 华泰金融控股（香港）有限公司的雇员或其关联人士没有担任本报告中提及的公司或发行人的高级人员。有关重要的披露信息，请参华泰金融控股（香港）有限公司的网页 http

69、s:/.hk/stock_disclosure 其他信息请参见下方“美国“美国-重要监管披露”重要监管披露”。美国美国 在美国本报告由华泰证券（美国）有限公司向符合美国监管规定的机构投资者进行发表与分发。华泰证券（美国）有限公司是美国注册经纪商和美国金融业监管局（FINRA）的注册会员。对于其在美国分发的研究报告，华泰证券（美国）有限公司根据1934 年证券交易法（修订版）第 15a-6 条规定以及美国证券交易委员会人员解释，对本研究报告内容负责。华泰证券（美国）有限公司联营公司的分析师不具有美国金融监管（FINRA）分析师的注册资格，可能不属于华泰证券（美国）有限公司的关联人员，因此可能不受

70、 FINRA 关于分析师与标的公司沟通、公开露面和所持交易证券的限制。华泰证券（美国）有限公司是华泰国际金融控股有限公司的全资子公司，后者为华泰证券股份有限公司的全资子公司。任何直接从华泰证券（美国）有限公司收到此报告并希望就本报告所述任何证券进行交易的人士，应通过华泰证券（美国）有限公司进行交易。美国美国-重要监管披露重要监管披露 分析师谢春生本人及相关人士并不担任本报告所提及的标的证券或发行人的高级人员、董事或顾问。分析师及相关人士与本报告所提及的标的证券或发行人并无任何相关财务利益。本披露中所提及的“相关人士”包括 FINRA 定义下分析师的家庭成员。分析师根据华泰证券的整体收入和盈利能

71、力获得薪酬，包括源自公司投资银行业务的收入。华泰证券股份有限公司、其子公司和/或其联营公司,及/或不时会以自身或代理形式向客户出售及购买华泰证券研究所覆盖公司的证券/衍生工具，包括股票及债券（包括衍生品）华泰证券研究所覆盖公司的证券/衍生工具，包括股票及债券（包括衍生品）。华泰证券股份有限公司、其子公司和/或其联营公司,及/或其高级管理层、董事和雇员可能会持有本报告中所提到的任何证券（或任何相关投资）头寸，并可能不时进行增持或减持该证券（或投资）。因此，投资者应该意识到可能存在利益冲突。评级说明评级说明 投资评级基于分析师对报告发布日后 6 至 12 个月内行业或公司回报潜力（含此期间的股息回

72、报）相对基准表现的预期（A 股市场基准为沪深 300 指数，香港市场基准为恒生指数，美国市场基准为标普 500 指数），具体如下：行业评级行业评级 增持：增持：预计行业股票指数超越基准 中性：中性：预计行业股票指数基本与基准持平 减持：减持：预计行业股票指数明显弱于基准 公司评级公司评级 买入：买入：预计股价超越基准 15%以上 增持：增持：预计股价超越基准 5%15%持有：持有：预计股价相对基准波动在-15%5%之间 卖出：卖出：预计股价弱于基准 15%以上 暂停评级：暂停评级：已暂停评级、目标价及预测，以遵守适用法规及/或公司政策 无评级：无评级：股票不在常规研究覆盖范围内。投资者不应期待

73、华泰提供该等证券及/或公司相关的持续或补充信息 免责声明和披露以及分析师声明是报告的一部分，请务必一起阅读。22 计算机计算机 法律实体法律实体披露披露 中国中国：华泰证券股份有限公司具有中国证监会核准的“证券投资咨询”业务资格，经营许可证编号为：941011J 香港香港：华泰金融控股（香港）有限公司具有香港证监会核准的“就证券提供意见”业务资格，经营许可证编号为：AOK809 美国美国：华泰证券（美国）有限公司为美国金融业监管局（FINRA）成员，具有在美国开展经纪交易商业务的资格，经营业务许可编号为：CRD#:298809/SEC#:8-70231 华泰证券股份有限公

74、司华泰证券股份有限公司 南京南京 北京北京 南京市建邺区江东中路228号华泰证券广场1号楼/邮政编码：210019 北京市西城区太平桥大街丰盛胡同28号太平洋保险大厦A座18层/邮政编码：100032 电话：86 25 83389999/传真：86 25 83387521 电话：86 10 63211166/传真：86 10 63211275 电子邮件：ht- 电子邮件：ht- 深圳深圳 上海上海 深圳市福田区益田路5999号基金大厦10楼/邮政编码：518017 上海市浦东新区东方路18号保利广场E栋23楼/邮政编码：200120 电话：86 755 82493932/传真：86 755 8

75、2492062 电话：86 21 28972098/传真：86 21 28972068 电子邮件：ht- 电子邮件：ht- 华泰金融控股（香港）有限公司华泰金融控股（香港）有限公司 香港中环皇后大道中 99 号中环中心 58 楼 5808-12 室 电话：+852-3658-6000/传真：+852-2169-0770 电子邮件： http:/.hk 华泰证券华泰证券（美国美国）有限公司有限公司 美国纽约公园大道 280 号 21 楼东（纽约 10017）电话：+212-763-8160/传真：+917-725-9702 电子邮件:Huataihtsc- http:/www.htsc- 版权所有2023年华泰证券股份有限公司