《谷歌A-美股公司研究报告-谷歌:全球搜索与移动生态公司巨头转型AI+云计算-230506(33页).pdf》由会员分享,可在线阅读,更多相关《谷歌A-美股公司研究报告-谷歌:全球搜索与移动生态公司巨头转型AI+云计算-230506(33页).pdf(33页珍藏版)》请在三个皮匠报告上搜索。
1、 本报告由中信建投证券股份有限公司在中华人民共和国(仅为本报告目的,不包括香港、澳门、台湾)提供。在遵守适用的法律法规情况下,本报告亦可能由中信建投(国际)证券有限公司在香港提供。同时请参阅最后一页的重要声明。证券研究报告证券研究报告美股公司深度美股公司深度 软件与服务软件与服务 谷歌:谷歌:全球搜索与移动生态公司巨头,全球搜索与移动生态公司巨头,转型转型 AI+云云计算计算 核心观点核心观点 大语言模型对社会降本增效的作用已经初步显现,未来进一步泛化普及的概率较高,这将推动云计算基础设施和大模型产品的需求增长,2023-25 年有望继续维持较快收入增长,广告和其他业务保持稳健发展,成本费用的
2、持续优化将支撑利润率的回升。尽管面临短期加息周期的波动和行业竞争的变化,我们持续看好公司中长期的成长性与投资价值。标题标题 谷歌为全球搜索与移动生态公司巨头,以在线广告收入为核心,谷歌为全球搜索与移动生态公司巨头,以在线广告收入为核心,并逐步推进“并逐步推进“AI+云计算”建设。云计算”建设。谷歌由拉里佩奇和谢尔盖布林于 1996 年联合创立,2004 年于纳斯达克上市,2015 年,谷歌成立母公司 Alphabet,Google 成为母公司旗下最大子公司,Calico、Nest、Fiber 等成为 Google 同级子公司。谷歌(Alphabet)的业务板块包括 Google 和 Other
3、 Bets 两部分,其中 Google 为公司的核心收入来源。Google 以广告业务为核心,辅以云业务、应用商店、硬件产品等互联网产品与服务,具体包括 Android、Search、YouTube、Apps、Maps 和 Ads。此外,子公司 Other Bets业务涉及生物科技(Calico)、智能家居(Nest)、资本投资(GV)、宽带服务(Fiber)和自动驾驶(Waymo)等领域。谷歌在谷歌在 LLM 领域全栈技术积累深厚,总体处于第一梯队。领域全栈技术积累深厚,总体处于第一梯队。谷歌在大模型领域的布局是全方位的,涵盖上游芯片、分布式计算集群、深度学习框架,以及模型训练、调试优化策略
4、,并且在多数环节保持领先地位,OpenAI 的成功则是建立在与微软、英伟达等公司相互合作的基础上,并且是 OpenAI 与微软是通过股权投资绑定利益关系,这意味着其他竞争者模仿的难度较大,而就互联网平台而言,Google 在 AI 领域的积累深厚,整体并不落后于OpenAI 的情况。投 资 建 议:投 资 建 议:我 们 预 计 公 司 2023-25 年 整 体 收 入 分 别 为2989/3319/3663 亿美元,经调整净利润分别为 808/945/1091 亿美元。尽管面临短期加息周期的波动和行业竞争的变化,我们持续看好公司中长期的成长性与投资价值,首次覆盖并给予“买入”评级。首次评级
5、首次评级 买入买入 孙晓磊 SAC 编号:s05 SFC 编号:BOS358 崔世峰 SAC 编号:S04 许悦 SAC 编号:s01 发布日期:2023 年 05 月 06 日 当前股价:105.41 美元 目标价格 6 个月:140 美元 主要数据主要数据 股票价格绝对股票价格绝对/相对市场表现(相对市场表现(%)1 个月 3 个月 12 个月 1.62/3.23-2.16/-0.72-95.48/-91.41 12 月最高/最低价(美元)2445.22/83.43 总股本(万股)1,269,700.00 流通股本(万股)5
6、94,100.00 总市值(亿美元)13,383.91 流通市值(亿美元)13,383.91 近 3 月日均成交量(万)3856.33 主要股东 BlackRock,Inc.股价表现股价表现 相关研究报告相关研究报告 -96%-46%4%54%2022/5/42022/6/42022/7/42022/8/42022/9/42022/10/42022/11/42022/12/42023/1/42023/2/42023/3/42023/4/4谷歌A纳斯达克综指谷歌谷歌 A(GOOGL.O)A(GOOGL.O)美股公司深度报告 谷歌谷歌 A 请参阅最后一页的重要声明 目录目录 投资要件.1 关键假设
7、.1 我们为什么与市场普遍观点不同.1 估值和目标价格.1 股价上涨的催化因素.1 投资风险.1 1.公司分析:全球搜索与移动生态公司巨头,转型 AI+云计算.2 1.1 公司概况:全面推进 AI+云计算转型.2 1.2 财务分析:收入结构逐步优化,利润率保持稳定.4 2.LLM 大语言模型:具备充分想象力的技术趋势.6 2.1 研究框架:聚焦模型结构、预训练模型、下游调试、部署、推断等环节.6 2.1.2 综述:Scaling Law、Prompt Engineering 驱动 LLMs 加速发展.6 2.1.3 预训练:差异来自数据集、知识图谱、参数规模、训练策略.15 2.1.4 下游调
8、试、部署、推断:RHLF 仍处于技术发展的早期,潜在优化空间大.18 2.1.5 量化效果:基于公开测试集进行量化评估.20 2.2 谷歌的竞争分析:全栈技术积累深厚,总体处于第一梯队.21 2.2.1 预训练环节:谷歌在训练基础设施/训练策略方面布局领先.21 2.2.2 模型调试:谷歌在 Fine-tuning,Prompt engineering 方面领先,在 Alignment Tuning 等领域与 OpenAI 存在差距.24 估值.26 投资评价和建议.26 风险分析.27 报表预测.28 图目录 图 1:谷歌(Alphabet)子公司概况.2 图 2:谷歌发展历程.3 图 3:
9、谷歌现任高管团队简要情况.4 图 4:2013-22 年谷歌营业收入结构(%).5 图 5:2013-22 年谷歌毛利率、销售净利率情况(%).5 图 6:2013-22 年谷歌费用率情况(%).5 图 7:2013-22 年经调整归母净利润率(%).5 图 8:大模型的研究框架.6 图 9:超大规模预训练模型成为业界趋势.6 图 10:超大规模预训练模型存在规模扩张边际收益递减的规律.7 图 11:NLP 领域下游任务的范式迁移.7 图 12:模型效果与参数规模呈现幂律关系.9 图 13:GPT-3 效果并不明显好于小规模的 BERT Large 模型.9 BVkZ2VmU9YEYiX2Vn
10、VcV6M9R9PsQpPpNnOkPpPrMfQpPtMaQnPmNxNnNuMxNnQqP 美股公司深度报告 谷歌谷歌 A 请参阅最后一页的重要声明 图 14:模型在预训练阶段的表现基本仅依赖于模型的参数量.9 图 15:模型在微调阶段时的表现和模型结构关系很大.9 图 16:思维链提示在性能-比例曲线中表现出明显的相变.10 图 17:不同参数规模下直接 Prompt 与 CoT 的性能比较.10 图 18:CoT Prompt 对不同规模、语料训练下模型性能的影响.11 图 19:指令微调相对预训练计算量占比很小.11 图 20:当模型性能超越一般人时,Alignment 成为挑战.1
11、2 图 21:RM 可能存在过拟合的情况.12 图 22:不同方法下模型过拟合情况.12 图 23:业界 AI 研究院的组织架构调整.13 图 24:2018-21 年谷歌经历介入军事、语音监听、伦理委员会风波,21-23 年大量研究人员离职.14 图 25:2017-22 年 NIPS 论文发布机构集中度有所下降.14 图 26:1950-2022 年美国司法部及欧盟反垄断诉讼案件数量(件).14 图 27:OpenAI GPT-3 模型的训练语料集.15 图 28:ERNIE、BERT 掩码策略差异.16 图 29:ERNIE 团队提出序列多任务学习模式.17 图 30:OPT-175B
12、训练断点情况.18 图 31:GPT-4 模型的训练是基于小规模模型训练预测大模型的损失函数进行的.18 图 32:InstructGPT 论文中提到的下游调试过程.19 图 33:InstructGPT 经过调试后表现显著优于 SFT-175B 模型.19 图 34:大规模 PM 对不同参数规模模型的效果提升是显著的.19 图 35:小规模 PM 对模型的性能提升可能不显著.19 图 36:百度 ERNIE 团队提出在线蒸馏框架.20 图 37:GPT-4 模型在多数下游语言任务中达到 SOTA.21 图 38:GPT-4 模型在视频下游任务方面领先幅度不如语言领域.21 图 39:不同大语
13、言模型的预训练数据集结构(%).21 图 40:Google 在分布式集群计算资源利用率方面处于相对领先地位.22 图 41:TPUv4 在多个下游场景中表现优于 A100.22 图 42:TPU v4 在 BERT 上表现优于 A100.22 图 43:TPU v4 在 ResNet 上表现优于 A100.22 图 44:目前学界/业界提升模型计算效率的策略分类.23 图 45:OPT-175B survived 143K steps.23 图 46:Fine-tuning performance of the T5 Base,Large,and 11B on the GLUE dev se
14、t.24 图 47:SAM 提升了模型对标签噪声的稳健性,并优化了模型训练效率.24 图 48:当模型性能超越一般人时,Alignment 成为挑战.25 表目录 表 1:业界大模型相关论文影响力(截止 2023/4/17).8 表 2:训练语料引入多轮对话后模型预测准确率提升.15 表 3:不同掩码策略及数据集规模下的模型预测准确率.16 表 4:可比公司估值表.26 1 美股公司深度报告 谷歌谷歌 A 请参阅最后一页的重要声明 投资要件投资要件 关键假设关键假设 1)公司在反垄断监管方面的风险不至于导致公司业务分拆。2)不同国家对云计算、大模型产品、广告等业务的相关监管要求不会发生显著的转
15、变。3)公司在搜索引擎市场的份额保持稳定。我们为什么与市场普遍观点不同我们为什么与市场普遍观点不同 就我们所知,市场对 LLM 领域的研究可能还存在提升空间,本片报告就技术路径和现有的业界实践/学界研究进展予以更新和梳理,明确了关于大语言模型研究的基本框架,后续的研究可以基于这一框架进一步在细分领域予以更新,完善投资者对大语言模型的认知,以支持投资决策。估值和目标价格估值和目标价格 估值上,我们认为谷歌业务处于相对成熟阶段,因此适合 PE 估值。远期 PE 对应持有一年的名义回报率,以 22.5%的美国经济潜在增长率为基础,考虑额外的 10 年期国债利率,我们预计 34%的实际回报率水平处于合
16、理区间。结合相对估值方面,根据彭博,截止 2023/5/3,谷歌 P/E 为 17.13,较可比公司折价 31.94%,且低于过去 5 年公司的平均估值水平 26.04%。因而,我们按照 22xPE 估计,对应 17776 亿美元市值,每股 140 美元的估值。股价上涨的催化因素股价上涨的催化因素 1)公司大语言模型产品取得重大突破,并驱动谷歌云的需求显著提升。2)广告需求回暖。投资风险投资风险 业务发展不及预期:业务发展不及预期:云计算等业务竞争格局仍处于较快变化阶段,我们对谷歌的估值和投资判断很大程度上是基于主观预期,而市场竞争加剧可能影响微软相关业务的表现,使预期与实际业绩产生偏差。行业
17、增长不及预期:行业增长不及预期:疫情下居家办公等需求脉冲式增长,这使得重新开放后高基数、需求透支下业绩可能增速将有所放缓。监管监管不确定性:不确定性:云计算等业务涉及多个国家和地区,同时满足不同国家的监管要求及潜在的变化会对业务产生一定不确定性的影响。2 美股公司深度报告 谷歌谷歌 A 请参阅最后一页的重要声明 1.公司分析公司分析:全球搜索与移动生态公司巨头,全球搜索与移动生态公司巨头,转型转型 AI+云计算云计算 1.1 公司概况公司概况:全面推进:全面推进 AI+云计算转型云计算转型 谷歌为全球搜索与移动生态公司巨头,以在线广告收入为核心,并逐步推进“谷歌为全球搜索与移动生态公司巨头,以
18、在线广告收入为核心,并逐步推进“AI+云计算”建设。云计算”建设。谷歌由拉里佩奇和谢尔盖布林于 1996 年联合创立,2004 年于纳斯达克上市,2015 年,谷歌成立母公司 Alphabet,Google 成为母公司旗下最大子公司,Calico、Nest、Fiber 等成为 Google 同级子公司。谷歌(Alphabet)的业务板块包括 Google 和 Other Bets 两部分,其中 Google 为公司的核心收入来源。Google 以广告业务为核心,辅以云业务、应用商店、硬件产品等互联网产品与服务,具体包括 Android、Search、YouTube、Apps、Maps 和 Ad
19、s。此外,子公司 Other Bets 业务涉及生物科技(Calico)、智能家居(Nest)、资本投资(GV)、宽带服务(Fiber)和自动驾驶(Waymo)等领域。图图 1:谷歌(谷歌(Alphabet)子公司概况)子公司概况 数据来源:CNN,中信建投 发展历程方面发展历程方面,谷歌成立谷歌成立 20 余年间,由单一的搜索引擎服务公司转型为全球搜索与移动生态公司巨头,其余年间,由单一的搜索引擎服务公司转型为全球搜索与移动生态公司巨头,其发展历程大致分为四个阶段发展历程大致分为四个阶段。第一阶段为 1996 年-2004 年,谷歌依靠搜索引擎广告收入营收。谷歌搜索最初版本为 BackRub
20、 搜索引擎,利用读取网络标题并利用 PageRank 算法对搜索结果排序。2000 年,谷歌基于 BackRub,发布 AdWords,利用广告商针对搜索结果界面定向广告投放机会的价格竞拍营收,为公司提供稳定的收入来源。第二阶段为 2004 年-2008 年,搜索引擎业务收入来源单一且局限,谷歌开始快速收购初创公司,构建公司主营业务框架。为寻找搜索引擎业务外新的收入增长点,谷歌于 2004 年上市后大量收购初创公司,其中包括 2005年收购 Android 拓展移动生态业务,2006 年收购 YouTube 拓展视频广告业务,2007 年收购网络广告服务商DoubleClick 和发布广告产品
21、 AdSense,拓展在线广告业务。在此阶段,谷歌构建了其主要业务板块搜索和视频广告、硬件、应用商店的基础。第三阶段为 2008 年-2015 年,谷歌一方面在搜索引擎、移动生态领域快速发展,3 美股公司深度报告 谷歌谷歌 A 请参阅最后一页的重要声明 另一方面,主攻技术的联合创始人拉里佩奇于 2011 年重新担任 CEO,谷歌开始探索各类创新产品。具体而言 1)谷歌潜心深入发展移动生态和搜索引擎业务,于 2008 年推出 Chrome 浏览器并开源操作系统 2)谷歌在CEO 拉里 佩奇带领下开始尝试各种新奇的想法,比如开发自动驾驶技术、谷歌眼镜,成立生物科技公司 Calico等尝试。第四阶段
22、为 2015 年至今,通过四年探索,谷歌的在线广告业务和其他业务逐步成熟,开始探索 AI 和云业务的布局。2014 年谷歌收购 Deepmind,2016 年整合谷歌云,谷歌云在公司收入中占比逐年增加,未来公司将以“AI+云计算”作为公司新的业务增长点。图图 2:谷歌发展历程谷歌发展历程 数据来源:公司公告,中信建投 管理团队方面,公司共经历了拉里 佩奇、埃里克 施密特、拉里 佩奇和桑达尔 皮猜四任管理团队方面,公司共经历了拉里 佩奇、埃里克 施密特、拉里 佩奇和桑达尔 皮猜四任 CEO。拉里 佩奇自 1998 年-2001 年担任公司 CEO,因投资人质疑其年龄和经验限制要求其卸任。2001
23、-2011 年,前 Sun 和 Novell的首席执行官埃里克施密特担任公司 CEO,因其具有丰富的管理经验,埃里克施密特负责公司运营,两位联合创始人专注于技术。埃里克施密特任职期间,谷歌实现搜索引擎公司向科技巨头的转型。2011 年-2019年,拉里佩奇重新成为谷歌 CEO,谷歌在在线广告业务外,不断探索云业务、生物科技、智能家居、资本投资、宽带服务和自动驾驶等创新业务。2019 年桑达尔皮猜任职 Alphabet 和谷歌 CEO,桑达尔皮猜曾担任谷歌 Android 操作系统、Chrome 浏览器等核心产品负责人,对谷歌主营业务运营具备经验。佩奇和布林开发出BackRub搜索引擎正式以Go
24、ogle命名公司0发布Adwords,广告业务成为公司最大收入源2001施密特成为谷歌CEO,两位创始人专注技术研发2004发布Gmail谷歌上市2005-2007推出Map收购Android收购YouTube开设数据中心推出Apps收购广告商DoubleClick2008推出Chrome浏览器第一部安卓操作系统手机HTC Dream发布2011佩奇接任施密特成为谷歌CEO2010开发自动驾驶技术推出Goolge TV2011-2014开源Chrome操作系统打造社交网络Google+收购摩托罗拉研发谷歌眼镜创立生物科技公司Calico收购Deepmind 2015调整组
25、织结构,成立母公司Alphabet调整组织结构,佩奇和布林离职,皮猜成为谷歌和Alphbet CEO2016谷歌云整合2018整合前沿科技waymo和googlex等,成立Other Bets成为子公司20192023谷歌大脑并入Deepmind定向广告收入为核心收购初创公司,奠定业务基础聚焦自研技术并探索新奇产品设立母公司,逐步推进“AI+云计算”-20-至今 4 美股公司深度报告 谷歌谷歌 A 请参阅最后一页的重要声明 图图 3:谷歌现任高管团队简要情况谷歌现任高管团队简要情况 数据来源:craft,comparably,中信建投 组
26、织架构方面,谷歌组织建构经过三次调整组织架构方面,谷歌组织建构经过三次调整。上市之初,公司组织架构运行“创始人+CEO 三人共同决策&扁平化”的组织结构,其中两位联合创始人聚焦技术,具有丰富经验的桑达尔施密特担任 CEO 负责运营。此时组织架构特点为:公司内部减少层级关系,以项目组形式开展工作,但项目实行申请制且项目职责不明,导致公司管理混乱且复杂。2011 年,谷歌联合创始人拉里 佩奇(Larry Page)出任谷歌 CEO 后,简化组织框架,将组织架构调整为“CEO+六位高级副总裁”。此阶段组织架构特点为:YouTube、搜索、广告、社交、Chrome和移动业务等重要产品部门分别由一位高级
27、副总裁负责,部门可独立提出产品计划,自主权提高。2015 年,因为谷歌除主营业务外,进一步探索了自动驾驶、生物科技等多领域产品,为解决组织架构庞大和体系臃肿问题,以及充分划分公司业务和部门职能,谷歌组建母公司 Alphabet,将核心业务归于谷歌,非核心业务拆分谷歌的同级子公司,归于母公司 Alphabet 下。子母公司 CEO 分别由桑达尔皮猜和拉里佩奇担任。2019 年,谷歌进一步简化组织架构,Alphabet 和 Google 均由桑达尔皮猜担任 CEO。1.2 财务分析财务分析:收入结构逐步优化,利润率保持稳定:收入结构逐步优化,利润率保持稳定 收入结构上,广告收入是公司主要营收来源但
28、占比逐年下滑,谷歌云营收占比逐年提高,而其他收入保持收入结构上,广告收入是公司主要营收来源但占比逐年下滑,谷歌云营收占比逐年提高,而其他收入保持稳定。稳定。谷歌收入结构包括广告业务、谷歌云和其他收入等,FY12-FY22,谷歌广告收入从 95%降至 80%。谷歌云营收由 6%增至 9%,而其他收入稳定保持约 10%。费用率方面,FY21-FY22 受疫情影响、海外监管政策压制和招聘放缓,2021 年管理费用下降,但 2022 年呈现回升态势。Sundar Pichai谷歌和Alphabet CEOThomas Kurian谷歌云首席执行官Ruth Porat高级副总裁&首席财务官首席营销官高级
29、副总裁&首席商务官谷歌&Alphabet全球事务总裁Benjamin Fried谷歌CIOSergey Brin联合创始人Larry Page联合创始人Eric Schmidt执行主席Lorraine TwohillPhilipp SchindlerKent Walker曾担任Android产品负责人曾在摩根士丹利负责应用程序基础架构曾任甲骨文公司产品开发总裁摩根士丹利担任首席财务官2003年加入谷歌,首位负责美国外市场的营销高管2005年加入谷歌,曾在AOL任职负责监督负责内容政策、政府、法律等事务 5 美股公司深度报告 谷歌谷歌 A 请参阅最后一页的重要声明 图图 4:2013-22 年谷
30、歌营业收入结构(年谷歌营业收入结构(%)图图 5:2013-22 年谷歌毛利率、销售净利率情况(年谷歌毛利率、销售净利率情况(%)数据来源:公司公告,中信建投 数据来源:公司公告,中信建投 图图 6:2013-22 年谷歌费用率情况(年谷歌费用率情况(%)图图 7:2013-22 年经调整归母净利润率(年经调整归母净利润率(%)数据来源:公司公告,中信建投 数据来源:公司公告,中信建投 0%20%40%60%80%100%2013 2014 2015 2016 2017 2018 2019 2020 20212022广告收入其他收入云业务00702013 2014 201
31、5 2016 2017 2018 2019 2020 2021 2022销售毛利率(%)销售净利率0%5%10%15%20%25%30%35%40%2013 2014 2015 2016 2017 2018 2019 2020 2021 2022研发费用销售费用管理费用0%5%10%15%20%25%30%35%2013 2014 2015 2016 2017 2018 2019 2020 2021 2022经调整归母净利润率(%)6 美股公司深度报告 谷歌谷歌 A 请参阅最后一页的重要声明 2.LLM 大语言模型大语言模型:具备充分想象力的技术趋势具备充分想象力的技术趋势 2.1 研究框架研
32、究框架:聚焦模型结构、预训练模型、下游调试、部署、推断等环节:聚焦模型结构、预训练模型、下游调试、部署、推断等环节 大模型领域的研究大模型领域的研究核心要素包括模型结构、预训练模型、下游调试、模型部署、模型推断等。核心要素包括模型结构、预训练模型、下游调试、模型部署、模型推断等。根据青源会,大模型研究领域存在一定问题,包括同质化严重的情况,多数厂商采取类似的模型架构,例如 GPT、Bert、T5等。由于模型架构同质化,影响模型效果的核心因素更多是工程方面的技巧、细节。总体上,大模型领域的研究机会主要包括 1)模型结构,例如非注意力交互机制、稀疏路由结构等;2)预训练模型,例如预训练任务设计、模
33、型更新方法等;3)下游调试,如探索任务微调效率提升方法;4)模型部署,如统一的任务范式,通过单一模型支撑多种任务;5)模型推断,如模型压缩、剪枝、动态路由等。我们对比不同厂商大模型研发水平也主要参照上述框架。图图 8:大模型的研究框架大模型的研究框架 数据来源:青源会2022年人工智能重要方向进展与未来展望报告,中信建投 2.1.2 综述:Scaling Law、Prompt Engineering 驱动 LLMs 加速发展 从技术路线上看,从技术路线上看,GPT、T5、BERT 都是基于都是基于 Transformer 架构衍生而来的。架构衍生而来的。Tranformer 相对 RNN 引入
34、了注意力机制(Attention mechanism),实现对全局信息的利用,同时简化计算复杂度,实现对下游任务的泛化应用。由于更简洁的模型结构设计和参数假设,Transformer 在数据抓取能力方面有所取舍,从而导致为了实现效果提升,需要进行更大规模的数据训练,以及构建更大规模的模型,间接导致了当前模型越来越大的趋势。图图 9:超大规模预训练模型成为业界趋势超大规模预训练模型成为业界趋势 数据来源:百度智能云超大规模AI异构计算集群的设计和优化,中信建投 模型结构预训练下游调试部署推断模型效率非注意力机制的建模稀疏路由结构训练效率提升知识嵌入知识更新调试效率提升上下文学习可靠性统一范式推断
35、效率提升 7 美股公司深度报告 谷歌谷歌 A 请参阅最后一页的重要声明 根据 OpenAI 研究,预训练模型的扩大带来资源投入的指数级增长,而效果呈现线性增长的趋势,这意味着边际投入带来的效果提升,即边际收益呈现递减的趋势,也就是给定算力等资源成本下存在参数规模的极限值,使得 ROI 最优。另外,根据 GPT-4 技术报告,Inverse Scaling Prize 提出,在一些任务上,随着参数规模的扩张,大模型在任务上的表现反而出现下降的情况。图图 10:超大规模预训练模型存在规模扩张边际收益递减的规律超大规模预训练模型存在规模扩张边际收益递减的规律 数据来源:百度智能云超大规模AI异构计算
36、集群的设计和优化,中信建投 GPT 是基于 Transformer 架构,将 decoder(解码器)取出,也就是 Decoder-only 模型;相较之下,BERT是将 Transformer 架构的 Encoder(编码器)取出,即 Encoder-only,后续 T5 模型则是 Encoder-Decoder 模型。模型结构的差异会导致其在下游任务表现的差异,例如过去学界认为Encoder模型对上下文理解能力更强,因为其可以结合上下文信息进行辅助判断,而 Decoder-Only 模型仅能通过下文信息进行决策,存在一定信息损失。这一定程度上解释了 BERT 类模型在小参数规模下在下游任务
37、上表现好于 GPT 系列模型1。图图 11:NLP 领域下游任务的范式迁移领域下游任务的范式迁移 数据来源:青源会2022年人工智能重要方向进展与未来展望报告,中信建投 然而,近年 NLP 行业下游任务的统一化趋势改变了 BERT 模型的相对优势,即学者发现可以通过改变提问方式将分类、匹配等下游任务统一为一类问题,从而最大化模型效果,后续发展出 Prompt engineering(提示工 1 Language Models are Unsupervised Multitask LearnersGPT-2 论文中扩大规模的 GPT-2 模型表现弱于 BERT,但 OpenAI提出 Few-Sh
38、ot/Zero-Shot 概念,从而间接实现 SOTA 效果。8 美股公司深度报告 谷歌谷歌 A 请参阅最后一页的重要声明 程)。下游任务的统一相当于帮助 Encoder/Decoder 模型规避其不擅长的任务领域。在此基础上,GPT 能够脱颖而出更多得益于工程方面的提升而非在技术思想上创新,需要指出的是,GPT 模型采用的多数技术都是此前的学术研究成果,就科研贡献本身,GPT 模型的提升并不多。从技术路线上看,包括 ERNIE 在内的多数厂商选择 BERT 路线(Encoder-only),少数选择 T5 路线(Encoder-Decoder),较少选择 GPT 路线(Decoder-onl
39、y)。这种选择可以从学术影响力看出,BERT 论文的被引用量远大于 GPT 系列论文及 T5 系列论文。事后看,当前 OpenAI 旗下 GPT 系列模型的领先得益于早期技术选型的成功,这一成功是建立在以下基础上GPT 的学界/业界影响力小于 BERT,导致多数厂商选择跟踪BERT 的工作。表表 1:业界大模型相关论文影响力(截止业界大模型相关论文影响力(截止 2023/4/17)发表时间发表时间 文章文章 核心贡献核心贡献 被引用次被引用次数数 2017/6/12 Attention is all you need Transformer 71128 2018/6/11 Improving
40、Language Understanding by Generative Pre-Training GPT 1.0 5196 2018/10/11 BERT:Pre-training of Deep Bidirectional Transformers for Language Understanding BERT 63400 2019/2/14 Language Models are Unsupervised Multitask Learners GPT 2.0 10432 2019/4/19 ERNIE:Enhanced Representation through Knowledge I
41、ntegration ERNIE 1.0 677 2019/7/29 ERNIE 2.0:A Continual Pre-training Framework for Language Understanding ERNIE 2.0 560 2019/10/23 Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer T5 6961 2020/5/28 Language models are few-shot learners GPT 3.0 9160 2021/3/1 M6:A Chi
42、nese Multimodal Pretrainer M6 94 2021/4/26 PanGu-:Large-scale Autoregressive Pretrained Chinese Language Models with Auto-parallel Computation PanGu-92 2021/7/5 ERNIE 3.0:Large-scale Knowledge Enhanced Pre-training for Language Understanding and Generation ERNIE 3.0 122 2021/12/23 ERNIE 3.0 Titan:Ex
43、ploring Larger-scale Knowledge Enhanced Pre-training for Language Understanding and Generation ERNIE 3.0 titan 19 2022/3/4 Training language models to follow instructions with human feedback InstructGPT 434 2023/3/20 PanGu-:Towards Trillion Parameter Language Model with Sparse Heterogeneous Computin
44、g PanGu-1 资料来源:Google scholar,Arxiv,中信建投 GPT 路线此前的影响力弱于路线此前的影响力弱于 BERT 路线主要由于路线主要由于 1)Google 品牌背书;品牌背书;2)开源精神;)开源精神;3)产研结合难度。)产研结合难度。OpenAI 旗下的 GPT 路线基于 Transformer 架构,将解码器单独取出,论文发布时间早于 BERT 论文发布时间。但论文的业界影响力弱于 BERT,我们认为,这主要由于 Google 的品牌背书,Google 研究团队在 AI 领域的研究积累导致业界对其研究关注度更高。另一方面,GPT 系列论文发布后,相关数据集、模
45、型不完全开源,导致其他研究团队很难跟进和复现其研究成果,这进一步削弱了业界/学界跟进研究的动力。最重要的是,OpenAI团队解决问题的思路与当时业界/学界有所差异,此前研究人员更倾向于设计精细的模型结构和高效的方法,实现相同规模下效果更优,而 GPT 引入 Few-Shot/Zero-Shot 下表现没有明显好于 Fine-tuning 下的其他模型,只是在数据量和参数量指数提升后表现快速提升。9 美股公司深度报告 谷歌谷歌 A 请参阅最后一页的重要声明 这里存在这里存在 2 个问题:个问题:1)线性外推的思维定式。)线性外推的思维定式。2)业界研究的思维习惯:追求效率,聚焦更具体的问题。)业
46、界研究的思维习惯:追求效率,聚焦更具体的问题。首先是首先是 1)线性外推的思维定式,线性外推的思维定式,多数研究团队选择优先调整模型结构和训练方法等路线的隐含假设是,规模扩张不会对技术路线的效率产生明显影响,或者即使产生影响,但相比规模扩张带来的成本,其投入难度很难同比扩大。例如,OpenAI 的团队在 2020 年 1 月发现模型参数规模与效果存在幂律关系,即模型参数呈指数增长时,性能会线性增加,但 GPT-3 规模大于 BERT large 几个数量级,Zero-Shot/One-Shot 下效果也没有明显优势。这意味着 Fine-tuned 的效率提升优于参数规模扩大所带来的影响。202
47、2 年 1 月,Google 和 DeepMind 研究团队发现 Fine-tuning 也存在幂律关系2,因此行业主要聚焦既定规模模型的效率提升。图图 12:模型效果与参数规模呈现幂律关系模型效果与参数规模呈现幂律关系 图图 13:GPT-3 效果并不效果并不明显明显好好于于小规模的小规模的 BERT Large 模型模型 数据来源:Scaling Laws for Neural Language Models,中信建投 数据来源:Language Models are Few-Shot Learners,中信建投 注:GPT-3参数规模为175B,BERT large为340M。图图 14
48、:模型在预训练阶段的表现基本仅依赖于模型的参数量模型在预训练阶段的表现基本仅依赖于模型的参数量 图图 15:模型模型在微调阶段时的表现和模型结构关系很大在微调阶段时的表现和模型结构关系很大 数据来源:Scaling Efficiently:Insights from Pre-training and Fine-tuning Transformers,中信建投 数据来源:Scaling Efficiently:Insights from Pre-training and Fine-tuning Transformers,中信建投 2 根据 Scaling Efficiently:Insights
49、 from Pre-training and Fine-tuning Transformers,证明了模型的结构对下游任务微调的影响很大,并提出随着规模扩大模型结构设计的一些方案。此外,OpenAI 在 2021 年 2 月发布Scaling Laws for Transfer,研究了迁移学习领域的幂律关系。10 美股公司深度报告 谷歌谷歌 A 请参阅最后一页的重要声明 Google研究推动规模竞赛加速研究推动规模竞赛加速,规模界限分别是规模界限分别是62B和和175B。2022年1月,Google团队开创了思维链(CoT)领域研究Chain-of-Thought Prompting Elic
50、its Reasoning in Large Language Models,通过 prompt 中引导大模型进行逻辑推理的方式实现性能优化,并且这种优化幅度大于此前规模提升带来的线性提升。而下一个自然的问题则是参数规模的界限,Google 团队在 2022 年 12 月3比较了不同参数规模下直接 prompt 以及 CoT 下的表现,得出以下结论:对于所有小于 62B 的模型,直接用提示词都好于思维链。结合 GPT-3 模型规模,至少需要大于 175B4,思维链的效果才能大于 Fine-tuned 小模型的效果。图图 16:思维链提示在性能思维链提示在性能-比例曲线中表现出比例曲线中表现出明
51、显的相变明显的相变 图图 17:不同参数规模下直接不同参数规模下直接 Prompt 与与 CoT 的性能比较的性能比较 数据来源:Chain-of-Thought Prompting Elicits Reasoning in Large Language Models,中信建投 数据来源:Scaling Instruction-Finetuned Language Models,中信建投 除规模外,训练语料也可能对除规模外,训练语料也可能对 CoT 能力产生较大影响。能力产生较大影响。根据 Mirac Suzgun(2022)等人的研究5,基于代码和文本数据训练的 Codex 模型在基于提示遵
52、循任务指令、探索算法规律方面表现优于 InstructGPT 和 PaLM。更进一步,学界/业界希望分析出具体哪一因素导致 CoT 能力产生(主要区分 fine-tuned/代码训练),因而进行对比研究。Jason Wei在第一版论文(https:/arxiv.org/pdf/2201.11903v1.pdf)提到,GPT-3 text-davinci-001在GSM8K测试集上表现的推理能力较弱,而 text-davinci-001 是完全基于文本训练的模型。在论文第五版中 GPT-3 text-davinci-002/Codex code-davinci-002 在 GSM8K 测试集上表
53、现明显提升。而 Percy Liang 等研究6总结基于代码训练的模型在推理能力方面强于非代码训练的模型,其测试集中平均推理能力 Codex cushman v1 位列(9/30),Codex davinci v2(1/30)。因此推理能力来自代码训练的可能性更大,代码训练对提升推理能力有明显帮助。3 Scaling Instruction-Finetuned Language Models。4 如果考虑到code-davinci-002的基础模型可能不是初代GPT-3 davinci 模型,CoT效果优于直接Prompt的界限可能大于175B。5 Challenging BIG-Bench
54、tasks and whether chain-of-thought can solve them 原文如下“Codex,trained on both code and text data,shows better performance in following task instructions and exploiting algorithmic patterns based on the prompt exemplars compared to InstructGPT and PaLM.”6 Holistic Evaluation of Language Models。11 美股公司
55、深度报告 谷歌谷歌 A 请参阅最后一页的重要声明 图图 18:CoT Prompt 对对不同规模、语料训练下模型性能的影响不同规模、语料训练下模型性能的影响 数据来源:Challenging BIG-Bench tasks and whether chain-of-thought can solve them,中信建投 注:InstructGPT models 缩写如下:a-1(text-ada-001),b-1(text-babbage-001),c-1(text-curie-001),d-1(text-davinci-001),and d-2(text-davinci-002).Codex
56、 models缩写如下:c-1(code-cushman-001),d-1(code-davinci-002),and d-2(code-davinci-002).更进一步的佐证是 Zero-Shot Prompting。根据Takeshi Kojima 等人的研究7,通过加入“Lets think step by step”提示,模型的表现有显著提升。且根据Scaling Instruction-Finetuned Language Models,Finetune 计算量仅占预训练的很小比例,因此更大可能逻辑推理能力是预训练模型本身具备的,CoT Prompt 激活了这类能力。图图 19:指
57、令微调相对预训练计算量占比很小指令微调相对预训练计算量占比很小 数据来源:Scaling Instruction-Finetuned Language Models,中信建投 对齐调优对齐调优方面,方面,根据根据A Survey of Large Language Models,RLHF 等技术主要是帮助实现对齐调优等技术主要是帮助实现对齐调优(Alignment Tuning),目前的主流目标是),目前的主流目标是 Helpful、Honest、Harmless。OpenAI 团队8提出通过递归法能够实现对长难文本的归纳总结,并指出这类方法可以进一步泛化至其他类型的任务上,实现与人类的对齐。
58、此外,论文指出RL比SL更有效地帮助模型对比。具体细节方面,John Schulman在 Reinforcement Learning from Human Feedback:Progress and Challenges9提到,SFT 与其等价的 BC 存在固有缺陷,即训练越充分越容易出现欺骗(即模型并不明确自己知识的边界),RLHF 则是让模型明确有些问题自己不知道。原理上是因为 SL 训练时只有正 7 Large Language Models are Zero-Shot Reasoners。8 在 2021 年 9 月发布Recursively Summarizing Books wi
59、th Human Feedback。9 https:/ 12 美股公司深度报告 谷歌谷歌 A 请参阅最后一页的重要声明 反馈,而且对偏离样本的惩罚较重,RL 多样性更好,因而在面对不知道的问题时,SL 训练充分的模型倾向于回答(胡编乱造),而非反馈不知道10。需要指出的是,OpenAI 提出 alignment tax,即模型牺牲部分性能实现与人的对齐。图图 20:当模型性能超当模型性能超越一般人时,越一般人时,Alignment 成为挑战成为挑战 数据来源:Measuring Progress on Scalable Oversight for Large Language Models,中
60、信建投 图图 21:RM 可能存在过拟合的情况可能存在过拟合的情况 图图 22:不同方法下模型过拟合情况不同方法下模型过拟合情况 数据来源:Scaling Laws for Reward Model Overoptimization,中信建投 数据来源:Scaling Laws for Reward Model Overoptimization,中信建投 2)另一方面,)另一方面,业界追求效率的思路,关注投入产出比业界追求效率的思路,关注投入产出比。这种思路的本质是投入资源稀缺,要在有限的资源投入下最大化产出。而研究思路背后是互联网公司 AI 实验室与业务部门的博弈。10 https:/ 13
61、 美股公司深度报告 谷歌谷歌 A 请参阅最后一页的重要声明 图图 23:业界业界 AI 研究院的组织架构调整研究院的组织架构调整 数据来源:雷峰网,中信建投 纵观国内外互联网公司的纵观国内外互联网公司的 AI 研究部门,其大致经历了职能制、矩阵制、事业部制等架构,背后反映了大研究部门,其大致经历了职能制、矩阵制、事业部制等架构,背后反映了大厂对厂对 AI 科研部门的不同期许和考核体制,这种激励体制也影响了科研部门的不同期许和考核体制,这种激励体制也影响了 AI 科研部门的中长期发展。科研部门的中长期发展。2013 年成立的FAIR 采取职能制,其定义 Facebook 的 AI 部门为 FAI
62、R+Applied Machine Learning(应用机器学习团队)+Product Groups(产品部署团队)11。但 2018 年组织架构调整后,FAIR 转向矩阵制,即 AI 实验室同时对业务部门和技术领导(一般是 CTO 体系)负责。2021 年底 FAIR 进一步调整,将旗下 AI 研究团队并入业务部门,转向事业部制。从职能制向矩阵制、事业部制,考核体制上越来越接近业务,越来越远离学术影响力/前瞻研究,这种转变大多是由于互联网公司面临营收、利润压力,业绩压力倒逼研究团队转向业务团队的“外包”,压力下部分研究人员离开业界,重回学术界,这是过去我们看到的业界 AI 研究的循环。大厂
63、在大模型领域研究大厂在大模型领域研究的落后有一定时代特征:的落后有一定时代特征:对谷歌来说是价值观变革导致凝聚力减弱,同时创新工作对谷歌来说是价值观变革导致凝聚力减弱,同时创新工作不足;对不足;对 Meta 而言是企业声誉受损导致凝聚力减弱,此外则是战略重心调整导致人员流动。而言是企业声誉受损导致凝聚力减弱,此外则是战略重心调整导致人员流动。以谷歌为例,2018-21年谷歌经历了介入军事、语音监听、伦理委员会等风波,价值观或政治正确在内外部引发的争议导致研究人员产生分歧,进而离开公司。2021 年至今一些谷歌高级研究人员离职创业、加入竞争对手等。总体上来看,谷歌研究人员的离开主要是公司规模扩张
64、带来价值观稀释,内部分歧管控失败导致的,另一方面大企业机制下对“创新”的激励趋弱,部分员工离职创业或加入中小型公司,寻求更自由、追求创新的工作。对 Meta 而言,2018 年因非法向剑桥分析泄露超 5000 万用户信息从而影响美国选举,Meta 的企业形象大幅恶化,影响了员工对于企业的信心,导致当年大批高管及核心研究人员离职12。另外,2021 年 Meta 员工的离职潮主要受战略变化及组织架构调整影响,由于公司战略转向 AR/VR,一些员工出于职业发展的考虑13加入其他公司继续本领域的研究和工作。11 https:/ 12 https:/ 13 https:/ 事业部CEOCTO体系/工程
65、事业部AI研究院事业部CEOCTO体系/工程事业部AI研究院事业部CEOCTO体系/工程事业部AI团队AI团队职能制职能制矩阵制矩阵制事业部制事业部制 14 美股公司深度报告 谷歌谷歌 A 请参阅最后一页的重要声明 图图 24:2018-21 年谷歌经历介入军事、语音监听、伦理委员会风波,年谷歌经历介入军事、语音监听、伦理委员会风波,21-23 年大量研究人员离职年大量研究人员离职 数据来源:观察者网,环球网,澎湃新闻,网易科技,新浪科技,虎嗅网,中信建投 更大的趋势在于 1)开源带来的技术扩散,)开源带来的技术扩散,头部科研院所及互联网科技公司相比中小公司/科研院所的相对优势在缩减,这主要由
66、于过去 AI 领域的创新主要来自方法论层面,而非工程层面,而方法论的创新更随机;2)对大型科技企业的监管约束趋严,对大型科技企业的监管约束趋严,大多数美国互联网科技企业都是在 1990 年后成立,并受益于 20 世纪末、21世纪初的反垄断监管,在快速发展阶段经历了经济高速增长、监管边际宽松的环境,但 2017 年以来欧盟、韩国等对谷歌、亚马逊、Meta、苹果公司、微软等加强监管,导致大型科技公司面临较高的监管压力。图图 25:2017-22 年年 NIPS 论文发布机构集中度有所下降论文发布机构集中度有所下降 图图 26:1950-2022 年美国司法部及欧盟反垄断诉讼案件数量年美国司法部及欧
67、盟反垄断诉讼案件数量(件)(件)数据来源:NIPS,Github,Vinai,中信建投 数据来源:DOJ,EU,中信建投 注:DOJ案件不含刑事诉讼,EU案件仅包含Antitrust/Cartels。此外,舆论环境对中小型创业公司容忍度更高也是影响大公司创新成本的要素。此外,舆论环境对中小型创业公司容忍度更高也是影响大公司创新成本的要素。包括 Meta、Google、微软在内的科技公司此前推出类似产品时都出现过由于语言模型生成内容存在虚假、政治不正确的情况,并引发舆AI部门Ethical AI团队Timnit GebruJeff DeanMargaret MitchellSamy Bengio
68、负责人联席主管联席主管负责人2020年12月3日被辞退原因为论文发表未经内部流程审批2021年2月20日被辞退被指控将文档转移出公司2021年4月7日离职与下属离职有关2021年2月20日 对处理问题的方式表示歉意2018年I/O大会谷歌推出AI服务机器人Duplex,旨在帮助替用户拨打语音电话进行预约服务。Duplex可以模仿人类的语气,发音也与真人十分接近。但遭到舆论批评。2018年4月谷歌与五角大楼签署协议,计划为利用人工智能提高无人机打击准确性的项目Maven提供技术支持,这一举动招致了谷歌员工和舆论界的广泛批评。2018年6月谷歌发布了人工智能十一条准则,包括谷歌进行AI研发的七个目
69、标和谷歌AI绝不会进入的四种应用场景。2019年3月谷歌宣布成立“先进技术外部咨询委员会”,希望通过哲学家、工程师和政策专家组成的团队帮助解决人工智能带来的道德风险。2019年7月谷歌陷语音监听风波2021年10月谷歌大型语言模型 LaMDA研究人员Noam Shazeer离职2022年1月DeepMind联合创始人Mustafa Suleyman退出谷歌2022年4月谷歌大模型研究人员David Luan、Ashish Vaswani、Niki Parmar离职2022年5月谷歌AI研究员Satrajit Chatterjee质疑Jeff Dean领衔的Nature论文被解雇2023年2月传
70、OpenAI秘密雇佣多位前谷歌AI研究人员,帮助改进ChatGPT40%45%50%55%00Top 10机构论文被接收数量(份)总论文被接收数量(份)CR 10-10 20 30 40 5080246201020142018Antitrust cases filed by DOJ-Civil MA(5)Antitrust cases filed by EU MA(5)Antitrust cases filed by EU+DOJ MA(5)15 美股公司深度报告
71、 谷歌谷歌 A 请参阅最后一页的重要声明 论热议,从而迫使产品下线。例如 2015 年 Google 将黑人女性的图片识别为 Gorilla(大猩猩)14;2016 年微软聊天机器人因种族歧视言论迅速被下线15;2021 年 Facebook(Meta)将黑人男性标注为 Primate(灵长类动物)16。对于大型科技公司的舆论和监管压力天然高于创业公司17,这也导致其面临较高的合规成本,丧失部分灵活性。总结来看,BERT 模型由于存在双向路径,实现相似效果需要的参数量更大,对计算资源的要求更高,在千亿规模下表现相对弱于 GPT,且下游任务统一化利于 GPT 模型。而据 OpenAI,其认为 G
72、PT 模型规模已经接近极限,往后的效果提升需要指数级参数/数据规模提升,边际效果提升较小,ROI 较低。在类似 Transformer的新架构出现前,GPT 较 BERT 是更好的技术路径,不同 GPT 模型的差异主要取决于预训练等环节的差异。2.1.3 预训练:差异来自数据集、知识图谱、参数规模、训练策略 预训练环节的主要差异来自 1)语料,包括语料规模、语料配比;2)知识图谱的引入;3)训练策略的优化;4)参数规模。1)语料)语料 ERNIE 团队在 ERNIE 1.0 时注意到引入不同种类的语料能够提升模型预测的准确率。OpenAI 团队在 GPT-3论文中也引入大规模且多种类的训练数据
73、。总体而言,语料多样性越充分,高质量语料占比越高,对模型的预测准确度有帮助,但学界在这方面的定量研究仍较为稀缺,语料对于模型预测准确率的量化影响尚不明确。表表 2:训练语料引入多轮对话后模型预测准确率提升训练语料引入多轮对话后模型预测准确率提升 Corpus proportion(10%of all training data)Dev Accuracy Test accuracy Baike(100%)76.50%75.90%Baike(84%)/news(16%)77.00%75.80%Baike(71.2%)/news(13%)/forum Dialogue(15.7%)77.70%76.
74、80%资料来源:ERNIE:Enhanced Representation through Knowledge Integration,中信建投 注:ERNIE模型的训练数据集主要是百度生态内数据,例如百度百科、百度新闻、百度贴吧。图图 27:OpenAI GPT-3 模型的训练语料集模型的训练语料集 数据来源:Language Models are Few-Shot Learners,中信建投 14 https:/ 15 https:/ 16 https:/ 17 https:/ Meta 没有推出类似 ChatGPT 的系统时,LeCun 回答说,因为谷歌和 Meta 都会因为推出编造东西
75、的系统遭受巨大损失。”16 美股公司深度报告 谷歌谷歌 A 请参阅最后一页的重要声明 2)知识图谱的引入 ERNIE 1.0 模型相比 BERT 最大的变化就是引入知识图谱,从而提升预测准确度。具体来讲,2019 年 4 月ERNIE 团队提出基于 BERT 的改进掩码策略,1)在单词级别随机生成掩码并引导模型预测(BERT 框架,basic-level masking),2)词组级别(phrase-level masking)、实体级别(entity-level masking)随机生成掩码并引导模型预测。通过引导模型预测词组、实体,模型训练隐性地18引入知识图谱概念。例如:哈利波特是 J.
76、K.罗琳写的小说。单独预测哈MASK波特或者 J.K.MASK琳情况下,模型无法学到哈利波特和 J.K.罗琳的关系。如果把哈利波特直接 MASK 掉的话,那模型可以根据作者,就预测到小说这个实体,实现知识的学习。图图 28:ERNIE、BERT 掩码策略差异掩码策略差异 数据来源:ERNIE:Enhanced Representation through Knowledge Integration,中信建投 表表 3:不同掩码策略及数据集规模下的模型预测准确率不同掩码策略及数据集规模下的模型预测准确率 Pre-training dataset size Mask strategy Dev ac
77、curacy Test accuracy 10%of all word-level(chinese character)77.70%76.80%10%of all word-level&phrase-level 78.30%77.30%10%of all word-level&phrase-leve&entity-level 78.70%77.60%All word-level&phrase-level&entity-level 79.90%78.40%资料来源:ERNIE:Enhanced Representation through Knowledge Integration,中信建投 与
78、 GPT 相比,ERNIE 引入知识图谱在可信度方面有一定提升,但相应地训练成本有所提升。GPT 模型在内容生产的真实性方面存在较大提升空间,大规模使用下容易频繁出现“一本正经地胡说八道”。3)训练策略的优化 18 ERNIE:Enhanced Language Representation with Informative Entities 通过显性引入 embedding 知识图谱,提升模型学习能力。17 美股公司深度报告 谷歌谷歌 A 请参阅最后一页的重要声明 ERNIE 2.0 引入持续学习框架,解决知识遗忘及训练效率的问题。ERNIE 1.0 相比基础版 BERT,改变了掩码策略(引
79、入知识图谱)和数据结构(加入多轮对话语料),提升了模型预测准确率。此后学界讨论通过多任务学习提升模型的预测准确率,例如微软研究团队在Multi-Task Deep Neural Networks for Natural Language Understanding中论证了通过在预训练模型中加入有监督的下游任务,能够优化模型在 NLU(自然语言理解)方面的效果。因此,后续的一个思路就是通过堆叠训练任务提示模型预测准确率,但相应存在一个问题,即模型出现学习新知识后容易遗忘旧知识,ERNIE 2.0 主要的变化就是针对这一问题提出持续学习框架,实现知识库扩充,优化模型效果。常规的模型训练即序列训练模
80、式,即后一个模型训练是建立在前一个模型训练结束后,从模型参数的角度,后一个模型训练初始参数为前一个模型,但训练结束后参数有所调整,且由于训练是基于后一个任务,其对此前任务的预测准确率可能低于此前的训练结果。学界此前的解决思路是将多个任务同时训练,确保模型对不同时序加入的任务等权学习,但每新增一个任务,模型都需要重新训练此前所有的任务,这对应较高的训练成本。ERNIE 2.0 提出序列多任务学习(Sequential Multi-task Learning)模式,通过给每个任务分配 N 个训练迭代,自动将每个任务的 N 个迭代分配到不同训练阶段,兼顾学习效果和效率,较 BERT 框架继续优化。图
81、图 29:ERNIE 团队提出序列多任务学习模式团队提出序列多任务学习模式 数据来源:ERNIE 2.0:A Continual Pre-Training Framework for Language Understanding,中信建投 OpenAI 在训练策略方面并未披露细节,但结果上看在训练策略方面并未披露细节,但结果上看 OpenAI 训练效果好于训练效果好于 Meta。GPT-4、InstructGPT 论文中其透露微软为 GPT 专门构建了计算集群和训练环境,确保训练的稳定性。GPT-4 的训练环境经过多次迭代后表现非常稳定。而根据 Susan Zhang 教授19,Meta 在
82、OPT-175B 模型的训练中出现了 50 多次的断点(需要回到 Checkpoint 重启训练),下图中不同颜色代表着模型连续训练的时间。19 https:/cs.stanford.edu/events/mlsys-seminar-susan-zhang 18 美股公司深度报告 谷歌谷歌 A 请参阅最后一页的重要声明 图图 30:OPT-175B 训练断点情况训练断点情况 数据来源:Stanford,中信建投 GPT-4 能够基于“小模型”训练预测大模型的损失函数,从而降低训练负载,同时并发训练多个模型,提升训练效率。目前没有在其他竞对中看到类似的效果。图图 31:GPT-4 模型的训练是基
83、于小规模模型训练预测大模型的损失函数进行的模型的训练是基于小规模模型训练预测大模型的损失函数进行的 数据来源:GPT-4 Technical Report,中信建投 2.1.4 下游调试、部署、推断:RHLF 仍处于技术发展的早期,潜在优化空间大 GPT 系列模型的拐点在 InstructGPT,其引入了 RHLF,对应 SFT、RM、PPO 三阶段,最终效果是 PPO 模型预测准确度好于 SFT-175 模型。而 Anthropic 团队研究Training a Helpful and Harmless Assistant with Reinforcement Learning from H
84、uman Feedback指出,InstructGPT 基于较小的 RM 训练反馈并非最优的,大规模的 RM 模型对模型性能的提升可能更好。19 美股公司深度报告 谷歌谷歌 A 请参阅最后一页的重要声明 图图 32:InstructGPT 论文中提到的下游调试过程论文中提到的下游调试过程 数据来源:Training language models to follow instructions with human feedback,中信建投 图图 33:InstructGPT 经过调试后表现显著优于经过调试后表现显著优于 SFT-175B 模型模型 数据来源:Training language
85、 models to follow instructions with human feedback,中信建投 图图 34:大规模大规模 PM 对不同参数规模模型的效果提升是显著的对不同参数规模模型的效果提升是显著的 图图 35:小规模小规模 PM 对模型的性能提升可能不显著对模型的性能提升可能不显著 数据来源:Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback,中信建投 数据来源:Training a Helpful and Harmless Assistant w
86、ith Reinforcement Learning from Human Feedback,中信建投 20 美股公司深度报告 谷歌谷歌 A 请参阅最后一页的重要声明 注:PM即Preference Model,与Reward Model等价。Anthropic 团队上述研究的副产物即在 RLHF 中模型性能提升与 RM 的关系,进而在后续研究中可以通过这一关系估算给定性能提升目标需要多大规模的 RM,并且不同参数规模的模型性能提升曲线基本上平行的,也就是基于 RLHF 不同规模的模型的性能极限可能不同,并且性能提升的斜率可能是近似相同的。部署和推断在 OpenAI 论文中大多数被忽略了,仅提
87、到微软在这方面的支持。ERNIE 在论文中提到在线蒸馏框架,实现算力节约。图图 36:百度百度 ERNIE 团队提出团队提出在线蒸馏框架在线蒸馏框架 数据来源:ERNIE 3.0 TITAN:EXPLORING LARGER-SCALE KNOWLEDGE ENHANCED PRE-TRAINING FOR LANGUAGE UNDERSTANDING AND GENERATION,中信建投 总结来看,OpenAI 在 GPT-4 训练结束后花费 6 个月左右时间进行调试和其他调整,其主要精力大体上是放在调试上,而部署、推断等更多依赖微软和其他合作方的支持。微软/英伟达在合作声明中提到,双方基
88、于数万块 A100、H100 GPU 芯片,NVIDIA Quantum-2 400Gb/s InfiniBand 架构,以及 NVIDIA 企业级配套软件等构建了基于公有云的 AI 超级计算机。此外,基于 ONNX runtime 的推理框架,模型的在线推理速度能够进一步优化。2.1.5 量化效果:基于公开测试集进行量化评估 学界/业界对 LLM 的评估主要是基于公开测试集的评分,例如 GPT-4 的评分情况如下,GPT-4 在绝大多数语言评测中都大幅超越了此前的 LLM SOTA(最高分),在视觉评测中部分超越此前的 SOTA,但整体表现并不如 GPT-4 的一骑绝尘。主要难点可能在于视觉
89、信息、文本信息的联合训练、理解。21 美股公司深度报告 谷歌谷歌 A 请参阅最后一页的重要声明 图图 37:GPT-4 模型在多数下游语言任务中达到模型在多数下游语言任务中达到 SOTA 图图 38:GPT-4 模型在视频下游任务方面领先幅度不如语言领域模型在视频下游任务方面领先幅度不如语言领域 数据来源:GPT-4 Technical Report,中信建投 数据来源:GPT-4 Blog,中信建投 2.2 谷歌的竞争分析谷歌的竞争分析:全栈技术积累深厚,总体处于第一梯队:全栈技术积累深厚,总体处于第一梯队 2.2.1 预训练环节:谷歌在训练基础设施/训练策略方面布局领先 谷歌在训练集方面不
90、具备明显优势。谷歌在训练集方面不具备明显优势。在训练数据集方面,现有的大模型主要采用书籍、文章、网页等文本数据,这些数据能够帮助大模型积累语法、文本知识、文本理解、上下文连贯逻辑等能力,而在前文“综述”部分我们提到代码对语言模型的逻辑推理能力具备帮助,因此训练数据集的多样性较为重要,确保大模型积累多样化的能力以便后续激活,这里的问题主要是,例如逻辑推理的培养需要一定比例的高质量代码数据,1)如何定义高质量的数据,怎么对原始数据进行清理、去重20、标注等?2)多大比例的数据能够积累能力?就我们的知识范围,目前学术界/业界尚未有较为公开且权威的研究能够回答上述问题,但总体而言,数据质量上论文/书籍
91、/百科代码/文章对话网页。从这一角度看,Google 在数据源方面不存在明显的优势。图图 39:不同大语言模型的预训练数据集结构(不同大语言模型的预训练数据集结构(%)数据来源:OpenAI,Google,Meta,中信建投 20 2022 年 5 月,Anthropic 团队在Scaling Laws and Interpretability of Learning from Repeated Data指出重复数据对 LLM 的损失产生较大影响。0%10%20%30%40%50%60%70%80%90%100%GPT-3LLaMaPaLMLaMDA社交媒体对话经过滤的网页书籍Github百科
92、新闻资讯 22 美股公司深度报告 谷歌谷歌 A 请参阅最后一页的重要声明 谷歌在谷歌在AI架构、芯片方面处于行业领先地位。架构、芯片方面处于行业领先地位。Google在 Pathways:Asynchronous Distributed Dataflow for ML提出了 Pahtways 作为新一代 AI 架构,其特点是多任务,多通道,稀疏激活。在 PaLM:Scaling Language Modeling with Pathways 中,Google 提到 Pathway 下 MFU(Model Flops Utilization)达到 46.2%,高于 GPT-2/3 在 A100/
93、V100集群上的利用率 35.7%/21.3%,但低于 GPT-3 基于英伟达 Megatron-A100 集群实现的利用率 52%。TPU 方面,TPU 在 MLPerf 部分场景的性能测试中表现优于 A100,其中 TPU v4 在 4096 块芯片,应用 BERT 场景下性能是A100 的 1.15 倍左右;ResNet 场景下 TPU v4 则是 A100 性能的 1.67 倍。图图 40:Google在分布式集群计算资源利用率方面处于相对领在分布式集群计算资源利用率方面处于相对领先地位先地位 图图 41:TPUv4 在多个下游场景中表现优于在多个下游场景中表现优于 A100 数据来源
94、:Nvidia,Efficient Large-Scale Language Model Training on GPU Clusters Using Megatron-LM,PaLM:Scaling Language Modeling with Pathways,中信建投 数据来源:TPU v4:An Optically Reconfigurable Supercomputer for Machine Learning with Hardware Support for Embeddings,中信建投 图图 42:TPU v4 在在 BERT 上上表现优于表现优于 A100 图图 43:TP
95、U v4 在在 ResNet 上表现优于上表现优于 A100 数据来源:TPU v4:An Optically Reconfigurable Supercomputer for Machine Learning with Hardware Support for Embeddings,中信建投 数据来源:TPU v4:An Optically Reconfigurable Supercomputer for Machine Learning with Hardware Support for Embeddings,中信建投 46.2%35.7%21.3%52.0%0%10%20%30%40%5
96、0%60%PaLM(Pathways-TPUv4)GPT-2(A100)GPT-3(V100)GPT-3(Megatron-A100)23 美股公司深度报告 谷歌谷歌 A 请参阅最后一页的重要声明 图图 44:目前学界目前学界/业界提升模型计算效率的策略分类业界提升模型计算效率的策略分类 数据来源:A Survey on Efficient Training of Transformers,中信建投 大模型的训练稳定性是过去研究涉及较少的。大模型的训练稳定性是过去研究涉及较少的。由于小模型训练时长较短,涉及的软硬件协同面较窄,扩展至大模型下集群出现异常或错误的概率大幅提升,相应带来模型训练的不
97、稳定性(Training instability),以及资源的额外耗费(一般需要回到 checkpoint 重新训练)。在训练策略上,Google 团队在 PaLM 论文中提到模型训练过程中多次出现损失函数的突变(we observed spikes in the loss roughly 20 times during training21),而 Susan Zhang 在 Stanford 分享 OPT 模型训练过程中展示了模型训练中也出现了多次波动。图图 45:OPT-175B survived 143K steps 数据来源:Stanford,中信建投 谷歌在模型训练方面具有较好积累。
98、谷歌在模型训练方面具有较好积累。Diederik P.Kingma 和 Jimmy Lei Ba 2014 年发表Adam:A method for stochastic optimization,Adam 是一种可以替代传统随机梯度下降过程的一阶优化算法,它能基于训练数据迭代地更新神经网络权重。Diederik P.Kingma 于 2015 年与其他合伙人共同创立 OpenAI,并于 2018 年加入 Google Brain。而 Google 团队于 2023 年 2 月提出了 Lion 优化器22,此前流行的 AdamW 等自适应优化器需要同时保存一阶和二阶矩相比,Lion 只需要动量
99、,这意味着内存占用降低,且在训练大型模型和大 Batch size 时效果显著。21 PaLM:Scaling Language Modeling with Pathways。22 Symbolic Discovery of Optimization Algorithms。24 美股公司深度报告 谷歌谷歌 A 请参阅最后一页的重要声明 图图 46:Fine-tuning performance of the T5 Base,Large,and 11B on the GLUE dev set 数据来源:Symbolic Discovery of Optimization Algorithms,中
100、信建投 此外,Google 研究团队在 2021 年Sharpness-aware minimization for efficiently improving generalization提出 Sharpness-aware minimization(SAM)方法,除了提升模型的泛化表现,SAM 可以提高模型对标签噪声的稳健性(robustness)。后续 NUS23和字节跳动24的研究团队进一步优化了 SAM 方法。图图 47:SAM 提升了模型对标签噪声的稳健性,并优化了模型训练效率提升了模型对标签噪声的稳健性,并优化了模型训练效率 数据来源:Sharpness-aware minimi
101、zation for efficiently improving generalization,中信建投 模型初始化策略方面,MIT 和 Google252019 年提出 Fixup 策略,避免梯度爆炸或消失,并可以应用于超过1 万层的神经网络。后续 UCSD26和 Google27进一步在此基础上提出 Rezero 和 SkipInit,具体到每一层执行操作,实现进一步优化。2.2.2 模型调试:谷歌在 Fine-tuning,Prompt engineering 方面领先,在 Alignment Tuning 等领域与 OpenAI 存在差距 Google 团队在模型调试和团队在模型调试和
102、 Prompt engineering 方面积累领先行业。方面积累领先行业。在前文综述部分,我们提到谷歌团队开创了 CoT 研究,其论文 Chain-of-Thought Prompting Elicits Reasoning in Large Language Models 引入 CoT Prompt,并通过对比实验探测出模型能力涌现的界限大约是 62B 和 175B。Google 团队在 2022 年 12 月比较了不同参数规模下直接 prompt 以及 CoT 下的表现,得出以下结论:对于所有小于 62B 的模型,直接用提示词都好于思维链。结合 GPT-3 模型规模,至少需要大于 175
103、B,思维链的效果才能大于 Fine-tuned 小模型的效果。东京大学和Google 团队Large Language Models are Zero-Shot Reasoners更进一步提出 Zero-Shot Prompting,即加入“Lets 23 Efficient sharpness-aware minimization for improved training of neural networks。24 Sharpness-aware training for free。25 Fixup initialization:Residual learning without norm
104、alization。26 ReZero is All You Need:Fast Convergence at Large Depth。27 Batch Normalization Biases Residual Blocks Towards the Identity Function in Deep Networks。25 美股公司深度报告 谷歌谷歌 A 请参阅最后一页的重要声明 think step by step”可以显著的提升模型性能。对齐调优方面,对齐调优方面,OpenAI 及及 Anthropic 相对领先相对领先。OpenAI 团队28提出通过递归法能够实现对长难文本的归纳总结,
105、并指出这类方法可以进一步泛化至其他类型的任务上,实现与人类的对齐。此外,论文指出 RL 比 SL更有效地帮助模型对比。具体细节方面,John Schulman 在 Reinforcement Learning from Human Feedback:Progress and Challenges29提到,SFT 与其等价的 BC 存在固有缺陷,即训练越充分越容易出现欺骗(即模型并不明确自己知识的边界),RLHF 则是让模型明确有些问题自己不知道。原理上是因为 SL 训练时只有正反馈,而且对偏离样本的惩罚较重,RL 多样性更好,因而在面对不知道的问题时,SL 训练充分的模型倾向于回答(胡编乱造)
106、,而非反馈不知道30。需要指出的是,OpenAI 提出 alignment tax,即模型牺牲部分性能实现与人的对齐。图图 48:当模型性能超越一般人时,当模型性能超越一般人时,Alignment 成为挑战成为挑战 数据来源:Measuring Progress on Scalable Oversight for Large Language Models,中信建投 总结来看,谷歌在大模型领域的布局是全方位的,涵盖上游芯片、分布式计算集群、深度学习框架,以及模型训练、调试优化策略,并且在多数环节保持领先地位,OpenAI 的成功则是建立在与微软、英伟达等公司相互合作的基础上,并且是 OpenA
107、I 与微软是通过股权投资绑定利益关系,这意味着其他竞争者模仿的难度较大,而就互联网平台而言,Google 在 AI 领域的积累深厚,整体并不落后于 OpenAI 的情况。28 在 2021 年 9 月发布Recursively Summarizing Books with Human Feedback。29 https:/ 30 https:/ 26 美股公司深度报告 谷歌谷歌 A 请参阅最后一页的重要声明 估值估值 估值上,我们认为谷歌业务处于相对成熟阶段,因此适合 PE 估值。远期 PE 对应持有一年的名义回报率,以 22.5%的美国经济潜在增长率为基础,考虑额外的 10 年期国债利率,我
108、们预计 34%的实际回报率水平处于合理区间。结合相对估值方面,根据彭博,截止 2023/5/3,谷歌 P/E 为 17.13,较可比公司折价 31.94%,且低于过去 5 年公司的平均估值水平 26.04%。因而,我们按照 22xPE 估计,对应 17776 亿美元市值,每股 140 美元的估值。表表 4:可比公司估值表可比公司估值表 名称名称 代码代码 P/E Prem(%)Hist Avg(%)Diff(%)#SD 亚马逊 AMZN US 35.2551 63.6629 108.4988-44.8359-1.3368 微软 MSFT US 28.3532 23.6961 3.3279 20
109、.3681 1.963 Alphabet GOOGL US 17.1287-31.9387-26.0405-5.8982-1.285 腾讯控股 700 HK 18.9717-23.4947-8.5574-14.9373-1.1512 苹果 AAPL US 26.4075 13.2844-18.7046 31.989 1.5914 Meta META US 16.8453-33.2153-35.4241 2.2089 0.2497 可比公司估值(不含可比公司估值(不含 Alphabet)25.1666 资料来源:彭博,中信建投 投资评价和建议投资评价和建议 受益于经济的健康发展以及公司在广告产品
110、结构上的调整,谷歌广告收入在 23-25 年有望维持高单位数增长。谷歌云作为全球 Top3 的云厂商,依靠在 AI 以及 SaaS 领域的深厚布局,大语言模型对社会降本增效的作用已经初步显现,未来进一步泛化普及的概率较高,这将推动云计算基础设施和大模型产品的需求增长,2023-25年有望继续维持 20%以上的收入增长,而 GooglePlay、YouTube 订阅、硬件等亦将持续受益在线化,成本费用的持续优化将支撑利润率的回升。基于上述分析,我们预计公司 2023-25 年整体收入分别为 2989/3319/3663 亿美元,经调整净利润分别为 808/945/1091 亿美元。尽管面临短期加
111、息周期的波动和行业竞争的变化,我们持续看好公司中长期的成长性与投资价值,首次覆盖并给予“买入”评级。表表 5:谷歌分项收入预测(单位:百万美元,谷歌分项收入预测(单位:百万美元,%)2018 2019 2020 2021 2022 2023E 2024E 2025E 营业收入 136,819 161,857 182,527 257,637 282,836 298,974 331,917 366,276 yoy%23.4%18.3%12.8%41.2%9.8%5.7%11.0%10.4%广告收入 130,524 151,825 168,635 237,529 253,528 265,009 29
112、0,506 318,985 yoy%18.1%16.3%11.1%40.9%6.7%4.5%9.6%9.8%谷歌云收入 5,838 8,918 13,059 19,206 26,280 32,622 40,408 48,903 yoy%43.9%52.8%46.4%47.1%36.8%24.1%23.9%21.0%其他收入 595 659 657 753 1,068 1,020 1,108 1,241 yoy%24.7%10.8%-0.3%14.6%41.8%-4.5%8.7%11.9%资料来源:公司公告,中信建投 27 美股公司深度报告 谷歌谷歌 A 请参阅最后一页的重要声明 风险分析风险分
113、析 业务发展不及预期:业务发展不及预期:云计算等业务竞争格局仍处于较快变化阶段,我们对谷歌的估值和投资判断很大程度上是基于主观预期,而市场竞争加剧可能影响微软相关业务的表现,使预期与实际业绩产生偏差。行业增长不及预期:行业增长不及预期:疫情下居家办公等需求脉冲式增长,这使得重新开放后高基数、需求透支下业绩可能增速将有所放缓。监管监管不确定性:不确定性:云计算等业务涉及多个国家和地区,同时满足不同国家的监管要求及潜在的变化会对业务产生一定不确定性的影响。表表 6:谷歌广告收入结构变化对谷歌广告收入结构变化对 EPS 的敏感型分析的敏感型分析 谷歌广告收入/EPS-20%-10%0%10%20%-
114、20%-17.8%-9.1%-0.4%8.3%17.0%-10%-17.6%-8.9%-0.2%8.5%17.2%0%-17.4%-8.7%0.0%8.7%17.4%10%-17.2%-8.5%0.2%8.9%17.6%20%-17.0%-8.3%0.4%9.1%17.8%资料来源:公司公告,彭博,中信建投 28 美股公司深度报告 谷歌谷歌 A 请参阅最后一页的重要声明 报表预测报表预测 资产负债表(百万元)资产负债表(百万元)利润表(百万元)利润表(百万元)会计年度会计年度 2021A 2022A 2023E 2024E 2025E 会计年度会计年度 2021A 2022A 2023E 20
115、24E 2025E 流动资产流动资产 188,143.0 164,795.0 372,397.0 589,303.5 815,632.5 营业收入营业收入 257,637.0 282,836.0 298,974.0 331,916.7 366,275.7现金 139,649.0 113,762.0 315,189.2 525,792.2 745,546.8 营业成本 110,939.0 126,203.0 128,683.8 142,862.9 157,651.7应收票据及应收账款合 39,304.00 40,258.00 46,275.91 51,374.84 56,693.01 其他营业费
116、用 0.00 0.00 0.00 0.00 0.00 其他应收款 0.00 0.00 0.00 0.00 0.00 销售和管理费用 36,422.00 42,291.00 43,477.90 48,268.54 53,265.15 预付账款 0.00 0.00 0.00 0.00 0.00 研发费用 31,562.00 39,500.00 39,945.77 44,347.22 48,937.90 存货 1,170.00 2,670.00 1,728.42 1,918.87 2,117.50 财务费用-1,153.00-1,817.00-37.67-758.72-1,511.85 其他流动资产
117、 8,020.00 8,105.00 9,203.45 10,217.54 11,275.22 其他经营损益 0.00 0.00 0.00 0.00 0.00 非流动资产非流动资产 171,125.0 200,469.0 182,470.3 164,471.6 146,473.0 投资收益 0.00 0.00 0.00 0.00 0.00 长期投资 29,549.00 30,492.00 30,492.00 30,492.00 30,492.00 公允价值变动收益 0.00 0.00 0.00 0.00 0.00 固定资产 97,599.00 112,668.0 95,016.68 77,36
118、5.36 59,714.04 营业利润营业利润 79,867.00 76,659.00 86,904.19 97,196.68 107,932.7无形资产 1,417.00 2,084.00 1,736.67 1,389.33 1,042.00 其他非经营损益 10,867.00-5,331.00 3,554.67 3,554.67 3,554.67 其他非流动资产 42,560.00 55,225.00 55,225.00 55,225.00 55,225.00 利润总额利润总额 90,734.00 71,328.00 90,458.86 100,751.3 111,487.4资产总计资产总
119、计 359,268.0 365,264.0 554,867.4 753,775.2 962,105.6 所得税 14,701.00 11,356.00 14,148.15 15,757.94 17,437.11 流动负债流动负债 64,254.00 69,300.00 77,182.69 85,687.11 94,557.17 净利润净利润 76,033.00 59,972.00 76,310.71 84,993.41 94,050.33 短期借款 0.00 0.00 0.00 0.00 0.00 少数股东损益 0.00 0.00 0.00 0.00 0.00 应付票据及应付账款合6,037.
120、00 5,128.00 6,906.51 7,667.51 8,461.23 归属于母公司净利润归属于母公司净利润 76,033.00 59,972.00 76,310.71 84,993.41 94,050.33 其他流动负债 58,217.00 64,172.00 70,276.18 78,019.60 86,095.95 EBITDA 102,022.0 83,208.00 108,419.8 117,991.2 127,974.2非流动负债非流动负债 43,379.00 39,820.00 39,820.00 39,820.00 39,820.00 EPS(元)5.99 4.72 6.
121、01 6.69 7.41 长期借款 14,817.00 14,701.00 14,701.00 14,701.00 14,701.00 经调整净利润经调整净利润 90,734.00 71,328.00 80,764.68 94,503.18 109,149.2其他非流动负债 28,562.00 25,119.00 25,119.00 25,119.00 25,119.00 负债合计负债合计 107,633.0 109,120.0 117,002.6 125,507.1 134,377.1 主要财务比率主要财务比率 少数股东权益 0.00 0.00 0.00 0.00 0.00 会计年度会计年度
122、 2021A 2022A 2023E 2024E 2025E 股本 0.00 0.00 1,000.00 2,000.00 3,000.00 成长能力成长能力 资本公积 61,774.00 68,184.00 172,594.0 277,004.0 381,414.0 营业收入(%)41.15 9.78 5.71 11.02 10.35 留存收益 189,861.0 187,960.0 264,270.7 349,264.1 443,314.4 归属于母公司净利润93.26-22.40 30.08 10.59 9.98 归属母公司股东权益 251,635.0 256,144.0 437,864
123、.7 628,268.1 827,728.4 获利能力获利能力 负债和股东权益负债和股东权益 359,268.0 365,264.0 554,867.4 753,775.2 962,105.6 毛利率(%)56.94 55.38 56.96 56.96 56.96 净利率(%)29.51 21.20 25.52 25.61 25.68 ROE(%)30.22 23.41 17.43 13.53 11.36 ROIC(%)55.88 41.80 39.53 48.64 59.70 偿债能力偿债能力 现金流量表(百万元)现金流量表(百万元)资产负债率(%)29.96 29.87 21.09 16.
124、65 13.97 会计年度会计年度 2021A 2022A 2023E 2024E 2025E 净负债比率(%)-49.61-38.67-68.63-81.35-88.30 经营活动现金流经营活动现金流 91652 91495 92980.911101435.5 109834.01 流动比率 2.93 2.38 4.82 6.88 8.63 净利润 76,033.00 59,972.00 76,310.71 84,993.41 94,050.33 速动比率 2.79 2.22 4.68 6.74 8.48 折旧摊销 12,441.00 13,697.00 17,998.65 17,998.65
125、 17,998.65 营运能力营运能力 财务费用-1,153.00-1,817.00-37.67-758.72-1,511.85 总资产周转率 0.72 0.77 0.54 0.44 0.38 其他经营现金流 4,331.00 19,643.00-1,290.78-797.75-703.12 应收账款周转率 6.55 7.03 6.46 6.46 6.46 投资活动现金流投资活动现金流-35,523.0-20,298.02,998.70 2,998.70 2,998.70 每股指标(元)每股指标(元)资本支出-26,896.0-28,042.00.00 0.00 0.00 每股收益(最新摊薄)
126、5.99 4.72 6.01 6.69 7.41 其他投资现金流-8,627.00 7,744.00 2,998.70 2,998.70 2,998.70 每股经营现金流(最新7.22 7.21 7.32 7.99 8.65 筹资活动现金流筹资活动现金流-61,362.0-69,757.0 105,447.6 106,168.7 106,921.8 每股净资产(最新摊薄)19.82 20.17 34.49 49.48 65.19 短期借款 0.00 0.00 0.00 0.00 0.00 估值比率估值比率 长期借款 885.00-116.00 0.00 0.00 0.00 P/E 17.60
127、22.32 17.54 15.75 14.23 其他筹资现金流-62,247.0-69,641.0 105,447.6 106,168.7 106,921.8 P/B 5.32 5.23 3.06 2.13 1.62 现金净增加额现金净增加额-5,233.00 1,440.00 201,427.2 210,603.0 219,754.5 EV/EBITDA-0.97-0.85-1.52-2.26-2.95 资料来源:公司公告,iFinD,中信建投 29 美股公司深度报告 谷歌谷歌 A 请参阅最后一页的重要声明 分析师介绍分析师介绍 孙晓磊孙晓磊 海外研究首席分析师,北京航空航天大学硕士,游戏产
128、业和金融业 7 年复合从业经历,专注于互联网研究,对腾讯、网易、阿里、美团、阅文等互联网巨头有较为深入的理解。2019 年新财富港股及海外最佳研究团队入围,2020 年、2021 年新财富港股及海外最佳研究团队第五名。崔世峰崔世峰 海外研究联席首席分析师,南京大学硕士,6 年买方及卖方复合从业经历,专注于互联网龙头公司研究,所在卖方团队获得 2019-2020 年新财富传媒最佳研究团队第二名。2022 年新财富海外研究最佳研究团队入围。许悦许悦 海外研究员,南洋理工大学硕士,专注于互联网研究,2022 年加入中信建投海外前瞻组。30 美股公司深度报告 谷歌谷歌 A 请参阅最后一页的重要声明 评
129、级说明评级说明 投资评级标准 评级 说明 报告中投资建议涉及的评级标准为报告发布日后 6个月内的相对市场表现,也即报告发布日后的 6 个月内公司股价(或行业指数)相对同期相关证券市场代表性指数的涨跌幅作为基准。A 股市场以沪深300 指数作为基准;新三板市场以三板成指为基准;香港市场以恒生指数作为基准;美国市场以标普 500 指数为基准。股票评级 买入 相对涨幅 15以上 增持 相对涨幅 5%15 中性 相对涨幅-5%5之间 减持 相对跌幅 5%15 卖出 相对跌幅 15以上 行业评级 强于大市 相对涨幅 10%以上 中性 相对涨幅-10-10%之间 弱于大市 相对跌幅 10%以上 分析师声明
130、分析师声明 本报告署名分析师在此声明:(i)以勤勉的职业态度、专业审慎的研究方法,使用合法合规的信息,独立、客观地出具本报告,结论不受任何第三方的授意或影响。(ii)本人不曾因,不因,也将不会因本报告中的具体推荐意见或观点而直接或间接收到任何形式的补偿。法律主体说明法律主体说明 本报告由中信建投证券股份有限公司及/或其附属机构(以下合称“中信建投”)制作,由中信建投证券股份有限公司在中华人民共和国(仅为本报告目的,不包括香港、澳门、台湾)提供。中信建投证券股份有限公司具有中国证监会许可的投资咨询业务资格,本报告署名分析师所持中国证券业协会授予的证券投资咨询执业资格证书编号已披露在报告上海品茶。在遵
131、守适用的法律法规情况下,本报告亦可能由中信建投(国际)证券有限公司在香港提供。本报告作者所持香港证监会牌照的中央编号已披露在报告上海品茶。一般性声明一般性声明 本报告由中信建投制作。发送本报告不构成任何合同或承诺的基础,不因接收者收到本报告而视其为中信建投客户。本报告的信息均来源于中信建投认为可靠的公开资料,但中信建投对这些信息的准确性及完整性不作任何保证。本报告所载观点、评估和预测仅反映本报告出具日该分析师的判断,该等观点、评估和预测可能在不发出通知的情况下有所变更,亦有可能因使用不同假设和标准或者采用不同分析方法而与中信建投其他部门、人员口头或书面表达的意见不同或相反。本报告所引证券或其他金融
132、工具的过往业绩不代表其未来表现。报告中所含任何具有预测性质的内容皆基于相应的假设条件,而任何假设条件都可能随时发生变化并影响实际投资收益。中信建投不承诺、不保证本报告所含具有预测性质的内容必然得以实现。本报告内容的全部或部分均不构成投资建议。本报告所包含的观点、建议并未考虑报告接收人在财务状况、投资目的、风险偏好等方面的具体情况,报告接收者应当独立评估本报告所含信息,基于自身投资目标、需求、市场机会、风险及其他因素自主做出决策并自行承担投资风险。中信建投建议所有投资者应就任何潜在投资向其税务、会计或法律顾问咨询。不论报告接收者是否根据本报告做出投资决策,中信建投都不对该等投资决策提供任何形式的
133、担保,亦不以任何形式分享投资收益或者分担投资损失。中信建投不对使用本报告所产生的任何直接或间接损失承担责任。在法律法规及监管规定允许的范围内,中信建投可能持有并交易本报告中所提公司的股份或其他财产权益,也可能在过去 12 个月、目前或者将来为本报告中所提公司提供或者争取为其提供投资银行、做市交易、财务顾问或其他金融服务。本报告内容真实、准确、完整地反映了署名分析师的观点,分析师的薪酬无论过去、现在或未来都不会直接或间接与其所撰写报告中的具体观点相联系,分析师亦不会因撰写本报告而获取不当利益。本报告为中信建投所有。未经中信建投事先书面许可,任何机构和/或个人不得以任何形式转发、翻版、复制、发布或
134、引用本报告全部或部分内容,亦不得从未经中信建投书面授权的任何机构、个人或其运营的媒体平台接收、翻版、复制或引用本报告全部或部分内容。版权所有,违者必究。中信建投证券研究发展部中信建投证券研究发展部 中信建投(国际)中信建投(国际)北京 上海 深圳 香港 东城区朝内大街2 号凯恒中心B座 12 层 上海浦东新区浦东南路528号南塔 2103 室 福田区福中三路与鹏程一路交汇处广电金融中心 35 楼 中环交易广场 2 期 18 楼 电话:(8610)8513-0588 电话:(8621)6882-1600 电话:(86755)8252-1369 电话:(852)3465-5600 联系人:李祉瑶 联系人:翁起帆 联系人:曹莹 联系人:刘泓麟 邮箱: 邮箱: 邮箱: 邮箱:charleneliucsci.hk