上海品茶

您的当前位置:上海品茶 > 报告分类 > PDF报告下载

电子行业:AI大模型企业是如何炼成的-230528(54页).pdf

编号:127067  PDF  DOCX  54页 5.29MB 下载积分:VIP专享
下载报告请您先登录!

电子行业:AI大模型企业是如何炼成的-230528(54页).pdf

1、 免责声明和披露以及分析师声明是报告的一部分,请务必一起阅读。1 证券研究报告 电子电子 AI 大模型企业是如何炼成的大模型企业是如何炼成的 华泰研究华泰研究 电子电子 增持增持 (维持维持)研究员 黄乐平,黄乐平,PhD SAC No.S0570521050001 SFC No.AUZ066 +(852)3658 6000 联系人 权鹤阳权鹤阳 SAC No.S0570122070045 +(86)21 2897 2228 联系人 陈钰陈钰 SAC No.S0570121120092 +(86)21 2897 2228 华泰证券华泰证券 2023 年中期投资峰会年中期投资峰会 行业行业走势图

2、走势图 资料来源:Wind,华泰研究 2023 年 5 月 28 日中国内地 专题研究专题研究 如何形成“数据如何形成“数据-模型模型-应用”的飞轮是应用”的飞轮是 AI 大模型企业成功关键大模型企业成功关键 我们认为:我们认为:AI 大模型是一个资本密集,人才密集和数据密集的产业,如何大模型是一个资本密集,人才密集和数据密集的产业,如何形成形成“数据数据-模型模型-应用应用”的飞轮,是大模型企业成功的关键。的飞轮,是大模型企业成功的关键。通过深度复盘海外基础大模型企业,梳理各公司的资源禀赋和路径选择,我们看到:1)微软&OpenAI 对颠覆式创新的持续投入是当前领先的深层原因;2)谷歌有深厚

3、的人才和技术积累,但管理架构上未形成合力;3)英伟达通过 CUDA 框架,形成了其它芯片公司难以逾越的护城河;4)Meta 等正通过模型开源进行反击。当前,国内百度、阿里、商汤、华为等积极加入,行业呈现“百模大战”的竞争格局,是否能形成飞轮是最后胜出的关键。微软微软&OpenAI:技术水平、产品化落地最为前沿的领军者:技术水平、产品化落地最为前沿的领军者 OpenAI 与微软是目前 AI 大模型技术水平、产品化落地最为前沿的领军者。复盘 OpenAI 发展历程,我们认为以下特质和战略选择至关重要:1)高人才密度,内部坚定信仰 AGI;2)把握正确的技术路线不动摇,Transformer架构诞生

4、后快速选择,并坚定其中的解码器路线;3)与微软合作,解决算力不足问题;4)推动产品落地,形成模型调用、数据反馈和模型迭代的正反馈循环。目前,微软已经将 OpenAI 的大模型能力整合至其办公软件、搜索、操作系统、云服务等各 ToB、ToC 产品或服务中。谷歌:技术储备丰厚谷歌:技术储备丰厚&AI 可落地业务生态广阔,目前产品化生态化加速追赶可落地业务生态广阔,目前产品化生态化加速追赶 谷歌 AI 技术和人才储备丰厚,但产品化一度落后于 OpenAI:算法上,于2017 年推出当前最主要的 LLM 基础架构Transformer,并推出 BERT、PaLM-E 等具有里程碑意义的大模型;算力上自

5、研 TPU 芯片;TensorFlow框架亦由谷歌推出。谷歌拥有包括搜索引擎、地图、邮箱、办公套件等在内的丰富产品生态,AI 大模型落地空间广阔。23 年以来,谷歌加速追赶微软及 OpenAI:1)合并谷歌大脑、DeepMind 两大 AI 团队,以汇聚资源;2)加速大模型产品化落地。I/O 大会上发布 PaLM-2,并已应用在超过 25 种功能和产品中,强化聊天机器人 Bard 与谷歌以及外部其他应用的协同能力。Meta:模型开:模型开源的防御性策略,以应对对手的强势闭源模型源的防御性策略,以应对对手的强势闭源模型 Meta 对 AI 业界最大的贡献之一是于 2017 年推出的开源深度学习框

6、架PyTorch,其凭借灵活性、易用性和高性能成为深度学习领域最受欢迎的框架之一。进入 AI 大模型时代,Meta 在产品化方面动作较慢,但采用模型开源策略,作为应对竞争对手强势闭源模型的防御性策略。Meta 在 2023 年接连开源大语言模型 LLaMa,CV 大模型 SAM、Dinov2、语音大模型 MMS以及多模态大模型 ImageBind 等,促进了开源社区的繁荣。其中,基于LLaMa 已经微调衍生出多个开源模型,并在性能上接近谷歌、OpenAI 的专有模型,成为中小企业、中小开发者的性价比之选。英伟达:英伟达:AI 芯片领路者,芯片领路者,AI 云服务和模型代工厂新商业模式值得关注云

7、服务和模型代工厂新商业模式值得关注 英伟达是全球最大的 GPU 供应商,持续以 CUDA 为核心构建护城河,结合CPU+GPU+DPU 三大硬件,形成统一的生态闭环。公司能够不断加强领先优势的关键因素在于:1)敏锐捕捉终端需求变化。10-15 年将重心向高端游戏显卡过渡;18 年后向数据中心、自动驾驶发展;2)灵魂人物黄仁勋带领决策,引领行业变革;3)收购完善业务版图。商业模式上,公司深度绑定台积电走 OEM 模式,并于近期推出 AI Foundations,定位为“超算云服务+模型代工厂”,其从硬件向算力云服务、MaaS 的商业模式转型值得关注。风险提示:AI 及技术落地不及预期;本研报中涉

8、及到未上市公司或未覆盖个 股内容,均系对其客观公开信息的整理,并不代表本研究团队对该公司、该 股票的推荐或覆盖。(14)(5)51524May-22Sep-22Jan-23May-23(%)电子沪深300 免责声明和披露以及分析师声明是报告的一部分,请务必一起阅读。2 电子电子 正文目录正文目录 海外大模型:科技巨头自主研发,积极联盟海外大模型:科技巨头自主研发,积极联盟 AI 初创公司初创公司.4 如何形成“数据-模型-应用”的飞轮是 AI 大模型企业成功关键.4 微软&OpenAI 领先,谷歌追赶,Meta 防御性开源,英伟达转型算力云服务.4 科技巨头正通过其云计算部门,积极寻求与 AI

9、 初创公司的合作.5 OpenAI:全球领先的 AI 初创企业.6 发展历程:从非营利开端到向营利性全面转型.6 团队:年轻、背景豪华且高度聚焦技术.7 算力:强大的算力支撑 GPT 释放大模型潜能.9 模型:坚持 GPT 技术路径,持续探索生成式 AI 潜力.9 应用:以产品为导向形成数据飞轮,逐步构建生态圈.10 谷歌:LLM 领域的奠基者.12 发展历程:从 AI 技术研发的领军者到产业化进程的推动者.12 团队:Google DeepMind 汇集谷歌 AI 领域人才.12 算力:TPU 系列芯片和新一代超级计算机支撑 AI 大模型训练和创新.13 框架:领先的自研深度学习平台 Ten

10、sorFlow.14 模型:各技术路线的模型储备丰富,多模态大模型实现人机交互领域突破.14 应用:积极布局生成式 AI 应用以迎接挑战.15 英伟达:AI 时代的芯片领路者.17 发展历程:英伟达的二十年辉煌史.17 团队:灵魂人物引导产业变革,数次收购完善业务版图.20 商业模式:深度绑定台积电走 OEM 模式,轻装上阵重视研发投入.21 硬件迭代:训练/推理芯片性能参数持续领先对手.21 软件:CUDA 构建完整生态,CUDA-X AI 结构拉开巨大差距.22 Meta:AI 和元宇宙双轮并驱.23 发展历程:全球最大社交媒体巨头拥抱元宇宙和 AIGC.23 团队:AI 人才汇聚,旨在创

11、建 AIGC 顶级产品团队.23 算力:拥有全球最快 AI 超级计算机 AI RSC,推出自研 AI 芯片 MTIA.24 框架:PyTorch深度学习领域最受欢迎的框架之一.25 模型:布局生成式 AI,开源语言、视觉等大模型.26 AWS:全球卓越的云服务平台发力 AIGC 市场.29 发展历程:全球领先的云服务平台强势入局 AIGC.29 算力:提供最具成本效益的生成式 Al 云基础设施.30 框架:一站式机器学习平台 Amazon SageMaker 助力 AIGC.31 模型:推出 Titan 大模型及中立托管平台 Bedrock.32 产品:免费向个人开放 AI 编程助手 Amaz

12、on CodeWisperer.32 Anthropic:OpenAI 前核心成员创建的人工智能安全与研究公司.32 Anthropic 前期以科研为重心,研究 AI 模型的安全问题.33 加快商业化脚步,推出 ChatGPT 的有力对手 Claude.33 免责声明和披露以及分析师声明是报告的一部分,请务必一起阅读。3 电子电子 Anthropic 加速融资以支撑 AI 模型训练和部署.34 国内国内大模型:互联网巨头和已有充分积累的初创公司大模型:互联网巨头和已有充分积累的初创公司.35 百度:昆仑芯+飞桨平台+文心大模型,构建广泛应用端生态.35 团队:百度 CTO 王海峰领衔,技术大牛

13、带队.35 算力:两代自研通用 AI 芯片“昆仑”支持大模型落地.35 框架:产业级深度学习平台“飞桨”为大模型构建提供有力支撑.36 文心大模型:“基础+任务+行业”大模型三层体系全面满足产业应用需求.36 应用:大模型生态逐步构建,推动 AI 落地产业.37 阿里巴巴:通义大模型构建大一统模型,所有产品将接入通义千问.37 阿里达摩院:孕育阿里巴巴人工智能的技术沃土.37 算力:自研芯片含光 800 和倚天 710 提供高性价比算力支持.38 框架:统一易用的分布式深度学习训练框架 EPL 支撑“大一统”模型构建.38 通义大模型:基于 AI 统一底座的层次化体系.39 应用:赋能产品应用

14、增效,推出模型即服务共享平台.40 腾讯:算力集群+混元大模型,赋能自身业务生态降本增效.41 团队:混元助手项目组由大牛带队,3 位 PM 顶梁,聚集跨事业群精英.41 算力:自研三款芯片和搭建算力集群以满足 AI 大模型训练需求.41 混元大模型:依托低成本算力和自研底座构建,模型可直接落地应用.42 应用:赋能自身业务生态降本增效,广告类应用效果出众.42 华为:昇腾芯片+MindSpore+盘古大模型,B 端应用场景落地可期.43 领导者:华为云 AI 首席科学家田奇.43 算力:以自研 AI 芯片昇腾作为根基,打造 AI 产业平台.43 框架:深度学习框架 MindSpore 和一站

15、式 AI 开发平台 ModelArts 提升模型开发效率.43 盘古大模型:赋能千行百业的三阶段体系.44 应用:行业大模型逐步落地,B 端场景应用可期.45 商汤:SenseCore 大装置+日日新大模型.47 算力:基于 AI 大装置 SenseCore,以 AI 模型赋能四大业务.47 日日新大模型:构建面向 AGI 的核心能力,驱动垂直行业降本增效.48 应用:MaaS 模式可能成为重要新趋势.48 智谱 AI:依托清华大学技术成果,打造高性能千亿级普惠大模型.48 团队:核心成员与清华大学联系紧密.48 模型:智谱 AI 致力于打造高性能千亿级普惠大模型.49 风险提示.51 免责声

16、明和披露以及分析师声明是报告的一部分,请务必一起阅读。4 电子电子 海外大模型:科技巨头自主研发,积极联盟海外大模型:科技巨头自主研发,积极联盟 AI 初创公司初创公司 如何形成“数据如何形成“数据-模型模型-应用”的飞轮是应用”的飞轮是 AI 大模型企业成功关键大模型企业成功关键 我们认为我们认为 AI 大模型是一个资本密集,人才密集和数据密集的产业,如何形成“数据大模型是一个资本密集,人才密集和数据密集的产业,如何形成“数据-模型模型-应用应用”的飞轮,是大模型企业成功的关键。的飞轮,是大模型企业成功的关键。我们看到海外企业中,微软&OpenAI、谷歌已经逐步形成 AI 大模型的飞轮。当前

17、,国内百度、阿里、商汤、华为等积极加入,行业呈现“百模大战”的竞争格局,是否能形成飞轮是最后胜出的关键。图表图表1:形成“数据形成“数据-模型模型-应用”的飞轮,是大模型企业成功的关键应用”的飞轮,是大模型企业成功的关键 资料来源:华泰研究 微软微软&OpenAI 领先,谷歌追赶,领先,谷歌追赶,Meta 防御性开源,英伟达转型算力云服务防御性开源,英伟达转型算力云服务 我们通过对海外基础大模型训练企业进行了深度复盘。微软和 OpenAI 是目前大模型技术水平、产品化落地最为前沿的领军者,其对颠覆式创新的持续投入是当前领先的深层原因。谷歌技术储备丰厚,自有业务生态广阔并且是 AI 落地的潜在场

18、景,但管理上未形成合力,目前正在产品化、生态化加速追赶。英伟达是 AI 芯片领军者,CUDA 框架构筑了其它芯片公司难以逾越的护城河,目前正在从硬件向算力云服务、MaaS 的商业模式转型。Meta 在产品化上进展缓慢,选择模型开源的防御性策略,以应对 OpenAI、谷歌等竞争对手的强势闭源模型。AWS 作为领先的云服务厂商,超算技术布局领先,但是在 AI 大模型竞争上的应对稍显迟缓。应用应用AI大模型大模型飞轮飞轮模型模型+场景场景+GPU+用户用户 免责声明和披露以及分析师声明是报告的一部分,请务必一起阅读。5 电子电子 图表图表2:海外科技巨头海外科技巨头 AI 布局布局 资料来源:公司官

19、网,华泰研究 科技巨头正通过其云计算部门,积极寻求与科技巨头正通过其云计算部门,积极寻求与 AI 初创公司的合作初创公司的合作 Al 行业进入大模型主导的时代,大模型的训练和推理对大量、可靠的计算资源和存储空间行业进入大模型主导的时代,大模型的训练和推理对大量、可靠的计算资源和存储空间提出要求。提出要求。拥有云计算资源的科技巨头和研发大模型的 AI 初创公司积极寻求共赢合作,这种合作模式类似云服务市场的代理人模式。一方面,科技巨头通常以投资或收购的方式,选择一个或多个 AI 初创公司作为合作伙伴,将大模型能力整合到自身产品中,以抢占布局大模型主导的 AI 市场;同时,通过云计算平台提供大模型能

20、力(MaaS),在云计算竞争中保持市场份额甚至突围。另一方面,作为交换,AI 初创公司将获得来自科技巨头的资金、强大云计算资源和基础设施的支持来加快大模型训练;同时也将更多的客户和 AI 应用场景,不仅能获取海量反馈数据来优化模型,也便于让 AI 技术商业化以带来盈利。因此,这种合作模式或许将导致 AI 市场结构与云服务市场类似的高度集中的结构。图表图表3:科技巨头正通过其云计算部门,积极寻求与科技巨头正通过其云计算部门,积极寻求与 AI 初创公司的合作初创公司的合作 资料来源:State of AI Report 2022,华泰研究 应应用用层层模模型型层层框框架架层层芯芯片片层层微软微软&

21、OpenAIGoogleNVIDIAMetaAWSGPT3/3.5/4的的APIPaLM的的APINLP模型模型GPT1/2/3多模态模型多模态模型GPT4NLP模型模型PaLM/PaLM2等等多模态模型多模态模型PaLM-ENLP模型模型LLaMACV模型模型SAM/DINOv2NLP模型模型TitanTensorFlowPyTorchTPUCPUGPUDPUMTIAInferentiaTrainiumNLP模型模型NemoCV模型模型Picasso生物学模型生物学模型BioNemo蛋白质蛋白质模型模型ProtTransAthena多模态模型多模态模型ImageBindCUDA 免责声明和披

22、露以及分析师声明是报告的一部分,请务必一起阅读。6 电子电子 微软为 OpenAI 打造超级算力集群,并获得其技术的独家授权。据微软 2020 年披露,微软与 OpenAI 达成独家合作伙伴关系,并为 OpenAI 专属打造拥有超过 28.5 万张 CPU、1 万张 GPU、网络连接能力为 400Gb/s 的 AI 超级计算机,用以支持 OpenAI 的大模型训练。微软则将旗下多种产品与 OpenAI 技术集成,例如搭载 GPT-4 的新版 Bing 搜索引擎和Microsoft 365 Copilot。微软还推出了 Azure OpenAI 服务,使得企业客户可以在云平台上直接调用 Open

23、AI 模型,通过云平台实现了大模型资源的按需分放。谷歌联手 Anthropic,期望在生成式 AI 掀起的浪潮中巩固自身地位。2023 年 2 月,谷歌向AI 初创公司 Anthropic 投资了近 4 亿美元,持有后者约 10%股份。双方签订了一份大型云合同,谷歌云将为 Anthropic 提供大规模 TPU 和 GPU 加速支持,且将在谷歌云上部署其类ChtaGPT 的聊天机器人产品 Claude。亚马逊云科技(AWS)推出“中立”的托管平台 Amazon Bedrock,让企业级客户能快速、安全和高性价比地调用多种大模型构建自己的程序。区别于谷歌和微软已发布面向大众的产品,AWS 瞄准的

24、是企业客户,并且期望作为一个“中立”的生成式 AI 大模型托管平台,不依赖于任何一家 AI 初创公司。借助 Bedrock,企业级客户能通过 API 调用来自不同提供商的 AI 模型,例如 AI21 Labs 的 Jurassic-2、Anthropic 的 Claude、Stability AI 的 Stable Diffusion 以及 AWS 自研模型 Titan。此外,任何客户数据都不会被用于训练底层模型。OpenAI:全球领先的:全球领先的 AI 初创企业初创企业 发展历程:从非营利开端到向营利性全面转型发展历程:从非营利开端到向营利性全面转型 OpenAI 是美国一家人工智能(Ar

25、tificial Intelligence,AI)研究实验室,由非营利组织 OpenAI和其营利组织子公司 OpenAI LP 所组成,公司致力于构建安全的通用人工智能(Artificial General Intelligence,AGI)以造福人类。非营利开端:硅谷大牛云集,创建非营利组织以促进非营利开端:硅谷大牛云集,创建非营利组织以促进 AI 发展。发展。非盈利性的 AI 项目 OpenAI于 2015 年宣布正式启动,由许多硅谷大牛共同创建,例如硅谷创业孵化器 Y Combinator CEO的Sam Altman、Google Brain的Ilya Sutskever、时任互联网支

26、付处理平台Stripe CTO的 Greg Brockman 以及特斯拉的 CEO Elon Musk 等,许多创始人都曾是被誉为“深度学习教父”Geoffrey Hinton 教授的学生。公司把生成式预训练模型(Generative Pre-trained Transformer,GPT)确定为主要研究方向,先后推出并开源预训练 NLP 模型 GPT-1,以及采用迁移学习技术、能实现多个 NLP 任务的 GPT-2。向营利性转型:与微软深度绑定,推出掀起生成式向营利性转型:与微软深度绑定,推出掀起生成式 AI 浪潮的浪潮的 ChatGPT。2018 年,由于Elon Musk 担任 CEO

27、的 Tesla 等公司也在开发 AI 技术,为避免潜在的利益冲突,Elon Musk辞去 OpenAI 董事会席位。为支撑大模型训练的高算力和资金需求,同年,有限营利公司OpenAI LP 成立。2019 年,OpenAI LP 接受微软 10 亿美元投资,与其达成独家合作伙伴关系。在强大算力和充足资金的助力下,OpenAI 沿着 GPT 路线持续发力,2020 年推出拥有小样本泛化能力的 GPT-3,2022 年推出加入指示学习(Instruction Learning)和人工反馈的强化学习(Reinforcement Learning from Human Feedback,RLHF)的

28、InstructGPT,并于 2022 年发布产品化的 ChatGPT,掀起了一股席卷全球的生成式 AI 浪潮。全面转型:加快商业化步伐,构建生态圈。全面转型:加快商业化步伐,构建生态圈。2023 年 1 月,微软宣布与 OpenAI 长期合作伙伴关系进入第三阶段,将继续向 OpenAI 投资数十亿美元,并加速产品与技术的整合。2023年 3 月,OpenAI 发布工程化的多模态 GPT-4,并与各个领域的软件开展合作;同月,OpenAI发布 ChatGPT Plugins(ChatGPT 插件集),将 GPT 大模型能力与面向用户的第三方应用程序互联,应用空间想象力广阔。免责声明和披露以及分

29、析师声明是报告的一部分,请务必一起阅读。7 电子电子 图表图表4:OpenAI 的发展历程的发展历程 资料来源:腾讯科技公众号,OpenAI 官网,华泰研究 团队:年轻、背景豪华且高度聚焦技术团队:年轻、背景豪华且高度聚焦技术 OpenAI 有着一支高人才密度、高效率的“特种兵”创始人团队。有着一支高人才密度、高效率的“特种兵”创始人团队。首席执行官兼联合创始人Sam Altman,曾任硅谷创业孵化器 Y Combinator 的 CEO,于 2015年带领创建了OpenAI,致力于构建安全且人类级别 AI,是一位有着卓越的商业头脑和战略思维的领导者。总裁兼联合创始人 Greg Brockma

30、n,曾任互联网支付处理平台 Stripe 的 CTO,在 OpenAI 曾用九个月时间从“零”学起成为一名 1 顶 10 的 AI 工程师,是技术产品化的第一推手。首席科学家兼联合创始人 Ilya Sutskever,曾就职于 Google Brain,参与了深度学习框架TensorFlow、生成式对抗网络(GAN)和序列到序列(Seq2Seq)模型的研究,在 OpenAI领导了 GPT-1/2/3、DALLE 以及 ChatGPT 等模型的研发。微软的 AI 研究实验室(Microsoft Research AI)是推进 AI 研究的主力团队。实验室于 2017年成立,隶属于微软研究院,凝聚

31、了来自感知、学习、推理和自然语言处理等多个 AI 研究子领域的顶尖科学家,旨在将不同学科结合起来以推进 AGI 技术研发。图表图表5:OpenAI 和微软的核心成员或和微软的核心成员或 AI 团队介绍团队介绍 资料来源:MicroSoft Research 官网,华泰研究 GPT-1开启预训练时代实现高效语言理解的训练2018年GPT-2多任务迁移高学习效益2019年DALL-E开启多模态2020年GPT-3泛化能力few shot2020年6月Codex/Github Copilot代码生成GPT-3.5指令调试更高效率2022年ChatGPT全面对齐RLFH2022年11月GPT-4工程化

32、多模态2023年3月ChatGPT Plugin进一步生态化2023年3月亲友轮1亿美元融资2016年OpenAI 成立2015年12月亲友轮1亿美元融资2017年LinkedIn联合创始人Reid Hoffman天使轮1亿美元融资2018年4月投资方包括私募股权基金和家族资金种子轮与Mcrosoft建立战略合作伙伴关系2019年Mcrosoft投资10亿研发合作项目建立OpenAI新结构,准备引入大量资本种子轮1.75亿美元融资2020年7月LinkedIn联合创始人Reid Hoffman、Founders Fund、Khosla Ventures种子轮延伸30亿美元融资2021年Mirc

33、osoft领投,黑石、丰田、Silver Lake跟投2023年1月微软投资数十亿美元,估值290亿,内部决定公司全面转型2023年3月微软新一代核心产品发布2023年2月New Bing发布至今非营利开端向营利性转型全面转型A轮1.75亿美元融资估值达200亿美元2021年红杉、老虎环球、A16Z 以及 BedRock据财富杂志报道,OpenAI在2022年的收入近3000万美元据OpenAI预测,2023年收入将达2亿美元,2024年将达到10亿美元微软AI研发团队OpenAI核心成员OpenAI微软首席执行官(CEO)&联合创始人Sam Altman总裁(President)&联合创始人

34、Greg Brockman首席科学家(CSO)&联合创始人Ilya Sutskever首席技术官(CTO)Mira Murati首席运营官(COO)Brad Lightcap人工智能实验室微软研究院 免责声明和披露以及分析师声明是报告的一部分,请务必一起阅读。8 电子电子 图表图表6:OpenAI 核心人物背景的详细介绍核心人物背景的详细介绍 资料来源:MBA 智库,学术头条,华尔街见闻,华泰研究 ChatGPT 团队由一群年轻、背景豪华、经验丰富且高度聚焦技术研发的人员组成。团队由一群年轻、背景豪华、经验丰富且高度聚焦技术研发的人员组成。AMiner与智谱研究发布的报告显示,团队规模虽不足百

35、人(共 87 人),但有着以下显著特征:1)平均年龄 32 岁,“90 后”是主力军;2)学术能力和业界经验均突出,其中有 10 人来自谷歌;3)技术人员近九成,高度聚焦技术研发;4)LLM 领域的经验丰富,1/4 团队成员曾参与 Codex 项目。图表图表7:平均年龄平均年龄 32 岁,“岁,“90 后”是主力军后”是主力军 图表图表8:学术能力和业界经验均突出,其中有学术能力和业界经验均突出,其中有 10 人来自谷歌人来自谷歌 资料来源:AMiner 与智谱研究ChatGPT 团队背景研究报告(2023),华泰研究 资料来源:AMiner 与智谱研究ChatGPT 团队背景研究报告(202

36、3),华泰研究 核心人物职位时间履历OpenAISam AltmanGreg BrockmanIlya SutskeverMira MuratiBrad Lightcap首席执行官;联合创始人2019.03总裁;联合创始人2022.05/2019.03首席科学家;联合创始人2019.03首席技术官2022.05首席运营官2022.05曾就读于斯坦福大学,中途辍学创业;2014.02任硅谷创业孵化器Y Combinator的首席执行官(CEO);2015年非营利组织OpenAl联合创始人之一;2019.03辞去Y Combinator的CEO职位,任营利组织OpenAl LP的首席执行官(CEO

37、)曾就读于哈佛和MIT,中途辍学创业;2013年加入互联网支付处理平台Stripe任首席技术官(CTO);2015年成为非营利组织OpenAl联合创始人之一;2019.03成为营利组织OpenAl LP的首席技术官(CTO);2022.05转任OpenAl LP的总裁(President)毕业于多伦多大学,获得计算机博士学位;2013年加入Google Brain;2015年成为非营利组织OpenAl联合创始人之一;2019.03成为营利组织OpenAl LP的首席科学官(CSO)毕业于达特茅斯商学院;先后就职于特斯拉、Leap Motion等;2018.06加入营利组织OpenAl LP;2

38、022.05升任首席技术官(CTO)毕业于杜克大学;先后就职于摩根大通、DropBox、Y Combinator等;2018.08加入OpenAl LP担任首席财务官(CFO);2022.05升任OpenAl LP的首席运营官(COO)人数(人)年龄段(岁)52030405060信息缺失60及以上505940493039202920以下 免责声明和披露以及分析师声明是报告的一部分,请务必一起阅读。9 电子电子 图表图表9:技术人员近九成,高度聚焦技术研发技术人员近九成,高度聚焦技术研发 图表图表10:项目经验丰富,项目经验丰富,1/4 团队成员曾参与团队成员曾参与 Cod

39、ex 项目项目 资料来源:AMiner 与智谱研究ChatGPT 团队背景研究报告(2023),华泰研究 资料来源:AMiner 与智谱研究ChatGPT 团队背景研究报告(2023),华泰研究 算力:强大的算力支撑算力:强大的算力支撑 GPT 释放大模型潜能释放大模型潜能 大模型的训练和推理对算力消耗提出高要求,大模型的训练和推理对算力消耗提出高要求,AI 超级算力集群有力推动超级算力集群有力推动 GPT 系列发展。系列发展。2020 年,微软为 OpenAI 专属打造拥有超过 28.5 万张 CPU、1 万张 GPU 的 AI 超级计算机,通过 Azure 云平台给予其算力支持,并保证该部

40、分算力不会被 Azure 其他服务占用,为 OpenAI 的大模型训练配置强大且灵活的计算资源和基础设施。此外,芯片龙头企业NVIDIA也与OpenAI保持紧密合作,供应最先进的GPU以支持GPT系列模型的加速计算,例如 2021 年 OpenAI 将 NVIDIA 全球首款 DGX AI 超级计算机用以训练 GPT-3.5。微软正在自研微软正在自研 AI芯片,首要目标便是为芯片,首要目标便是为 OpenAI提供算力。提供算力。2023年 4月,据The Information报道,微软正在秘密研发自己的 AI 芯片,代号雅典娜(Athena)。雅典娜芯片由台积电代工,采用 5nm 先进制程,

41、首个目标便是为 OpenAI 提供算力引擎,以替代昂贵的英伟达A100/H100,节省成本。微软从 2019 年就开始研发这款芯片,目前已在测试阶段。模型:坚持模型:坚持 GPT 技术路径,持续探索生成式技术路径,持续探索生成式 AI 潜力潜力 OpenAI 从 18 年起一直沿着 GPT 路线持续发力,通过 GPT1/2/3/3.5/4 等模型不断地进行技术探索。在模型架构上,在模型架构上,GPT 是侧重生成的单向模型。是侧重生成的单向模型。模型的基础架构是 Transformer 的解码器,解码器的第一个自注意力层加入了掩蔽机制,使得句子的未来信息被隐藏,由于只能通过学习当前和历史的文本信

42、息,来对下一个字进行预测,因此属于单向的生成式模型。生成式模型相比理解式模型通常具有更高的灵活性和更强的泛化能力,在应用时更具通用性。研发人员;77;88%未知;6;7%产品人员;4;5%300622990510152025RLHFGPT1GPT2GPT3codexlnstructGPTwebGPTChatGPT团队参与人数(人)ChatGPT先前七大技术项目 免责声明和披露以及分析师声明是报告的一部分,请务必一起阅读。10 电子电子 图表图表11:GPT 以以 Transformer 解码器为基础架构解码器为基础架构 资料来源:Attention Is All You Need(Vaswan

43、i et al.,2017),华泰研究 不断扩大数据量不断扩大数据量和参数量进一步提升模型和参数量进一步提升模型的表现的表现。GPT 系列模型结构秉承了不断堆叠Transformer 的思想,通过不断提升训练语料的规模、网络的参数数量来完成 GPT 系列的迭代更新。图表图表12:GPT 系列的迭代更新系列的迭代更新 资料来源:斯坦福 Ecosystem Graphs,陈巍谈芯公众号,华泰研究 InstructGPT 极大地提升了极大地提升了通用通用 AI 系统与人类意图的对齐系统与人类意图的对齐能力。能力。InstructGPT 基于 GPT-3的架构,引入了指示学习(Instruction

44、Learning)来使得 AI 系统更遵循人类指令,减少产生有害或错误内容的可能性;同时,引入人类反馈的强化学习(Reinforcement Learning with Human Feedback,RLHF)训练机制,通过强化学习范式让生成式 AI 产出的内容更符合人类意图。多模态能力和预测扩展工具让多模态能力和预测扩展工具让 GPT-4 与万物互联。与万物互联。2023 年 3 月,OpenAI 发布 GPT-4,模型支持文本和图像输入的多模态能力,应用空间想象力巨大,有望重塑从浏览器到文档智能等的软件交互。同时,OpenAI 推出具备预测扩展性的深度学习堆栈,用极小算力成本就能可靠预测

45、GPT-4 在下游垂直领域应用的性能,让小成本广泛试用成为可能。在选择合适的大模型后,模型微调让通用基础模型在细分领域的表现进一步提升。应用:以产品为导向形成数据飞轮,逐步构建生态圈应用:以产品为导向形成数据飞轮,逐步构建生态圈 推动技术商业化,形成模型调用、用户数据反馈和模型迭代的正反馈推动技术商业化,形成模型调用、用户数据反馈和模型迭代的正反馈循环。循环。OpenAI 始终以产品为导向,积极推出产品以迅速获取用户,从而得到用户反馈数据来训练出更好的模型。2020 年,OpenAI 在发布 GPT-3 后快速开放商用 API 服务,让下游客户通过 API 调用模型能力。在 ChatGPT 的

46、训练过程中,则融入用户数据反馈:1)采用 GPT-3 API 获取的真实用户请求微调基础模型;2)引入 RLHF 训练机制,采用人工标注的数据,通过人类的反馈解码器Transformer层数训练语料量参数量模型性能GPT-1125GB1.17GPT-24840GB15GPT-3961350GB1750层亿生成的文本存在不流畅和不合理层亿可以生成更长、更自然、更连贯的文本;具备对未知词的生成能力层亿可以在没有接受任何指导的情况下完成一些任务;支持多语种生成和对话生成等其他任务 免责声明和披露以及分析师声明是报告的一部分,请务必一起阅读。11 电子电子 进行强化学习,针对性地进行模型优化。这使得C

47、hatGPT在多个自然语言任务如文书写作、代码生成与修改、多轮对话等中展现出远超 GPT-3 的优秀能力,并让有害和不真实输出有效减少。图表图表13:商用商用 API 服务示例服务示例 资料来源:OpenAI 官网,华泰研究 技术与产品的整合进一步推动数据飞轮的运转。技术与产品的整合进一步推动数据飞轮的运转。当前,微软将把 OpenAI 的技术与旗下各应用生态的产品整合,涵盖企业级云计算、办公、底层代码生成和娱乐交互等各个应用层面。图表图表14:微软产品与微软产品与 OpenAI 模型的整合模型的整合 资料来源:微软科技公众号,大数据应用公众号,机器之心公众号,华泰研究 GPT-4 开始构建生

48、态圈,与各个领域的软件开展合作。Be My Eyes 是一款帮助全世界的盲人以及低视力人群的产品,通过 GPT-4 的视觉输入功能,Be My Eyes 能够大幅度提高Virtual Volunteer 对图片的理解程度。语言学习软件 Duolingo 推出 GPT-4 驱动的 Duolingo Max,能够辅助用户解释答案对错,以及陪同用户进行角色扮演式地练习。随着 AI 工具在C 端渗透率逐步提升,各行业生态中的数据反馈越来越丰富和庞大,进一步推动数据飞轮的快速运转。图表图表15:GPT-4 与与 Be My Eyes 合作合作 图表图表16:GPT-4 与与 Duolingo 合作合作

49、资料来源:OpenAI 官网,华泰研究 资料来源:OpenAI 官网,华泰研究 23年1月,推出Azure OpenAI服务,帮助云计算平台的客户/开发人员自主开发AI应用更好地服务企业级云计算客户23年3月推出集成ChatGPT技术的OfficeCopilot23年2月,推出由ChatGPT支持的新版Bing和Edge浏览器23年2月28日,宣布将ChatGPT版Bing集成到Windows任务栏中将GitHub社区作为AI生成代码的训练集OpenAI技术落地到游戏的生产、分发与用户体验提升个人生产效率智能化生成底层代码升级娱乐交互体验ToBToC 免责声明和披露以及分析师声明是报告的一部分

50、,请务必一起阅读。12 电子电子 谷歌:谷歌:LLM 领域的奠基者领域的奠基者 发展历程:从发展历程:从 AI 技术研发的领军者到产业化进程的推动者技术研发的领军者到产业化进程的推动者 谷歌联手谷歌联手 AI 初创企业初创企业 DeepMind,率先展开,率先展开 AI 领域的技术布局。领域的技术布局。2014 年,谷歌收购 AI初创公司 DeepMind。DeepMind 持续探索模拟、生物科研、游戏操作、对话聊天等领域的高性能算法,代表产品包括打败世界围棋冠军的 AIphaGo、精准预测蛋白质结构的AIphaFold、战胜电竞职业玩家的 AIphaStar、智能聊天机器人 Sparrow

51、等。在在 LLM 领域,谷歌是新技术研发的领军者和奠基者。领域,谷歌是新技术研发的领军者和奠基者。2015 年,谷歌开源了深度学习框架TensorFlow,其具备灵活、可扩展且易于部署等优势,成为应用最广泛的深度学习框架之一,尤其在工业应用处于领先地位。2017 年,谷歌发布 NLP 领域的里程碑Transformer,它首次引入注意力机制,使得模型能更好地处理长文本和复杂的语言结构,大幅提高 NLP任务的准确度和效率,为后来所有大语言模型奠定基础架构。2018 年,谷歌发布 3.4 亿参数的大规模预训练模型 BERT,在理解复杂的语言结构和语义中表现优秀,在多项 NLP 任务上的效果都远远超

52、过了传统的浅层架构,宣告 NLP 范式转变为大规模预训练模型的方法。谷歌加快生成式谷歌加快生成式 AI 产业布局。产业布局。OpenAI 于 2022 年底推出的 ChatGPT 掀起了席卷全球的生成式 AI 浪潮,使得 GPT 能力在各个行业和领域不断拓展,并对谷歌 AI 领先地位构成挑战。作为应对,谷歌于 2023 年 2 月宣布通过投资联手 AI 初创公司 Anthropic,将在谷歌云上部署 ChatGPT 的有力竞品 Claude,并于同月推出自研的基于 1270 亿参数大模型 LaMDA 的聊天机器人 Bard。图表图表17:谷歌谷歌 AI 领域的发展历程领域的发展历程 资料来源:

53、DeepMind 官网,Google 官网,斯坦福 Ecosystem Graphs,OpenBMB 网站,华泰研究 团队:团队:Google DeepMind 汇集谷歌汇集谷歌 AI 领域人才领域人才 经过两轮人才整合,当前谷歌主要经过两轮人才整合,当前谷歌主要 AI 研发团队合并为研发团队合并为 Google DeepMind。为 2023 年 2月,谷歌旗下专注 LLM 领域的“蓝移团队”(Blueshift Team)宣布加入 DeepMind,以共同提升 LLM 技术的能力。4 月,谷歌宣布正式将谷歌“大脑”和 DeepMind 两大团队合并,组成“Google DeepMind”部

54、门。Google DeepMind 部门首席执行官将由 DeepMind 联合创始人兼首席执行官 Demis Hassabis 担任;原谷歌大脑团队负责人 Jeff Dean 转任谷歌首席科学家,领导谷歌 AI 相关的最关键和战略性的技术项目,其中首要项目就是系列多模态AI 模型。AI 领域的世界级人才与计算能力、基础设施和资源的汇集,将显著加快谷歌在 AI方面探索的进展。至今AlphaGo以4:1击败韩国围棋冠军李世石2016年3月AlphaStar战胜多位星际争霸 II 的职业选手2019年1月AlphaFold2精准预测蛋白质结构2021年6月Sparrow700亿参数的AI聊天机器人;

55、加入RLHF和Retrival进行训练2022年9月Gopher2800亿参数,基于Decoder-only架构的LLM2021年12月BERT2018年10月3.4亿参数;宣告NLP范式转变为大规模预训练模型T52019年10月110亿参数;基于Transformer同意框架,兼容BERT和GPT的下游任务FLAN2021年9月谷歌首个基于Decoder-only架构的LLMLaMDA2022年1月1370亿参数;更安全且对话质量接近人类水平PaLM2022年4月5400亿参数;基于通用AI架构Bard2023年2月基于LaMDA进行微调的聊天机器人Transformer2017年4月首次引

56、入注意力机制;大幅提高NLP处理的准确度和效率,为LLM奠定基础架构TensorFlow2015年11月应用最广泛的开源的深度学习框架之一;在工业级领域领先AlphaZero2018年12月通用性AI程序;基于同一神经网络自主学习各种棋类游戏AIphaCode2022年3月代码生成2019年9月将DeepMind健康业务纳入Google HealthWaveNet与谷歌语音团队合作,作为Google Assistant的声音2017年8月2014年1月谷歌以4亿英镑收购DeepMind2023年4月谷歌大脑和DeepMind合并组成Google DeepMindPaLM-E2023年3月562

57、0亿参数;多模态大模型2023年2月谷歌通过投资联手Anthropic,将在谷歌云上部署Claude2023年2月谷歌专注LLM的蓝移团队(Blueshift Team)并入DeepMind 免责声明和披露以及分析师声明是报告的一部分,请务必一起阅读。13 电子电子 图表图表18:Google 主要的主要的 AI 研发团队研发团队 资料来源:Google 官网,华泰研究 算力:算力:TPU 系列芯片和新一代超级计算机支撑系列芯片和新一代超级计算机支撑 AI 大模型训练和创新大模型训练和创新 TPU(Tensor Processing Unit)是谷歌专门为高效计算和加速神经网络训练和推理过程而

58、设计的专用芯片(Application-Specific Integrated Circuit,ASIC)。2016 年,谷歌发布第一代 TPU,成为 AlphaGo 背后的算力。与 GPU 相比,TPU 采用低精度计算,在几乎不影响深度学习处理效果的前提下大幅降低了功耗、加快运算速度。最新一代的 TPU v4 发布于2021 年,在相似规模的系统训练中,TPU v4 比 A100 计算速度快 1.15-1.67 倍、功耗低1.33-1.93 倍。TPU v4 卓越的性能、可伸缩性和灵活性使其成为支持 LaMDA、MUM、PaLM等大规模语言模型的主力产品。图表图表19:在在 5 个基准测试中

59、每个个基准测试中每个 DSA 的最快性能的最快性能 图表图表20:在基准测试中在基准测试中 64 个芯片系统的个芯片系统的 DSA+HBM 的平均功率的平均功率 资料来源:TPU v4:An Optically Reconfigurable Supercomputer for Machine Learning with Hardware Support for Embeddings(Jouppi et al.,2023),华泰研究 资料来源:TPU v4:An Optically Reconfigurable Supercomputer for Machine Learning with Ha

60、rdware Support for Embeddings(Jouppi et al.,2023),华泰研究 谷歌推出新一代超级计算机谷歌推出新一代超级计算机 A3 Virtual Machines,为大型语言模型创新提供动力。,为大型语言模型创新提供动力。谷歌于2023 年 5 月的 I/O 大会发布 A3 超级计算机,其采用第 4 代英特尔至强可扩展处理器、2TB DDR5-4800 内存以及 8 张英伟达 H100。此外,A3 是首个使用谷歌定制设计的 200 Gbps IPU 的 GPU 实例,GPU 间的数据传输绕过 CPU 主机,通过与其他虚拟机网络和数据流量分离的接口传输,网络带

61、宽相比 A2 增加 10 倍,具有低延迟和高带宽稳定性。A3 超级计算机专门设计用于训练和服务对计算资源要求极高的 AI 大模型,这些模型将推动当今生成式AI 和大型语言模型的创新进展。Google主要的AI研发团队GoogleBlueshift TeamDeepMindGoogle BrainGoogle DeepMind2023年2月2023年4月MLPerf BenchmarkA100TPU v4RatioBERT380W197WResNet273W206W1.931.33 免责声明和披露以及分析师声明是报告的一部分,请务必一起阅读。14 电子电子 框架:领先的自研深度学习平台框架:领先

62、的自研深度学习平台 TensorFlow 2015 年,谷歌开源了深度学习框架 TensorFlow,其是当前 AI 领域主流开发工具之一。TensorFlow 采用计算图来表示神经网络计算过程和数据流动,从而实现高效的并行数据处理和运算,尤其在大规模分布式训练方面具有优势。TensorFlow 还提供了广泛的工具和 API,可用于各种类型的深度学习应用,例如计算机视觉、自然语言处理和语音识别等领域。此外,TensorFlow 具有很好的可移植性,能够在多种硬件设备和操作系统上运行。目前,TensorFlow 生态系统完备,为研发人员提供了从模型构建到部署和运营管理的全套工具链,是深度学习领域

63、应用最广泛的框架之一,特别在工业级领域应用处于领先地位。模型:各技术路线的模型储备丰富,模型:各技术路线的模型储备丰富,多模态大模型实现人机交互领域突破多模态大模型实现人机交互领域突破 谷歌在谷歌在 AI 各技术路线上积累了丰富的模型储备。各技术路线上积累了丰富的模型储备。从基础架构的角度,其技术路线主要可以分为三个方向:1)基于)基于 Transformer 纯编码器(纯编码器(Encoder-only):与单向生成的 GPT 模型不同,纯编码器模型是侧重理解的双向模型,通过并行计算和多头注意力层来学习单词之间的相关性,实现上下文理解。主要模型包括语言模型 BERT、LaMDA、PaLM、基

64、于 LaMDA 的对话模型 Bard 以及多模态视觉语言模型 PaLM-E。2)基于)基于 Transformer 纯解码器(纯解码器(Decoder-only):纯解码器是单向生成模型,主要用于句子生成。主要模型包括谷歌的语言模型 FLAN、DeepMind 的语言模型 Gopher。3)基于基于 Transformer 统一架构(统一架构(Encoder-Decoder):统一模型框架能兼容以上两类模型的理解和生成的下游任务。主要模型包括语言模型 T5、对话模型 Sparrow。图表图表21:谷歌在谷歌在 AI 各技术路线发布的主要模型各技术路线发布的主要模型 资料来源:Google 官网

65、,斯坦福 Ecosystem Graphs,华泰研究 多模态视觉语言大模型多模态视觉语言大模型 PaLM-E 实现人机交互领域的重大飞跃。实现人机交互领域的重大飞跃。2023 年 3 月,谷歌发布5620 亿参数的多模态视觉语言模型 PaLM-E,是 PaLM-540B 语言模型与 ViT-22B 视觉模型的结合。与传统的语言模型相比,PaLM-E 具有更高的效率和灵活性,可以根据输入的复杂度和任务的需求动态地激活不同的模块。同时,PaLM-E 可以通过文本、图像和视频等多种类型的输入来理解和控制机器人等实体化系统,从而实现具象化的能力。PaLM-E 的发布代表着人机交互领域的一次重大飞跃,在

66、工业、商业、办公等领域的机器人应用上有着巨大的想象力。2018年10月Google发布BERT;3.4亿参数2019年10月Google发布T5;110亿参数;兼容BERT和GPT的下游任务2021年10月Google发布FLAN;转向Decoder-only2021年12月DeepMind发布Gopher;2800亿参数2022年1月Google发布LaMDA;1370亿参数;更安全且对话质量接近人类水平2022年4月Google发布基于通用AI架构的PaLM;5400亿参数;2022年9月DeepMind发布Sparrow;700亿参数;加入RLHF和Retrival进行训练2023年2月

67、Google发布基于LaMDA进行微调的聊天机器人Bard2023年3月Google发布多模态大模型PaLM-E;5620亿参数;Encoder-onlyDecoder-onlyEncoder-Decoder 免责声明和披露以及分析师声明是报告的一部分,请务必一起阅读。15 电子电子 图表图表22:PaLM-E 机器人执行“从抽屉里拿出薯片”的多步骤指令机器人执行“从抽屉里拿出薯片”的多步骤指令 图表图表23:PaLM-E 机器人规划“将积木按颜色分类”的长周期任务机器人规划“将积木按颜色分类”的长周期任务 资料来源:GitHub PaLM-E,华泰研究 资料来源:GitHub PaLM-E,

68、华泰研究 最新的大语言模型最新的大语言模型 PaLM 2 在多语言能力、代码能力和逻辑能力上得到显著提升。在多语言能力、代码能力和逻辑能力上得到显著提升。谷歌于2023 年 5 月的 I/O 大会发布 PaLM 2,模型基于 2022 年 10 月提出的 AI 新架构 Pathways,并基于 TPU v4 和 JAX 框架训练。在语言能力上,PaLM 2 的训练数据超过 100 种语言,能理解、翻译和生成更准确和多样化的文本;同时,PaLM 2 在 20 种编程语言上进行训练以提升代码能力。在逻辑能力上,PaLM 2 在推理、数学任务测试中显著优于 PaLM,并与GPT-4 相当。此外,谷歌

69、在 PaLM 2 的基础上还训练了用于编程和调试的专业模型 Codey,安全知识模型 Sec-PaLM 以及医学知识模型 Med-PaLM 2。模型压缩技术将加速模型压缩技术将加速 AI 技术与智能终端的融合。技术与智能终端的融合。PaLM2 主要包含 4 种规格(Gecko、Otter、Bison 和 Unicorn),其中体积最小的 Gecko 可以在手机上运行,每秒可处理 20 个 Token,大约相当于 16 或 17 个单词。模型压缩技术或将成为实现 AI 大模型在边/端部署的核心技术,加速 AI 技术与智能终端融合。应用:积极布局生成式应用:积极布局生成式 AI 应用以迎接挑战应用

70、以迎接挑战 谷歌在过去更注重发表论文,未能及时将成果产品化。谷歌在过去更注重发表论文,未能及时将成果产品化。谷歌在各种路线上发布了很多模型,论文成果丰富,但均未能走出象牙塔落地;同时,旗下 DeepMind 研发的基础语言模型Gopher、Chinchilla 和对话模型 Sparrow 也尚未产品化。积极布局生成式积极布局生成式 AI 领域应用以迎接挑战。领域应用以迎接挑战。谷歌于 2023 年 2 月发布基于 1370 亿参数大模型 LaMDA 的 AI 聊天机器人 Bard。相较于 ChatGPT,Bard 的优势在于:1)能够利用来自互联网的信息提供最新、高质量的回复;2)瞬间生成文本

71、块;3)给出的答案包含三个不同的版本或草稿,用户可以切换其中任何一个答案。此外,谷歌在 4 月发布了 Bard 的更新版本,升级了数学与逻辑能力。2023 年 5 月 I/O 大会,谷歌展示了 Bard 支持的文字、代码、图像生成与理解能力,并重点强调了 Bard 与谷歌应用,以及外部其他应用的协同能力。此外,谷歌通过投资联手 AI 初创公司 Anthropic,押注 ChatGPT 的有力竞品 Claude。免责声明和披露以及分析师声明是报告的一部分,请务必一起阅读。16 电子电子 图表图表24:Bard 在搜索中直接提供答案在搜索中直接提供答案 图表图表25:Google 投资投资 Ant

72、hropic 资料来源:Google 官网,华泰研究 资料来源:Google 官网,华泰研究 面向开发者,谷歌开放 PaLM 的 API,并发布工具 MakerSuite,帮助开发者们快速构建生成式 AI 应用。PaLM API 将为开发者提供面向对轮交互而优化的模型,如内容生成与对话;也能为开发者提供摘要、分类等多种任务的通用模型。工具 MakerSuite 则能帮助开发者快速、轻松地构建和调整自定义模型,在浏览器中就能快速测试和迭代调整后的模型。图表图表26:PaLM API 帮助开发者构建生成式帮助开发者构建生成式 AI 图表图表27:MakerSuite 帮助开发者快速地构建和调整自定

73、义模型帮助开发者快速地构建和调整自定义模型 资料来源:Google 官网,华泰研究 资料来源:Google 官网,华泰研究 PaLM 2 赋能超赋能超 25 种功能和产品的升级,包括办公套件、聊天机器人以及企业级种功能和产品的升级,包括办公套件、聊天机器人以及企业级 AI 平台。平台。在 PaLM 2 的加持下,Workspace 推出的 AIGC 工具包 Duet AI,其中包含 Google Docs和 Gmail 中的智能写作工具、Google Slides 中的文本生成图像、演讲备注以及 Google Meet的会议摘要生成等功能。升级版 Bard 不仅将支持图文多模态,还将接入网络以

74、实时网页搜索;同时,大量 Bard+tools 的组合将推出,Bard 有望深度融合到 Google 所提供的原有工具中。ToB 应用方面,Vertex AI 集合了谷歌研发的基础模型,用户可按需调用模型并对模型的参数权重进行微调;此外,Vertex AI 还能够根据内部数据建立企业版本的搜索引擎。2023年2月4日,谷歌与Anthropic官宣合作。谷歌云将为Anthropic提供大规模TPU和GPU加速支持,且将在谷歌云上部署Claude。免责声明和披露以及分析师声明是报告的一部分,请务必一起阅读。17 电子电子 图表图表28:Google Docs 根据工作名称自动撰写职位要求根据工作名

75、称自动撰写职位要求 图表图表29:Google Slides 自动生成讲稿自动生成讲稿 资料来源:谷歌 I/O 大会,华泰研究 资料来源:谷歌 I/O 大会,华泰研究 图表图表30:Bard 多模态能力:能够识别图像并以文字描述多模态能力:能够识别图像并以文字描述 图表图表31:Bard 与谷歌旗下应用、及其他外部应用具有潜在合作空间与谷歌旗下应用、及其他外部应用具有潜在合作空间 资料来源:谷歌 I/O 大会,华泰研究 资料来源:谷歌 I/O 大会,华泰研究 英伟达:英伟达:AI 时代的芯片领路者时代的芯片领路者 发展历程:发展历程:英伟达的二十年辉煌史英伟达的二十年辉煌史 英伟达成立于 19

76、93 年,是全球最大的 GPU 供应商,也是 AI 时代的芯片领路者。上市初期公司主要关注 PC 图形业务,与 PC 出货量具备高度相关性,主要以 OEM 的销售模式。后续随着智能手机、平板电脑等消费电子的应用出现,公司敏锐捕捉到终端需求的变化,将业务重心向高端游戏显卡市场过渡。按照过往经验,英伟达基本每 1-2 年更新一次游戏 GPU架构,凭借强大的性能和生态优势迅速提升在全球独立 GPU 市场市占率,近几年均保持在70%以上的份额。进入 2018 年数字货币价格大幅下跌,数据中心开始承接公司新增长点,2020 年该业务营收增速超过 120%。此外,我们看到英伟达持续以 CUDA 为核心构建

77、护城河,结合 CPU+GPU+DPU 三大硬件,形成统一的生态闭环,且在各细分领域形成全套解决方案。免责声明和披露以及分析师声明是报告的一部分,请务必一起阅读。18 电子电子 图表图表32:英伟达发展历程英伟达发展历程 资料来源:DeepMind 官网,Google 官网,斯坦福 Ecosystem Graphs,OpenBMB 网站,华泰研究 第一阶段:从图形芯片到游戏显卡第一阶段:从图形芯片到游戏显卡,确定主流赛道形成稳定现金流,确定主流赛道形成稳定现金流 持续推动业务升级,持续推动业务升级,战略核心转移至高端游戏卡领域。战略核心转移至高端游戏卡领域。在 GPU 推出初期,以 OEM 形式

78、销售显卡是公司重要的收入来源之一,市场终端应用以 PC 为主,笔记本及平板的普及度尚低,英伟达的产品与 PC 出货存在较高程度的绑定。随着半导体行业发展,终端应用趋于多元化,PC 市场热度从 2012 年起开始出现明显下降。此外,随着集成显卡性能的提升,独立桌面显卡出货情况也开始出现衰退。在此市场环境下,英伟达将战略核心转移至高端游戏卡领域。在 2010-2015 年在全球 PC 市场逐步倒退的情况下,英伟达游戏显卡出货量 5 年实现 9%的年复合增长,销售均价/收入分别呈现 11%/21%的年复合增长。2019 年公司游戏业务已经为其贡献了过半营收,而 OEM/IP 业务收入占比下降至仅 6

79、%。图表图表33:Nvidia 游戏显卡出货量,游戏显卡出货量,ASP 及收入及收入年复合增速年复合增速 图表图表34:英伟达英伟达 FY2014(左左)FY2019(右)(右)营收结构营收结构对比对比 资料来源:Bloomberg,华泰研究 资料来源:Bloomberg,华泰研究 第二阶段:构建通用计算生态,数据中心业务实现爆发式增长第二阶段:构建通用计算生态,数据中心业务实现爆发式增长 推出革命性架构推出革命性架构 CUDA,进入发展高速期,进入发展高速期。2006 年英伟达研发出了能够让 GPU 计算变得通用化的 CUDA(Compute Unified Device Architect

80、ure)技术,运用 GPU 并行处理能力来应对复杂的计算,次年公司就在图形市场取得飞跃式增长,同时 Tesla GPU 的推出让英伟达成功进入通用计算时代。经过二十多年的发展,公司已形成包括:面对 PC 和笔记本的GeForce 系列,面对工作站的 Quadro 系列,面对超大型计算的 Tesla 系列和面对移动处理器的 Tegra 系列。-100%-50%0%50%100%150%200%007080901Q013Q011Q023Q021Q033Q031Q043Q041Q053Q051Q063Q061Q073Q071Q083Q081Q093Q091Q103Q101Q11

81、3Q111Q123Q121Q133Q131Q143Q141Q153Q151Q163Q161Q173Q171Q183Q181Q193Q191Q203Q201Q213Q211Q223Q22(亿美元)(亿美元)营业收入同比增速1995年:推出首款产品NV11993年:黄仁勋、Chris Malachowsky和Curtis Priem共同创立了NVIDIA。1999年:纳斯达克上市;发明了全球首款GPUGeForco256;推出适用于专业图形的Quadro GPU2001年:携nFORCE平台进军集成显卡市场;推出业内首款可编程GPU-GeForce32002年:第一亿台处理器出货2006年:开发出

82、CUDA计算架构2007年:推出Tesla系列GPU,开始在HPC和Ai领域发力2012年:发布基于kepler架构的GPU,推出GeForce GTX 600系列2013年:发布全球超快的四核移动处理器Tegra 4和首款完全集成的4GiLTE移动处理器Tegra 4i2014年:发布基于maxwell架构的GPU2009年:推出Fermi代号的新一代CUDA架构2015年:正式投身深度学习领域;GeForceGTXTITAN X问世,专为训练深度神经网络打造;256核移动超级芯片Tegra X1问世2016年:推出深度学习超算DGX-1,新架构Pascal2017年:推出Volta架构GP

83、U2018年:推出开源GPU加速平台RAPIDS,推出Turing架构以及DGX-2超算2008年:推出Tegra移动处理器,但后续存在散热问题2021年:推出为HPC及AI打造的公司首款CPU2020年:推出Ampere架构GPU,产品开始布局DPU2022年:推出新一代自动驾驶平台以及Hopper架构GPU9%11%21%14%14%29%游戏显卡出货量平均单价游戏业务收入CY10-CY15CY13-CY18 免责声明和披露以及分析师声明是报告的一部分,请务必一起阅读。19 电子电子 图表图表35:Nvidia 数据中心业务收入及同比增长率数据中心业务收入及同比增长率 图表图表36:四大云

84、厂商中四大云厂商中 AI 芯片芯片市场市场份额:英伟达绝对领导(份额:英伟达绝对领导(2019 年)年)资料来源:NVIDIA 官网,华泰研究 资料来源:Liftr,华泰研究 第第三三阶段:阶段:AI 加持下,加持下,游戏、数据中心、自动驾驶三驾马车助力公司迈向千亿美金市场游戏、数据中心、自动驾驶三驾马车助力公司迈向千亿美金市场 英伟达经过前期的路径选择已经逐步清晰了三条主要赛道,同时在人工智能飞速迭代的情况下,从元宇宙平台搭建到协助内容创作到 AI 时代的“台积电”定位,精准把握每次技术变革:1)游戏方面:)游戏方面:英伟达背靠强大的 GPU 实力不断在游戏行业进行创新,推出 DLSS、光线

85、追踪等技术提高游戏体验,并进一步推动云端游戏业务发展。23 年由于 PC 端出货减少短期内影响了游戏业务增长,但未来 5 年游戏业务 CAGR 仍有望达到 10%。2)数据中心方面:)数据中心方面:除了训练/推理芯片性能更新,英伟达更侧重于 AI 超级计算机的打造和对整个服务器产业链赋能。其在 GTC2023 推出的 NVIDIA DGX 超级计算机,将成为大语言模型实现突破背后的引擎。3)自动驾驶方面,)自动驾驶方面,英伟达在硬件上推出了自动驾驶汽车的平台 DRIVE Hyperion、算力达每秒 254 TOPS的系统级芯片DRIVE Orin SoC、新一代集中式车载计算平台DRIVE

86、Thor。22 年秋季 GTC 大会公布的中央计算引擎 Drive Thor 芯片由 Grace CPU、Hopper GPU 和下一代 GPU 组成,可提供 2000TOPS 算力,预计将在 25 年搭载于极氪。软件方面则推出了操作系统 DRIVE OS、AI 辅助驾驶平台 DRIVE Chauffeur、可实现对话式 AI 等智能服务的 DRIVE Concierge 等。过去 5 年汽车业务 CAGR 为 10%,仅占 FY23 收入的 3%,但未来会随着产品逐渐落地而稳步提升。黄仁勋在22年9月的Computex大会上预计未来6年,将能够创造 110 亿美元营收价值。0%20%40%6

87、0%80%100%120%140%160%02040608002013 2014 2015 2016 2017 2018 2019 2020 2021 2022(亿美元)数据中心业务收入同比增长率0%50%100%Alibaba CloudAmazon AWSMicrosoft AzureGoogle CloudPlatformTesla V100Tesla T4Tesla P100Tesla P4Tesla P40Tesla M40Tesla M60Tesla K80 免责声明和披露以及分析师声明是报告的一部分,请务必一起阅读。20 电子电子 图表图表37:英伟达已公布

88、产品英伟达已公布产品 资料来源:英伟达官网,华泰研究 团队:灵魂人物引导产业变革,数次收购完善业务版图团队:灵魂人物引导产业变革,数次收购完善业务版图 灵魂人物带领数次决策,英伟达引导产业变革。灵魂人物带领数次决策,英伟达引导产业变革。英伟达由黄仁勋与 Chris Malachowsky、Curtis Priem 于 1993 年 4 月共同创立,创业初期英伟达仅是数十家 GPU 制造商中的一员,但凭借黄仁勋非凡的见识和魄力,从 1999 年大规模裁员后发布世界首款 GPU 拿下大客户微软,到 2006 年推出 CUDA 技术,到 2012 年宣布计算卡与游戏卡分离成为与 AMD 竞争转折点,

89、英伟达引领了显卡行业的每一次重大变革,成为占据独立显卡 80%以上份额的巨头。英伟达不断通过收购完善业务版图。英伟达不断通过收购完善业务版图。英伟达早期的竞争对手 3dfx在 2000年被英伟达收购,3dfx 是 20 世纪 90 年代显卡芯片的市场领导者,主营业务包括显卡以及 3D 芯片,在 2000年时因为在一场与 NVIDIA 的官司中败诉而被 NVIDIA 仅仅以 7000 万美元和 100 万美元的股票收购,并在 2002 年年底破产。另一具有代表性的案例是最后以监管问题失败告终的2020 英伟达收购 ARM 事件,如若达成或将打通 ARM CPU 的庞大生态系统,由此也可以看出英伟

90、达利用收购不断扩大商业版图,营造完整生态的动机。图表图表38:Nvidia 高管结构及股权架构图高管结构及股权架构图 图表图表39:Nvidia 收购公司一览收购公司一览 资料来源:英伟达官网,华泰研究 资料来源:英伟达官网,华泰研究 免责声明和披露以及分析师声明是报告的一部分,请务必一起阅读。21 电子电子 商业模式:深度绑定台积电走商业模式:深度绑定台积电走 OEM 模式,轻装上阵重视研发投入模式,轻装上阵重视研发投入 深度绑定台积电,外包制造环节轻资产专注研发。深度绑定台积电,外包制造环节轻资产专注研发。1998 年,公司于台积电正式建立策略联盟伙伴关系。从一开始,黄仁勋就致力于使英伟达

91、成为一家无晶圆厂的芯片公司,通过将制造芯片费用外包以降低资本支出。OEM 模式虽然令投资者担忧生产外包的风险,但另一面英伟达将腾出的资金用于研发,逐渐建立起了高技术壁垒。自上市以来,英伟达研发投入绝对值基本呈现持续增长,单季度研发费用率平均值超 20%,2022 年公司研发投入达73 亿美元。公司研发投入基本上全部用于 GPU 产品,长期研发投入与积累也使公司产品技术壁垒及竞争力得以充分提升。拓展云服务商业模式,将与企业、云厂商实现互惠共赢拓展云服务商业模式,将与企业、云厂商实现互惠共赢。在硬件制造的基础上,英伟达近。在硬件制造的基础上,英伟达近期还推出了期还推出了 NVIDIA AI Fou

92、ndations,定位为“超算云服务+模型代工厂”,用于企业构建自定义语言模型和生成式 AI。NVIDIA AI Foundations 包括语言、视觉和生物学模型构建服务,分别名为 Nemo、Picasso 和 BioNemo,使用企业专有数据进行训练,用于处理特定领域的任务。我们认为超算云服务我们认为超算云服务+模型代工厂的商业模式是英伟达作为芯片送水人在大模型代工厂的商业模式是英伟达作为芯片送水人在大模型时代的商业模式自然延伸。模型时代的商业模式自然延伸。图表图表40:NVIDIA AI Foundations 服务与基础模型服务与基础模型 图表图表41:NVIDIA Picasso 输

93、入文本,输出图片、视频、输入文本,输出图片、视频、3D 模型模型 资料来源:2023 年 GTC 大会,华泰研究 资料来源:2023 年 GTC 大会,华泰研究 硬件迭代:训练硬件迭代:训练/推理芯片推理芯片性能参数持续领先对手性能参数持续领先对手 芯片性能优势优于竞争对手,在推理芯片方面将继续扩大优势。芯片性能优势优于竞争对手,在推理芯片方面将继续扩大优势。英伟达通常 1-2 年左右更新一次架构,2015 年以来经历了 Pascal、Volta、Turing、Ampere 和 Hopper 时期,其制程也从 16nm 快速推进到 7nm 和 4nm,预计下一代 Blackwell 架构 GP

94、U 将延续与台积电合作选用 3nm 工艺。为了加速在混合精度计算、光线追踪领域的发展,英伟达在 Volta 架构引入 Tensor Core 来加速 AI 处理,而在 Turing 架构上加入 RT Core 来实现光线追踪的混合渲染。从性能对比来看,英伟达在 22 年初推出的 H100 在 AI 性能方面速度比 A100 提升 9 倍,在大型语言模型上推理速度高 30 倍,在部分性能上优于 21 年 12 月 AMD 推出的高端 GPU MI250,在训练芯片具备较强的话语权。而在推理方面,尽管算力要求比训练端更低,市场需求更大也更为细分,英伟达面对的竞争更激烈,但公司的推理侧解决方案更具备

95、通用性、低延时、低功耗,我们认为训练端的成功有望在推理端延续。免责声明和披露以及分析师声明是报告的一部分,请务必一起阅读。22 电子电子 图表图表42:英伟达与英伟达与 AMD 产品对比产品对比 资料来源:英伟达官网,华泰研究 软件:软件:CUDA 构建完整生态,构建完整生态,CUDA-X AI 结构拉开巨大差距结构拉开巨大差距 CUDA 是一种将 GPU 作为数据并行计算设备的软硬件体系,不需要借助图形学 API,而是采用了比较容易掌握的类 C 语言进行开发,开发人员能够利用熟悉的 C 语言比较平稳地从 CPU 过渡到 GPU 编程。与以往的 GPU 相比,支持 CUDA 的 GPU 在架构

96、上有了显著的改进:1)采用了统一处理架构,可以更加有效地利用过去分布在顶点着色器和像素着色器的计算资源;2)引入了片内共享存储器。两项改进使得 CUDA 架构更加适用于通用计算,加上 2008 年后苹果、AMD、和 IBM 推出的 OpenCL 开源标准,GPGPU 在通用计算领域迅速发展。英伟达在 CUDA(并行编程模型)上的战略眼光及持续坚持,是如今形成软硬集合生态的最核心壁垒:1)易于编程与性能提升:CUDA 包含 CUDA 指令集架构(ISA)以及 GPU内部的并行计算引擎,采用通用并行计算架构,使 GPU 能够解决复杂计算问题,相较 AMD采取的通用 OpenCL 平台而言,并行计算

97、能力可提高 10-200 倍不等;2)不断丰富的生态系统:英伟达通过十余年迭代扩充已形成丰富的函数库、API 指令、工具链、应用程序等,对开发者友好程度更高。在 CUDA 基础上英伟达进一步推出 CUDA-X AI 软件加速库,提供对深度学习、机器学习和高性能计算的优化功能,进一步拉开与竞争对手在 AI 时代的差距。图表图表43:CUDA 及及 CUDA-X AI 生态系统生态系统 资料来源:英伟达官网,华泰研究 免责声明和披露以及分析师声明是报告的一部分,请务必一起阅读。23 电子电子 应用:应用:以以 Omniverse 为核心,为核心,推进工业推进工业/设计设计/医疗医疗/零售零售/自动

98、驾驶等多行业生态自动驾驶等多行业生态 英伟达一直是行业创新的引导者,从 2021 年开始公司 GTC 大会整体框架更新为以底层技术上围绕元宇宙进行的大量软件新技术布局。Omniverse 作为公司创建 AI 系统的数字孪生的虚拟世界的基础平台,借助 MDL、Phys 与 RTX 等技术,以逼真的建模及数字工业化手段将 AI 创作赋能到实际应用中,如用于构建医疗设备的 AI 计算平台 Clara Holoscan、为机器人开发和 AI 打造的加速平台 Isaac、自动驾驶汽车(AV)的端到端模组化开发平台和参考架构 DRIVE Hyperion 等。除 Omniverse 外,英伟达还在生物医疗

99、、光刻、量子计算、物流等众多领域与客户展开合作、建立独立加速库,帮助客户实现高效研发。未来我们认为软件和应用生态将成为计算芯片的竞争关键,而英伟达在垂直行业领域的布局为其构筑了难以突破的竞争壁垒。Meta:AI 和元宇宙双轮并驱和元宇宙双轮并驱 发展历程:全球最大社交媒体巨头拥抱元宇宙和发展历程:全球最大社交媒体巨头拥抱元宇宙和 AIGC Meta 是全球社交网络龙头企业。是全球社交网络龙头企业。2004 年 Mark Zuckerberg 创立 Facebook,2021 年公司改名为 Meta Platforms,取意 Metaverse(元宇宙),体现了公司在虚拟世界中工作和娱乐的愿景。

100、Meta 主要经营社交网络服务、虚拟现实、元宇宙等产品,旗下拥有 Facebook、Instagram 和 WhatsApp 等社交软件。在大模型领域,在大模型领域,Meta 奋起直追开源多个大模型。奋起直追开源多个大模型。2017 年,公司开源了深度学习框架 PyTorch,是深度学习领域最常用的框架之一。2023 年 2 月,Meta 推出针对研究社区的大型语言模型 LLaMA,在生成文本、对话、总结书面材料、证明数学定理或预测蛋白质结构等更复杂的任务方面有很大的前景。4 月,Meta 发布机器视觉领域首个用于图像分割的通用大模型SAM 和其训练数据集 Segment Anything 1

101、-Billion,将自然语言处理领域 prompt 范式延展到 CV 领域,为 CV 领域带来革命性技术突破。5 月,Meta 发布大规模多语言语音 MMS项目,将彻底改变语音技术,支持 1,107 种语言的语音转文字和文字转语音以及超过 4,000种语言的语言识别。同月,Meta 发布 650 亿参数语言模型 LIMA,无需 RLHF 就能对齐,在人类评估结果中甚至可与 GPT-4、Bard 和 DaVinci003 相媲美。图表图表44:Meta 发展历程发展历程 资料来源:Meta 官网,华泰研究 团队:团队:AI 人才汇聚,旨在创建人才汇聚,旨在创建 AIGC 顶级产品团队顶级产品团队

102、 Meta 拥有一支经验丰富的核心团队。创始人、董事长兼首席执行官 Mark Zuckerberg,曾就读于哈佛大学,2004 年创立了 Facebook。首席运营官 Javier Olivan,持有斯坦福大学工商管理硕士学位和纳瓦拉大学电气和工业工程硕士学位,在加入公司之前曾担任西门子移动的产品经理。首席技术官 Andrew Bosworth,毕业于哈佛大学,曾任微软 Visio 开发人员,2017 年创建了公司的 AR/VR 组织,领导公司发展 AR,VR,AI 和消费者硬件等。SEER-1.5B十亿参数自监督模型2021年3月SEER-10B百亿参数自监督模型2022年2月DINO视觉大

103、模型OPT-175B1750亿参数大模型2022年5月ESM-2原子层级结构预测模型2022年7月Galactica开源语言模型2022年11月2012年5月Facebook创立2004年2月2013年4月人工智能实验室FAIR成立2016年10月推出深度学习框架PyTorch2022年4月至今FacebookMeta 于纳斯达克上市2021年10月Facebook更名为Meta Platforms,FAIR更名为Meta AI2022年1月AI超级计算机RSC建设启动BlenderBot3AI聊天机器人2022年8月LLaMA650亿参数大语言模型2023年2月2023年2月成立专注AIGC

104、的顶级产品团队SAM图像分割神器2023年4月DINO v2视觉大模型2023年4月ImageBind具备6种模态学习和生成能力的多模态模型2023年5月MMS可识别1100+语言的大语言模型2023年5月LIMA无需RLHF的大预言模型2023年5月 免责声明和披露以及分析师声明是报告的一部分,请务必一起阅读。24 电子电子 Meta Al是是Meta旗下的人工智能实验室。旗下的人工智能实验室。2013年,深度学习教授和图灵奖得主 Yann LeCun创建 FAIR,其最初目标是研究数据科学、机器学习和人工智能。2014 年,统计学先驱Vladimir Vapnik 加入 FAIR。2018

105、 年,IBM 大数据集团前首席技术官 Jr me Pesenti 担任FAIR 总裁一职。2021 年,FAIR 更名为 Meta Al。2022 年,Meta AI 在两周内预测了 6 亿个潜在蛋白质的 3D 形状。2023 年,Zuckerberg 宣布将成立专注 AIGC 的顶级产品团队,由负责 AI 和机器学习的副总裁 Ahmad Al-Dahle 领导,队内共有数十名成员,汇聚了过去分散在公司各地团队的 AI 人才。图表图表45:Meta 核心成员和核心成员和 Meta 人工智能实验室人工智能实验室 资料来源:Meta 官网,华泰研究 图表图表46:Meta 核心成员介绍核心成员介绍

106、 核心人物核心人物 Meta 职位职位 履历履历 Mark Zuckerberg 创始人、董事长兼首席执行官 曾就读于哈佛大学,中途辍学创业。2004 年创立了 Meta 公司,当时名为 Facebook。Javier Olivan 首席运营官 持有斯坦福大学工商管理硕士学位和纳瓦拉大学电气和工业工程硕士学位。在加入 Meta 之前曾在德国西门子公司和东京的 NTT 数据公司。2007 年加入当时名为 Facebook 的公司,此前曾担任 Meta 的首席增长官。Nick Clegg 全球事务总裁 于 2010 年至 2015 年担任英国副首相,并于 2007 年至 2015 年担任自由民主党

107、领袖。2005 年至 2017 年,任谢菲尔德哈勒姆的国会议员。2018 年加入当时名为 Facebook 的公司,2018 年至 2022 年期间担任Facebook 全球事务和通信副总裁,自 2022 年以来一直担任 Meta 平台全球事务总裁。Susan Li 首席财务官 毕业于斯坦福大学经济系的数学与计算专业。在加入 Meta 之前曾任摩根士丹利的投资银行分析师。2008 年加入了当时名为 Facebook 的公司,曾担任公司财务副总裁,现任首席财务官,领导财务和设施团队。Andrew Bosworth 首席技术官 2004 年毕业于哈佛大学,之后在微软 Visio 做了近两年的开发人

108、员。2006 年 1 月加入 Facebook。2017 年,他创建了公司的 AR/VR 组织,现在称为现实实验室。Chris Cox 首席产品官 2004 年毕业于斯坦福大学。2005 年加入 Facebook 担任软件工程师。2008 年成为产品副总裁。2014 年被提升为首席产品官。2019 年 4 月起研究和追求专注于气候变化的新项目。2020 年 6 月回到公司。Jennifer Newstead 首席法律事务主任 拥有哈佛大学的学士学位和耶鲁大学法学院的法学博士学位。曾任美国国务院法律顾问,白宫管理和预算办公室的总法律顾问,司法部法律政策办公室的首席副助理检察长,总统特别助理和白宫

109、助理法律顾问,曾在Davis Polk&Wardwell LLP 担任合伙人 12 年。2019 年加入公司。资料来源:Meta 官网,华泰研究 算力:拥有全球最快算力:拥有全球最快 AI 超级计算机超级计算机 AI RSC,推出自研,推出自研 AI 芯片芯片 MTIA AI RSC 是“全球最快是“全球最快 AI 超级计算机”之一。超级计算机”之一。AI RSC(AI Research SuperCluster)是Meta 用于训练人工智能模型的 AI 超级计算机。2017 年,公司设计自研第一代算力设施,在单个集群中拥有 2.2 万个英伟达 V100 Tensor Core GPU,每天可

110、执行 35,000 个训练任务。2020 年,公司决定加速算力增长的最佳方式是从头开始设计全新计算基础架构,以利用新的 GPU 和网络结构技术。公司希望新 AI 超算能够在 1 EB 字节大的数据集上训练具有超过一万亿个参数的模型,仅从规模上看,这相当于 36,000 年时长的高清晰度视频。2023年 5 月,Meta 宣布已经完成了 RSC 的第二阶段扩建,使其成为世界上最快的 AI 超级计算机之一,其混合精度计算性能接近 5 exaflops。Meta人工智能实验室Meta核心成员MetaFAIR首席运营官Javier Olivan全球事务总裁Nick Clegg首席财务官Susan Li

111、首席技术官Andrew Bosworth首席产品官Chris CoxAIGC产品研发组首席法律事务主任Jennifer Newstead创始人&董事长兼首席执行官Mark ZuckerbergMeta AI 免责声明和披露以及分析师声明是报告的一部分,请务必一起阅读。25 电子电子 图表图表47:AI RSC 比比 Meta 当前基于当前基于 V100 的集群更快的集群更快 图表图表48:AI RSC 第一阶段架构第一阶段架构 资料来源:Meta 官网,华泰研究 资料来源:Meta 官网,华泰研究 Meta 推出自研推出自研 AI 芯片芯片 MTIA,入场大模型军备竞赛。,入场大模型军备竞赛。

112、2020 年,Meta 设计了第一代 MTIA芯片,采用 7 纳米工艺,可以从其内部 128 MB 内存扩展到高达 128 GB,并且在 Meta 设计的基准测试中,它处理了低等和中等复杂度的 AI 模型,效率比 GPU 高。2023 年 5 月,Meta 首次推出 AI 定制芯片MTIA(Meta Training and Inference Accelerator),是加速AI 训练和推理工作负载的芯片“家族”的一部分。MTIA 是一种 ASIC,一种将不同电路组合在一块板上的芯片,允许对其进行编程以并行执行一项或多项任务。MTIA 采用开源芯片架构 RISC-V,它的功耗仅有 25 瓦,

113、远低于英伟达等主流芯片厂商的产品功耗。图表图表49:MTIA 软件栈软件栈 资料来源:Meta 官网,华泰研究 框架:框架:PyTorch深度学习领域最受欢迎的框架之一深度学习领域最受欢迎的框架之一 PyTorch 是 Facebook 于 2017 年推出的一个基于 Python 的开源深度学习框架,具有灵活性、易用性和高性能,是深度学习领域最受欢迎的框架之一,在 GitHub 上获超 66,500 颗产品研究比Meta当前基于V100的集群更快比Meta Al基于V100的研究集群更快比Meta Al基于V100的研究集群更快AI RSC英伟达 NCCL COLLECTIVES大规模NLP

114、工作流AI RSC 第一阶段Meta数据中心存储175pb大容量存储器46pb缓存存储10pb NFS存储算力6080 英伟达 A100 GPU网络每200 Gb/s HDR IB无GPU超额订阅安全可靠隐私MTIA固件应用程序层PyTorch框架主机PyTorch加速器运行时主机固件接口主机固件设备AFG(FX编译子图执行)Eager MTIA PyTorch操作FX子图/编译的可执行文件预编译操作MTIA张量,设备内存分配器,流接口FXMTIA编译器编译器MTIA流API,MTIA固件驱动程序MTIA内核库 免责声明和披露以及分析师声明是报告的一部分,请务必一起阅读。26 电子电子 星。在

115、 ML 领域的主要会议上提交工作成果的研究人员中,超过 80%使用了 PyTorch 框架。PyTorch 支持在 GPU 上进行高速计算,在训练时拥有更快的速度和更好的性能,从而能大规模提高研究效率。PyTorch 已成为亚马逊网络服务、微软 Azure 和 OpenAI 等众多公司和研究机构构建 AI 研究和产品的基础。2022 年,公司正式发布 PyTorch 2.0,它提供了相同的 eager mode 和用户体验,同时通过 pile 增加了一个编译模式,在训练和推理过程中可以对模型进行加速,从而提供更佳的性能和对动态形状和分布式的支持。图表图表50:Facebook 的的 PyTor

116、ch 之旅之旅 图表图表51:加速加速 PyTorch 2 Transformers 提高了训练提高了训练 NLP 模型速度模型速度 资料来源:Meta 官网,华泰研究 资料来源:PyTorch 官网,华泰研究 模型:布局生成式模型:布局生成式 AI,开源语言、视觉等大模型,开源语言、视觉等大模型 语言大模型语言大模型#1:LLAMA 百亿参数模型在大多数基准上胜过百亿参数模型在大多数基准上胜过 GPT-3。2023 年 2 月,Meta推出了 LLaMA(通用语言大模型),目前提供 7B、13B、33B、65B 四种参数规模,都至少经过 1T token 的训练:1)LLaMA 体量小、使用

117、成本低且效果好:Meta 表示,LLaMA-13B在多数基准测试下(如常识推理、闭卷问答、阅读理解、偏见性等)优于 GPT-3(175B),且可在单块 V100 GPU 上运行;LLaMA-65B 与目前 LLM 中最好的 Chinchilla-70B 和PaLM-540B 旗鼓相当;2)LaMA 对非商用研究用例开源:LLaMA 不作商用目的,免费供给研究人员,目前 Meta 在 GitHub 上提供了精简版 LLaMA。基于 LLaMa 衍生出多个开源模型,例如斯坦福的 Alpaca、伯克利的 Vicuna、Kaola 和ColossalChat,以及哈工大基于中文医学知识的华驼。加州大学

118、伯克利分校计算机科学教授 Ion Stoica 表示,免费的人工智能模型现在在性能上与谷歌和 OpenAI 的专有模型“相当接近”,大多数软件开发商最终都会选择使用免费模型。图表图表52:LLaMA-13B 在多数基准测试下优于在多数基准测试下优于 GPT-3,LLaMA-65B 相比相比 Chinchilla-70B 和和 PaLM-540B 具备竞争力具备竞争力 资料来源:LLaMA:Open and Efficient Foundation Language Models(Touvron et al.2023),华泰研究 平均每天有超过4000个Facebook模型在PyTorch上运行

119、。在PyTorch上,超过1,700个Faralebook推理模型正在全面生产Facebook超过93%的训练模型都在PyTorch上 越小越好SDPA实施常识推理:LLaMA-13B在在大多数基准上都超过GPT-3(175B)闭卷问答:LLaMA-65B 在零样本和少样本设置中的性能都是最优阅读理解:LLaMA-65B可媲美PaLM-540B代码生成:优于其他一般模型大规模多任务语言理解:LLaMA-65B与目前LLM中最好的Chinchilla-70B和PaLM-540B不相上下 免责声明和披露以及分析师声明是报告的一部分,请务必一起阅读。27 电子电子 语言大模型语言大模型#2:LIMA

120、 无需无需 RLHF 就能对齐,媲美就能对齐,媲美 GPT-4。2023 年 5 月,Meta 发布 650亿参数语言模型 LIMA,仅在 1,000 个精心挑选的样本上微调 LLaMa-65B 且无需 RLHF,就实现了与 GPT-4 和 Bard 相媲美的性能。GPT-4 背后的生成领域训练新范式 RLHF 依赖于大量的人工标注和评估,Meta AI 等机构的研究者提出“表面对齐假说”,指出大型语言模型中几乎所有的知识都是在预训练期间学习的,并且想让模型产生高质量的输出只需要部分必要的指令调优数据,这将有助于大型语言模型降低训练成本。图表图表53:Alpaca 65B 和和 DaVinci

121、003 输出的结果往往不如输出的结果往往不如 LIMA 图表图表54:LIMA 以少胜多以少胜多 资料来源:LIMA:Less Is More for Alignment(Zhou et al.,2023),华泰研究 资料来源:LIMA:Less Is More for Alignment(Zhou et al.,2023),华泰研究 语音大模型语音大模型#1:MMS 模型可识别模型可识别 1100+语言,旨在保护世界语种的多样性。语言,旨在保护世界语种的多样性。2023 年 5 月,Meta 推出大规模多语言语音项目 MMS(Massively Multilingual Speech)。现有

122、的语音识别模型仅覆盖约100种语言,仅为地球上已知的7,000多种语言的小部分,MMS使用wav2vec 2.0 的自监督学习,支持 1,107 种语言的语音转文字和文字转语音以及超过 4,000 种语言的语言识别。MMS 用圣经训练,与 OpenAI Whisper 相比,使用 MMS 数据训练的模型中支持 11 倍以上的语言,且在 54 种语言上的平均错误率仅为一半。图表图表55:MMS 支持的语言示意图支持的语言示意图 图表图表56:MMS 错误率仅为错误率仅为 Whisper 数据集的一半数据集的一半 资料来源:Meta 官网,华泰研究 资料来源:Meta 官网,华泰研究 CV 大模型

123、大模型#1:SAM 模型可“分割一切”,模型可“分割一切”,CV 领域迎来领域迎来 GPT-3 时刻。时刻。2023 年 4 月,Meta推出首个可“任意图像分割”的基础模型SAM(Segment Anything Model),它具有强大的一键抠图功能,能从照片或视频中对任意对象实现一键分割,且能够零样本迁移到其他任务,为 CV 领域开启了新的篇章。Meta 还发布了有史以来最大的分割数据集 Segment Anything 1-Billion(SA-1B),拥有超过 11 亿个分割掩码,掩码具有高质量和多样性。免责声明和披露以及分析师声明是报告的一部分,请务必一起阅读。28 电子电子 图表

124、图表57:SAM 的通用分割模型的通用分割模型 资料来源:Meta 官网,华泰研究 CV 大模型大模型#2:DINOv2 视觉大模型完全自监督,无需微调。视觉大模型完全自监督,无需微调。2021 年 4 月,Meta 公开了DINO 算法,通过自监督学习,DINO 可以从大量未标注的图像中提取视觉特征,这些特征对于各种下游计算机视觉任务非常有用,例如图像分类、物体检测和语义分割。2023 年 4月,Meta 开源 DINOv2 版本,相比较原始的 DINO 模型,DINOv2 能够对视频进行处理,生成比原始 DINO 方法更高质量的分割结果。模型除了具备图像的识别、分类、分割处理等图像特征提取

125、功能外,还具有语义分割,完善了以图搜图功能。图表图表58:DINOv2 能够生成比原始能够生成比原始 DINO 方法更高质量的分割方法更高质量的分割 图表图表59:DINOv2 在自监督学习方面有显著改进在自监督学习方面有显著改进 资料来源:Meta 官网,华泰研究 资料来源:Meta 官网,华泰研究 多模态模型多模态模型#1:ImageBind 用图像对齐六模态,旨在实现感官大一统。用图像对齐六模态,旨在实现感官大一统。2023 年 5 月,Meta开源 ImageBind 新模型,是一个像人类一样结合不同感官的新 AI 模型,能够同时从文本、图像/视频、音频、深度(3D)、热能(红外辐射)

126、和惯性测量单元(IMU)等六种不同的模态中学习。ImageBind 可以使用文本、音频和图像的组合来搜索照片、视频、音频文件或文本消息。ImageBind 用于丰富的多媒体搜索、虚拟现实甚至机器人技术,可以和 Meta 内部的虚拟现实、混合现实和元宇宙等技术相结合。通用分割模型图像图像编码器图像嵌入down样本掩码轻量级掩码解码器提示解码器点 盒子 文本有效掩码置信度分数置信度分数置信度分数 免责声明和披露以及分析师声明是报告的一部分,请务必一起阅读。29 电子电子 图表图表60:千千脑智能脑智能 ImageBind 能调动能调动 6 种感知区域进行联动交流种感知区域进行联动交流 图表图表61

127、:ImageBind 的多模态能力的多模态能力 资料来源:Meta 官网,华泰研究 资料来源:Meta 官网,华泰研究 AWS:全球卓越的云服务平台发力:全球卓越的云服务平台发力 AIGC 市场市场 发展历程:全球领先的云服务平台强势入局发展历程:全球领先的云服务平台强势入局 AIGC AWS 是亚马逊专门负责云计算的子公司。是亚马逊专门负责云计算的子公司。亚马逊成立于 1994 年,是目前全球最大的互联网线上零售商之一。AWS(Amazon Web Services)于 2016 年正式推出,是亚马逊公司旗下的子公司,向个人、企业和政府提供按需即用云计算平台以及应用程序接口,并按照使用量计费

128、。2002 年 7 月,亚马逊的“A Web Services”上线了首款 Web 服务。2006 年 3 月,AWS 推出了 Amazon S3 云存储,随后于 2006 年 8 月推出了 EC2。AWS 四项技术创新助力四项技术创新助力 AIGC 发展。发展。2023 年 4 月,AWS 正式入局 AIGC,推出自有基础模型 Titan 和 AIGC 服务 Bedrock,以及 AI 编程助手 Amazon CodeWhisperer,并宣布基于自研推理和训练AI芯片的最新实例Amazon EC2 Trn1n和Amazon EC2 Inf2正式可用。图表图表62:AWS 发展历程发展历程

129、资料来源:AWS 官网,华泰研究 深度文本音频热能IMU跨模态检索音频图像&视频深度文本嵌入空间算法音频到图像的生成图像检索到的图像音频音频生成图像火车号角汽车加速企鹅叫声“一列火车驶入一个繁忙的车站。”、“火车在草地上行驶时,风在吹。”、“人们在餐车里喝咖啡。”Amazon Titan&Amazon Bedrock至今至今AWS InferentiaAI推理芯片2018年年11月月2022年年10月月Amazon SageMaker2017年年11月月云机器学习平台2021年年1月月Amazon CodeWhisperer2023年年4月月AWS TrainiumAI训练芯片2020年年12

130、月月2006年年3月月AWS正式推出云计算产品2022年年8月月200 亿参数模型AlexaTM 20B2023年年4月月大语言模型Amazon Titan&生成式AI服务Amazon Bedrock代码生产工具基于AWS Inferentia的Amazon EC2 Inf1实例基于AWS Trainium的Amazon EC2 Trn1实例基于AWS Inferentia2的Amazon EC2 Inf2实例、基于AWS Trainium的Amazon EC2 Trn1n实例 免责声明和披露以及分析师声明是报告的一部分,请务必一起阅读。30 电子电子 图表图表63:AWS 的的 AIGC 布

131、局布局 资料来源:AWS 官网,华泰研究 算力:提供最具成本效益的生成式算力:提供最具成本效益的生成式 Al 云基础设施云基础设施 Inferentia 是是 ML/DL 推理(推理(Inference)加速器。)加速器。2018 年 11 月,AWS 发布首款云端 AI芯片 Inferentia,旨在以极低成本交付高吞吐量、低延迟推理性能。2021 年 1 月,AWS 推出基于 AWS Inferentia 加速器的 Amazon EC2 Inf1 实例,与当前一代基于 GPU 的 Amazon EC2 实例相比,吞吐量最高可提高 2.3 倍,每次推理的成本降低多达 70%。2023 年 4

132、 月,AWS 推出配备 Amazon Inferentia2 芯片的 Amazon EC2 Inf2 实例。与第一代 AWS Inferentia 相比,Inferentia2 的吞吐量提高了 4 倍,延迟低至前者的 1/10。图表图表64:AWS Inferentia2 资料来源:AWS 官网,华泰研究 Trainium 是是 ML/DL 训练(训练(Training)加速器。)加速器。2020 年 12 月,AWS 发布第二款定制的机器学习芯片 AWS Trainium,支持 TensorFlow、PyTorch 和 MXNet 等框架。2022 年 10月,AWS 推出 Amazon E

133、C2 Trn1,基于 Trainium 的 EC2 Trn1 实例与基于 GPU 的同类实例相比,可节省高达 50%的训练成本。2023 年 4 月,AWS 推出配备 AWS Trainium 的Amazon EC2 Trn1n 实例,相比于 Trn1 网络带宽提升了 1 倍,从之前的 800GB 左右提升到 1.6TB,旨在为大型的网络密集型的模型训练来使用。免责声明和披露以及分析师声明是报告的一部分,请务必一起阅读。31 电子电子 图表图表65:UltraCluster 适用于超大型模型适用于超大型模型 资料来源:AWS 官网,华泰研究 框架:一站式机器学习平台框架:一站式机器学习平台 A

134、mazon SageMaker 助力助力 AIGC 2017 年,AWS 推出 Amazon SageMaker,是一项完全托管的服务,可通过完全托管的基础设施、工具和工作流程为任何用例准备数据并构建、训练和部署机器学习(ML)模型。它支持 MXNet、TensorFlow、PyTorch 等多种深度学习框架,同时提供了许多其他工具和功能。2022 年,AWS 与 Al 绘画独角兽 Stability Al 宣布组成联盟,成为 Stability AI 构建和训练 AI 内容生成模型的“首选云合作伙伴”。在 IDC2022 年发布的2022 年亚太地区(不含日本)AI 生命周期软件工具和平台供

135、应商评估中,AWS 凭借 Amazon SageMaker 强大、丰富且灵活的功能和广泛的交付能力及对开源项目的持续贡献,获评 AI 生命周期软件领导者。图表图表66:AWS 在在2022 年亚太地区(不含日本)年亚太地区(不含日本)AI 生命周期软件工具和平台供应商评估中获评生命周期软件工具和平台供应商评估中获评 AI 生命周期软件领导者生命周期软件领导者 资料来源:亚马逊云科技官微,华泰研究 UltraCluster适用于超大型模型UltraCluster适用于超大型模型Petabits/s吞吐量,数十亿IOPS千兆non-blocking TOR每个 Trn1 实例均可支持高达 800

136、Gbps 的 EFAv2 带宽 免责声明和披露以及分析师声明是报告的一部分,请务必一起阅读。32 电子电子 模型:推出模型:推出 Titan 大模型及中立托管平台大模型及中立托管平台 Bedrock 2023 年 4 月,AWS 推出的自研语言大模型 Titan。Titan 系列模型分为两种,一种是用于内容生成的文本模型 Titan text,可以执行诸如撰写博客文章和电子邮件、总结文档和从数据库中提取信息等任务。另一种是可创建矢量嵌入的嵌入模型 Titan Embeddings,能够将文本输入(字词、短语甚至是大篇幅文章)翻译成包含语义的数字表达的大语言模型。中立托管平台中立托管平台 Ama

137、zon Bedrock 让让 AIGC 变得普惠。变得普惠。2023 年 4 月,AWS 推出 Amazon Bedrock,让企业级客户能快速、安全和高性价比地调用多种大模型构建自己的程序。区别于谷歌和微软已发布面向大众的产品,AWS 瞄准的是企业客户,并且期望作为一个“中立”的生成式 AI 大模型托管平台,不依赖于任何一家 AI 初创公司。借助 Bedrock,企业级客户能通过 API 调用来自不同提供商的 AI 模型,例如 AI21 Labs 的 Jurassic-2、Anthropic 的Claude、Stability AI 的 Stable Diffusion 以及 AWS 自研模

138、型 Titan。产品:免费向个人开放产品:免费向个人开放 AI 编程助手编程助手 Amazon CodeWisperer AI 编程助手编程助手 Amazon CodeWhisperer 提高开发者效率。提高开发者效率。2022 年,AWS 推出 Amazon CodeWhisperer 预览版,这是一款 AI 编程助手,通过内嵌的基础模型,可以根据开发者用自然语言描述的注释和集成开发环境(IDE)中的既有代码实时生成代码建议,从而提升开发者的生产效率。2023 年 4 月,AWS 将 Amazon CodeWhisperer 面向个人开发者免费开放,在适用 Python、Java、JavaS

139、cript、TypeScript 和 C#之外,新增支持 Go、Kotlin、Rust、PHP 和 SQL 等十种开发语言。开发者可以通过在 VS Code、IntelliJ IDEA、Amazon Cloud9 等集成开发环境中的 Amazon Toolkit 插件访问 CodeWhisperer。图表图表67:Amazon CodeWhisperer 示例示例 资料来源:AWS 官网,华泰研究 Anthropic:OpenAI 前核心成员创建的人工智能安全与研究公司前核心成员创建的人工智能安全与研究公司 由由 OpenAI 的前核心成员创立,愿景是构建可靠、可解释和可操控的的前核心成员创立

140、,愿景是构建可靠、可解释和可操控的 AI 系统系统 Anthropic 是一家人工智能安全与研究公司,由 OpenAI 的前核心成员创立,愿景是构建可靠、可解释和可操控的 AI 系统。在 OpenAI 接受微软投资并转向盈利模式后,团队在人工智能开发的道路上产生了分歧,时任研究副总裁的 Dario Amodei 和其他数十位 OpenAI 核心成员选择离职,其中包含 8 位 GPT 系列作者,并于 2021 年创立 Anthropic,研究目标为AI 安全与大模型。公司期望能颠覆现有的深度学习范式,通过构建可解释性人工智能模型(Interpretable AI),解决神经网络的黑匣子问题。免责

141、声明和披露以及分析师声明是报告的一部分,请务必一起阅读。33 电子电子 图表图表68:从从 OpenAI 离职并加入离职并加入 Anthropic 的部分的部分 GPT 系列作者情况系列作者情况 资料来源:量子位公众号,海外独角兽公众号,华泰研究 Anthropic 前期以科研为重心,研究前期以科研为重心,研究 AI 模型的安全问题模型的安全问题 Anthropic 创立之初专注于科研,成立以来已经发表了 15 篇论文,研究方向包括自然语言、人类反馈、关于意图和结果间偏差的对齐问题、可解释性、社会影响等方面。2022 年 12月,Anthropic 提出构建 Constitutional AI

142、 的方法,即人类不再手工为每个有害输出打标签,而是为 AI 指定一套行为规范或原则,模型产生无害性偏好的数据集,并且能够利用 AI 监督AI 进行快速修复。Constitutional AI 的提出使得更精确、更自动化地控制的提出使得更精确、更自动化地控制 AI 的行为成为的行为成为可能,降低可能,降低 AI 模型产生有害内容的风险。模型产生有害内容的风险。加快商业化脚步,推出加快商业化脚步,推出 ChatGPT 的有力对手的有力对手 Claude Anthropic 于于 1Q23 正式加速商业化。正式加速商业化。公司推出以 Constitutional AI 为基础构建的聊天机器人 Cla

143、ude,与 ChatGPT 构成竟争。Claude 包含两个产品类型:1)Claude Instant:针对低延迟、高吞吐量用例进行了优化;2)Claude-v1:在复杂推理的任务上表现更优。Claude当前已拥有十余家合作伙伴,共同探索在生产力、对话、医疗、客户成功、HR 和教育等领域的应用。图表图表69:Anthropic 的模型和应用的模型和应用 注:蓝色方框表示模型,红色六边形表示产品 资料来源:斯坦福 Ecosystem Graphs,华泰研究 姓名职位在的任职和贡献AnthoropicOpenAIDario AmodeiCo-Founder&CEOOpenAl Research V

144、P,GPT-2GPT-3OpenAlJack ClarkCo-FounderOpenAlGPT-3Sam McCandlishCo-Founder ScalingOpenAl Research Leadscaling lawsGPT-3CodexTom B.BrownCo-FounderModel EngineeringOpenAl Technical StaffGPT-31.5B170BJared KaplanCo-FounderAlignment ScienceOpenAlGPT-3Benjiamin MannCo-FounderAPIOpenAl Technical StaffGPT-3

145、曾任领导和的工作,负责制定整体方向和年度路线图负责对外事务曾任政策主管,参与项目负责曾任,负责,参与项目,所领导项目后成为负责曾任,领导的工程化,负责分布式训练的基础架构,支持将参数从扩展到的量级负责负责技术产品曾任研究顾问,参与项目负责曾是,论文核心作者 免责声明和披露以及分析师声明是报告的一部分,请务必一起阅读。34 电子电子 Claude 与 ChatGPT 相比,Claude 的优点是更擅长拒绝不恰当请求、更有趣、更健谈以及写作的句子衔接更自然;但缺点在于代码生成或推理方面,出现的错误更多;在逻辑问题的计算或推理上,两者旗鼓相当。图表图表70:遇到无法回答的问题时,遇到无法回答的问题时

146、,Claude 会主动坦白会主动坦白 图表图表71:在代码生成或推理方面,在代码生成或推理方面,Claude 出现错误较多出现错误较多 资料来源:Meet Claude:Anthropics Rival to ChatGPT(Riley Goodside and Spencer Papay,2023),华泰研究 资料来源:Meet Claude:Anthropics Rival to ChatGPT(Riley Goodside and Spencer Papay,2023),华泰研究 成立成立长期利益委员会长期利益委员会,帮助,帮助平衡平衡 AI 安全的研究和商业化进度安全的研究和商业化进度

147、的关系的关系。为了免受商业化的干扰,Anthropic 公司注册为公共利益公司(Public Benefit Corporation,PBC),并建立了一个长期利益委员会,该委员会由与公司或其投资人无关的人组成,他们将对包括董事会的组成在内的事项拥有最终决定权。Anthropic 加速融资以支撑加速融资以支撑 AI 模型训练和部署模型训练和部署 LLM 的训练和部署需要消耗大量的资金和计算资源,Anthropic 今年预计花费 10 亿美元训练和部署大模型,两年后更是需要 30-50 亿美元的资金。2023 年以来,Anthropic 已经接受了 3 轮来自 Google、Spark Capi

148、tal 和 Salesforce Ventures 的投资,目前估值约 50 亿美元。公司已把 Claude 集成到把 Slack 平台中,并且将使用 Google 提供的云服务。图表图表72:Anthropic 的融资进程的融资进程 资料来源:IT 桔子,华泰研究 披露时间披露时间轮次轮次融资金额融资金额估值估值投资方投资方2023-05-24C轮4.5亿美元50亿美元Spark Capital(领投)谷歌SalesforceSound VenturesZoom Ventures2023-03-09战略投资3亿美元41亿美元Spark Capital2023-02-03C轮3亿美元30亿美元

149、谷歌2022-04-29B轮5.8亿美元-Sam Bankman-Fried(FTX CEO)领投;Jaan Tallinn,Caroline Ellison,Nishad Singh,CenterforEmerging Risk Research,James McClave2021-05-28A轮1.24亿美元-Jaan Tallinn 领投;Eric Schmidt,Dustin Moskovitz,Center for EmergingRiskResearch,James McClave 免责声明和披露以及分析师声明是报告的一部分,请务必一起阅读。35 电子电子 国内大模型:互联网巨头和

150、已有充分积累的初创公司国内大模型:互联网巨头和已有充分积累的初创公司 百度:昆仑芯百度:昆仑芯+飞桨平台飞桨平台+文心大模型,构建广泛应用端生态文心大模型,构建广泛应用端生态 百度是当前唯一一家在芯片层、框架层、模型层和应用层都有领先产品布局的企业,四层百度是当前唯一一家在芯片层、框架层、模型层和应用层都有领先产品布局的企业,四层架构相互协同优化,可以显著地降本增效。架构相互协同优化,可以显著地降本增效。在芯片层,百度昆仑芯科技已实现两代通用 AI芯片“昆仑”的量产及应用,为大模型落地提供强大算力支持。在框架层,“飞桨”是国内首个自主研发的产业级深度学习平台,集基础模型库、端到端开发套件和工具

151、组件于一体,有效支持文心大模型高效、稳定训练。在模型层,“文心大模型”包括基础大模型、任务大模型、行业大模型三级体系,全面满足产业应用需求。在应用层,文心已大规模应用于百度自有业务的各类产品,并通过企业级平台“文心千帆”进一步推动生态构建。图表图表73:百度大模型的发展历程百度大模型的发展历程 资料来源:昆仑芯科技官网、百度官网、华泰研究 团队:百度团队:百度 CTO 王海峰领衔,技术大牛带队王海峰领衔,技术大牛带队 百度百度 CTO 王海峰作为领头人推动百度的王海峰作为领头人推动百度的 AI 技术战略发展和生态构建。技术战略发展和生态构建。王海峰曾任职于微软,先后主持 Bing 语义搜索、微

152、软小冰等项目;其于 2010 年加入百度,并在 2018 年升任百度 CTO,曾推出百度大脑、百度小度等一系列产品。其他带队的高管还包括百度集团副总裁兼深度学习技术及应用国家工程研究中心副主任吴甜、百度技术委员会主席吴华等。吴甜于 2006 年加入百度,目前负责百度 AI 技术平台和智能云 AI 产品,领衔研发为文心大模型提供支撑的飞桨深度学习平台。吴华曾在百度带领团队出世界首个互联网 NMT(神经网络机器翻译)系统,目前主要带领 NLP 大模型的技术推进。算力:两代自研通用算力:两代自研通用 AI 芯片“昆仑”支持大模型落地芯片“昆仑”支持大模型落地 百度旗下的芯片公司昆仑芯科技已实现两代通

153、用百度旗下的芯片公司昆仑芯科技已实现两代通用 AI 芯片产品的量产及落地应用。芯片产品的量产及落地应用。昆仑芯 1代 AI 芯片于 2020 年量产,是国内唯一一款经历过互联网大规模核心算法考验的云端 AI 芯片,当前已被广泛部署在互联网、工业制造、智慧城市、智慧交通、科研等领域。昆仑芯 2代 AI 芯片于 2021 年 8 月量产发布,是国内首款采用 GDDR6 显存的通用 AI 芯片,相比昆仑芯 1 代 AI 芯片性能提升 2-3 倍,且在通用性、易用性方面也有显著增强。目前,昆仑芯已在百度搜索等业务场景落地,也为大模型训练提供底层算力支撑。百度之外,昆仑芯还可为客户提供大模型定制服务,凭

154、借强大算力为大模型落地提供全流程支持。至今2022年8月AI艺术与辅助创作平台文心一格推出ERNIE-ViLG 2.0知识增强跨模态大模型文心一言ERNIE Bot“知识+检索+对话”增强的NLP大模型2018年自研AI通用芯片昆仑1代发布2020年昆仑芯1代系列产品大规模部署2021年8月昆仑芯2代系列产品量产发布2023年3月文心千帆Ernie 1.0NLP模型;中国首个正式开放的预训练模型2019年Plato隐变量对话大模型2019年9月Plato-XL中英对话生成大模型2021年9月Ernie-viLG中文跨模态生成大模型2021年12月鹏城-百度 文心知识增强NLP大模型2021年1

155、2月Plato-2one-to-one+隐变量对话大模型2020年6月Ernie 3.0知识增强NLP大模型2021年7月ERNIE 3.0 Zeus任务知识增强NLP大模型2021年百度芯片业务独立,昆仑芯科技完成独立融资,首轮估值约130亿元2022年5月百度联合国家电网、浦发银行发布2个行业大模型2022年7月推出世界首个航天领域大模型“航天-百度 文心”2022年11月百度联合深圳燃气、吉利、泰康保险、TCL、上海辞书出版社、人民网、哈尔滨、电影频道陆续推出行业大模型AI艺术与辅助创作平台文心一格推出 免责声明和披露以及分析师声明是报告的一部分,请务必一起阅读。36 电子电子 框架:产

156、业级深度学习平台“飞桨”为大模型构建提供有力支撑框架:产业级深度学习平台“飞桨”为大模型构建提供有力支撑 我国首个自主研发、功能丰富、开源开放的产业级深度学习平台飞桨(PaddlePaddle)是百度大模型背后的有力支撑。飞桨以百度多年的深度学习技术研究和业务应用为基础,集深度学习核心训练和推理框架、基础模型库、端到端开发套件和丰富的工具组件于一体,有效支持文心大模型高效、稳定训练。截至目前,飞桨已和 22 家国内外硬件厂商完成了超过 30 种芯片的适配和联合优化,国产芯片适配第一。图表图表74:飞桨全景图飞桨全景图 资料来源:飞桨官网,华泰研究 文心大模型:“基础文心大模型:“基础+任务任务

157、+行业”大模型三层体系全面满足产业应用需求行业”大模型三层体系全面满足产业应用需求 百度文心大模型体系构建了文心大模型、工具与平台两层体系。在模型层,文心大模型包括基础大模型、任务大模型、行业大模型三级体系,打造大模型总量近 40 个,全面满足产业应用需求,涵盖电力、燃气、金融、航天等领域。基础大模型针对特定任务预训练构建任务大模型,任务大模型结合垂直领域数据和知识进一步形成行业大模型,行业大模型则在应用场景的数据反哺基础大模型优化。在工具与平台层,大模型开发套件、文心 API 以及提供全流程开箱即用大模型能力的 EasyDL 和 BML 开发平台,帮助全方位降低应用门槛。图表图表75:文心全

158、景图文心全景图 资料来源:文心大模型官网,华泰研究 免责声明和披露以及分析师声明是报告的一部分,请务必一起阅读。37 电子电子 应用:大模型生态逐步构建,推动应用:大模型生态逐步构建,推动 AI 落地产业落地产业 文心大模型是目前国内预训练大模型应用端生态最好的大模型之一文心大模型是目前国内预训练大模型应用端生态最好的大模型之一。在百度自有业务中,文心已大规模应用于百度内部的各类产品,包含百度搜索、度小满金融、小度智能屏、百度地图等。例如,度小满的智能征信中台将文心 ERNIE 大模型应用在征信报告的解读上,能够将报告解读出 40 万维的风险变量,以更好地识别小微企业主的信贷风险。在百度业务之

159、外,文心大模型联合国网、浦发、中国航天、人民网等企业推出了 11 个行业大模型,让大模型加速推动行业的智能化转型升级。例如,根据文心大模型官网,与深圳燃气联合建立的深圳燃气百度文心大模型,在工业巡检、环境巡检场景下,准确率和召回率分别平均提升 2.5%和 4.5%,且所需标注数据相比传统模型下降 90%,泛化能力大幅提升。文心一言生态逐步构建,加速生成式文心一言生态逐步构建,加速生成式 AI 应用需求落地。应用需求落地。2023 年 3 月,百度率先发布国内第一个类 ChatGPT 生成式大语言模型“文心一言”,展示了其在文学创作、商业文案创作、数理逻辑推理、中文理解、多模态生成方面的能力,并

160、宣布已有超过 650 家企业宣布接入文心一言生态。同月,百度智能云发布的一站式企业级大模型平台“文心千帆”,平台提供基于文心一言的数据管理、模型定制微调、推理云等服务,助力各行业的生成式 AI 应用需求落地,进一步推动文心一言生态构建。阿里巴巴:通义大模型构建大一统模型,阿里巴巴:通义大模型构建大一统模型,所有产品将接入通义千问所有产品将接入通义千问 阿里达摩院:孕育阿里巴巴人工智能的技术沃土阿里达摩院:孕育阿里巴巴人工智能的技术沃土 阿里达摩院于 2017 年成立,在 NLP 自然语言处理等前沿科研领域持续布局,于 2019 年启动大模型研发,先后公布多个版本大模型和“通义”大模型系列。20

161、23 年 2 月,达摩院将注册资本从 1000 万元增加至 3 亿元,新增投资将用于持续布局 AI 底层技术。阿里达摩院的大模型主力团队由兼具阿里达摩院的大模型主力团队由兼具 AI 领域的学术能力和项目经验的能力者带领。领域的学术能力和项目经验的能力者带领。模型主力团队的“一号位”是周靖人,曾在微软任首席科学家,带领必应搜索基础设施团队和大数据部门;于 2016 年加入阿里,曾任阿里云首席科学家,现升任阿里达摩院副院长兼阿里云智能 CTO。三大主力团队是“语言技术实验室”、“视觉智能实验室”以及“智能计算实验室”,分别以 NLP、CV、计算能力为目标。三个团队的领导者均是背景豪华、兼具学术能力

162、和项目经验的能力者。NLP 团队的黄非,曾任职于 IBM、Facebook,在阿里领导 AliNLP的基础技术研发和业务落地;CV 团队的赵德丽,曾供职于小米、微软亚洲研究院;智能计算实验室的周畅,曾负责多模态模型 M6、M6-OFA 及相关 AIaaS 服务项目。免责声明和披露以及分析师声明是报告的一部分,请务必一起阅读。38 电子电子 图表图表76:阿里达摩院的大模型主力团队阿里达摩院的大模型主力团队 资料来源:职场 Bonus,华泰研究 算力:自研芯片含光算力:自研芯片含光 800 和倚天和倚天 710 提供高性价比算力支持提供高性价比算力支持 阿里巴巴自研芯片含光阿里巴巴自研芯片含光

163、800 和倚天和倚天 710 共同为共同为 AI 大模型提供算力支持。大模型提供算力支持。达摩院于 2018 年成立了平头哥半导体有限公司,以推进云端一体化的芯片布局。含光 800 是一款于 2019年推出的专门为分布式计算和 AI 任务设计的芯片,比当时业界最好的 AI 芯片性能高 4 倍。倚天 710 是中国首个云上大规模应用的自研 CPU,当前已在阿里云数据中心大规模部署,并以云的形式服务阿里巴巴和多家互联网科技公司,将算力性价比提升超 30%、单位算力功耗降低 60%。此外,阿里云于 2022 年云栖大会上还发布了云基础设施处理器(CIPU),CIPU 相比 CPU 性能更高、更稳定,

164、将算力输送能力提升至新水平。框架:统一易用的分布式深度学习训练框架框架:统一易用的分布式深度学习训练框架 EPL 支撑“大一统”模型构建支撑“大一统”模型构建 EPL 是一个统一多种并行策略、易用的分布式深度学习训练框架,为万亿级大模型的低碳是一个统一多种并行策略、易用的分布式深度学习训练框架,为万亿级大模型的低碳高效训练提供有力支撑。高效训练提供有力支撑。阿里云机器学习 PAI 团队于 2022 年 3 月宣布开源自主研发的分布式训练框架 EPL(Easy Parallel Library),EPL 通过对不同并行化策略进行统一抽象、封装,在一套分布式训练框架中支持多种并行策略,并进行显存、

165、计算、通信等全方位优化来提供易用、高效的分布式训练框架。EPL 为万亿级大模型的低碳高效训练提供有力支撑,10 万亿级模型 M6-10T 就是基于 EPL 框架训练而成。相比之前发布的大模型 GPT-3,M6实现同等参数规模的训练能耗仅为其 1%,做到了业内极致的低碳高效。免责声明和披露以及分析师声明是报告的一部分,请务必一起阅读。39 电子电子 图表图表77:EPL 的整体架构的整体架构 资料来源:阿里云官网,华泰研究 通义大模型:基于通义大模型:基于 AI 统一底座的层统一底座的层次化体系次化体系 达摩院构建了达摩院构建了 AI 统一底座统一底座 M6-OFA,在业界首次实现大模型的模态表

166、示、任务表示、模型,在业界首次实现大模型的模态表示、任务表示、模型结构的统一。结构的统一。通过这种统一学习范式,在不引入新增结构的情况下,单一模型即可同时处理图像描述、视觉定位、文生图、视觉蕴含、文档摘要等 10 余项单模态和跨模态任务,且效果达到国际领先水平。此外,模型设计借鉴了人脑模块化设计,以场景为导向灵活拆拔功能模块,实现高效率和高性能。图表图表78:M6-OFA 具备处理多模态任务的“大一统”能力具备处理多模态任务的“大一统”能力 资料来源:OFA:Unifying Architectures,Tasks,and Modalities Through a Simple Sequenc

167、e-to-Sequence Learning Framework(Wang et al.,2022),华泰研究 通义大模型基于国内首个通义大模型基于国内首个 AI 统一底座,并构建通用与专业模型协同的层次化统一底座,并构建通用与专业模型协同的层次化 AI 体系。体系。2022年 9 月,阿里达摩院发布“通义”大模型系列,其架构分为三个层次:1)模型底座层:多模态统一底座模型 M6-OFA,实现统一的学习范式和模块化设计;2)通用模型层:多模态模型“通义-M6”、NLP 模型“通义-AliceMind”以及 CV 模型“通义-视觉”;3)行业模型层:深入电商、医疗、法律、金融、娱乐等行业。免责声

168、明和披露以及分析师声明是报告的一部分,请务必一起阅读。40 电子电子 图表图表79:通义大模型架构通义大模型架构 资料来源:阿里云开发者网站,华泰研究 应用:赋能产品应用增效,推出模型即服务共享平台应用:赋能产品应用增效,推出模型即服务共享平台 通过部署超大模型的轻量化及专业模型版本,通义大模型已在超过通过部署超大模型的轻量化及专业模型版本,通义大模型已在超过 200 个场景中提供服务,个场景中提供服务,实现实现 2%10%的应用效果提升。的应用效果提升。在搜索场景中,可实现以文搜图的跨模态搜索。在 AI 辅助审判中,可实现司法卷宗的事件抽取、文书分类等任务效果 35%的提升。在人机对话领域,

169、初步具备知识、记忆、情感以及个性的中文开放域对话大模型可实现主动对话、广泛话题、紧跟热点等对话体验。此外,通义大模型在 AI 辅助设计、医疗文本理解等其他领域也有丰富的应用场景。阿里旗下所有产品将接入通义千问,并将向企业开放通义千问阿里旗下所有产品将接入通义千问,并将向企业开放通义千问 API。2023 年 4 月,阿里巴巴发布类 ChatGPT 的大语言模型“通义千问”,模型可提供文案创作、对话聊天、知识问答、逻辑推理、代码编写、文本摘要以及图像视频理解服务。未来,阿里巴巴所有产品都将接入大模型进行全面升级。例如,钉钉在接入通义千问后,可实现撰写邮件、生成方案、总结会议纪要等近 10 项新

170、AI 功能。此外,通义千问 API 将开放给企业级用户来训练企业专属垂直领域的大模型。例如,阿里云宣布将与 OPPO 安第斯智能云合作,基于通义千问大模型的能力打造 OPPO 大模型基础设施,以支撑其海量终端用户的 AI 服务。图表图表80:阿里所有产品未来将接入大模型全面升级阿里所有产品未来将接入大模型全面升级 资料来源:阿里云开发者社区,华泰研究 免责声明和披露以及分析师声明是报告的一部分,请务必一起阅读。41 电子电子 AI 开源社区魔搭开源社区魔搭 ModelScope 旨在打造下一代模型即服务(旨在打造下一代模型即服务(Model as a Service)的共享)的共享平台。平台。

171、阿里于 2022 年云栖大会推出魔搭社区 ModelScope,整合业界多方模型提供者,提供众多预训练基础模型和 API 接口,开发者只需针对具体场景再稍作调优,就能将模型快速投入使用。目前该平台已有超过 300 个开源模型,超过 1/3 为中文模型,包括阿里自有的通义大模型系列以及澜舟科技孟子系列模型等外部资源和能力。腾讯:算力集群腾讯:算力集群+混元大模型,赋能自身业务生态降本增效混元大模型,赋能自身业务生态降本增效 团队:混元助手项目组由大牛带队,团队:混元助手项目组由大牛带队,3 位位 PM 顶梁,聚集跨事业群精英顶梁,聚集跨事业群精英 腾讯针对类腾讯针对类 ChatGPT 对话式产品

172、已成立混元助手(对话式产品已成立混元助手(HunyuanAide)项目组。)项目组。项目组将联合腾讯内部多方团队构建大参数语言模型,目标是“通过性能稳定的强化学习算法训练,完善腾讯智能助手工具,打造腾讯智能大助手,并能成为国内的业界标杆”。项目组 Owner为张正友,曾任微软视觉技术组高级研究员,2018 年加入腾讯担任 Robotics X 实验室及腾讯 Al Lab 负责人,2021 年升任腾讯首位 17 级杰出科学家,是腾讯史上最高专业职级拥有者。3 位 PM(Programme Manager)为俞栋、王迪、刘田,能力上分别侧重于算法、工程和商业化。组长们则由腾讯各重要部门的负责人构成

173、,凝聚腾讯内部多个团队的能力。图表图表81:腾讯混元助手项目组腾讯混元助手项目组 资料来源:职场 Bonus,华泰研究 算力:自研三款芯片和搭建算力集群以满足算力:自研三款芯片和搭建算力集群以满足 AI 大模型训练需求大模型训练需求 在 2021 年腾讯数字生态大会上,腾讯推出了三款自研芯片,包含 AI 推理芯片“紫霄”、视频转码芯片“沧海”以及智能网卡芯片“玄灵”。其中,紫霄芯片已在内部业务中投用,提供高达 3 倍的计算加速性能和超过 45%的整体成本节省;沧海芯片则已量产并投用数万片,免责声明和披露以及分析师声明是报告的一部分,请务必一起阅读。42 电子电子 面向腾讯自研业务和公有云客户提

174、供服务。此外,面向 AI 大模型训练需求,腾讯云于 2023年 4 月发布新一代 HCC(High-Performance Computing Cluster)高性能计算集群。集群采用腾讯云星星海自研服务器,搭载英伟达最新代次 H800 GPU,将整体性能提升了 3 倍,为大模型训练、自动驾驶、科学计算等提供高性能、高带宽和低延迟的集群算力。混元大模型:依托低成本算力和自研底座构建,模型可直接落地应用混元大模型:依托低成本算力和自研底座构建,模型可直接落地应用 基于腾讯强大的底层算力和低成本的高速网络基础设施,腾讯混元(HunYuan)大模型依托腾讯自研的太极机器学习平台构建而成。在模型层,混

175、元大模型完整覆盖 NLP 大模型、CV 大模型、多模态大模型、文生图大模型及众多行业/领域/任务模型。其中,HunYuan-NLP 1T 是国内首个低成本、可直接落地应用的 NLP 万亿大模型,其模型能力在自然语言理解任务榜单 CLUE 中登顶。在产业化应用上,混元大模型支持腾讯广告、搜索、推荐、游戏、社交等多个互联网业务生态的赋能和升级,实现技术复用和业务降本增效。图表图表82:HunYuan 混元大模型全景图混元大模型全景图 资料来源:量子位公众号,华泰研究 图表图表83:HunYuan-NLP 1T 登顶自然语言理解任务榜单登顶自然语言理解任务榜单 CLUE 资料来源:CLUE 官网,华

176、泰研究 应用:赋能自身业务生态降本增效,广告类应用效果出众应用:赋能自身业务生态降本增效,广告类应用效果出众 HuanYuan 混元混元大模型已在腾讯多个核心业务场景落地,并带来了显著的效果提升。大模型已在腾讯多个核心业务场景落地,并带来了显著的效果提升。大模型支持了微信、QQ、游戏、腾讯广告、腾讯云等众多产品和业务,尤其是其在广告内容理解、行业特征挖掘、文案创意生成等方面模型表现出色。例如,腾讯打造了以混元大模型为技术底座的广告多媒体 AI 技术矩阵,在广告投放中,相比以前的小模型算法,腾讯广告精排大模型当时累计给广告主带来 15%的成交总额 GMW(Gross Merchandise Vo

177、lume)的提升。免责声明和披露以及分析师声明是报告的一部分,请务必一起阅读。43 电子电子 图表图表84:HunYuan 混元大模型助力腾讯显著降本增效,在对话生成、小说续写、文案创意生成等场景均有落地案例混元大模型助力腾讯显著降本增效,在对话生成、小说续写、文案创意生成等场景均有落地案例 资料来源:量子位公众号,华泰研究 华为:昇腾芯片华为:昇腾芯片+MindSpore+盘古大模型,盘古大模型,B 端应用场景落地可期端应用场景落地可期 领导者:华为云领导者:华为云 AI 首席科学家田奇首席科学家田奇 华为云华为云 AI 首席科学家田奇是盘古大模型团队的负责人。首席科学家田奇是盘古大模型团队

178、的负责人。田奇曾于 2008 至 2009 年,从大学调至微软亚洲研究院多媒体计算组进行研究工作。2018 年,田奇加入华为担任首席科学家,负责华为云相关业务,华为云是目前国内云服务市占率最高的厂商。当前,田奇正带领团队推动盘古大模型从科研创新走向产业应用,逐步构建大模型的应用生态。算力:以自研算力:以自研 AI 芯片昇腾作为根基,打造芯片昇腾作为根基,打造 AI 产业平台产业平台 华为昇腾芯片包括用于训练的算力最强 AI 芯片昇腾 910,以及用于推理的全栈全场景 AI芯片昇腾 310。2019 年 8 月推出的昇腾 910 算力超英伟达 Tesla V100 一倍,在同等功耗下拥有的算力资

179、源达到了当时业内最佳水平的两倍。目前,“昇腾 AI”基础软硬件平台已成功孵化和适配了 30 多个主流大模型,为我国一半以上的原生大模型提供算力支撑。基于该平台,昇腾 AI 产业已与 20 多家硬件伙伴和 1100 多家软件伙伴建立了合作关系,并共同推出了 2000 多个行业 AI 解决方案,参与其中的开发者数量突破 150 万。框架:深度学习框架框架:深度学习框架 MindSpore 和一站式和一站式 AI 开发平台开发平台 ModelArts 提升模型开发效率提升模型开发效率 深度学习框架深度学习框架 MindSpore 从训练推理部署全流程支撑模型高效开发,是国内社区中最活跃、从训练推理部

180、署全流程支撑模型高效开发,是国内社区中最活跃、关注度最高、被应用最多的框架之一。关注度最高、被应用最多的框架之一。匹配昇腾 AI 处理器,MindSpore 有效克服 AI 计算的复杂性和算力的多样性挑战,打造面向端、边、云的全场景 AI 基础设施方案,让芯片的强大算力能够以最高效的方式被开发者们利用。面向大模型开发场景,MindSpore 提供系列工具及套件,发挥软硬件综合优势,从训练推理部署全流程支撑模型高效开发。同时,MindSpore 可兼容第三方 AI 框架生态,以实现模型的快速迁移。一站式一站式 AI 开发平台开发平台 ModelArts 进一步提升模型训练和部署的效率。进一步提升

181、模型训练和部署的效率。ModelArts 平台与华为底层软件和训练框架协同优化,提供 E 级算力调度,并提供动态路由规划能力,为大模型训练提供了最优的网络通信能力;同时,借助 ModelArts 平台处理海量数据的高效能力,仅用 7 天就可完成 40TB 文本数据处理。此外,ModelArts 平台为适应不同开发者的开发习惯及不同应用场景,支持包含 TensorFlow、PyTorch、MXNet 等的所有主流 AI 计算框架,并提供友好易用的开发和调测环境。对话生成小说生成广告文案生成广告文案衍生论文生成 免责声明和披露以及分析师声明是报告的一部分,请务必一起阅读。44 电子电子 图表图表8

182、5:基于基于 ModelArts 加速优化的大模型训练加速优化的大模型训练/推理方案推理方案 资料来源:人工智能大模型技术高峰论坛,华泰研究 盘古大模型:赋能千行百业的三阶段体系盘古大模型:赋能千行百业的三阶段体系 华为云盘古大模型于 2021 年 4 月正式发布,到 2022 年聚焦行业应用落地,已经基于一站式 AI 开发平台 ModelArts,发展出包括基础大模型(L0)、行业大模型(L1)、行业细分场景模型(L2)三大阶段的成熟体系,让 AI 开发由作坊式转变为工业化开发的新模式,赋能千行百业。具体来说,盘古大模型的三层体系架构包含:1)L0 基础大模型:30 亿参数的CV 大模型在业

183、界首次实现模型按需抽取,千亿参数和 40TB 训练数据的 NLP 大模型在在CLUE 榜单实现业界领先,科学计算大模型致力于解决各种科学问题、促进基础科学的发展;2)L1 行业大模型:涵盖矿山、气象、药物、分子、电力、海浪、金融等行业;3)L2 场景模型:包含金融 OCR、电力巡检、建筑能耗优化等场景。图表图表86:华为云盘古大模型架构华为云盘古大模型架构 资料来源:人工智能大模型技术高峰论坛,华泰研究 免责声明和披露以及分析师声明是报告的一部分,请务必一起阅读。45 电子电子 应用:行业大模型逐步落地,应用:行业大模型逐步落地,B 端场景应用可期端场景应用可期 盘古盘古 CV 大模型大模型可

184、以赋能分类、识别、检测等视觉场景。可以赋能分类、识别、检测等视觉场景。华为已基于 CV 大模型推出矿山大模型、电力大模型等行业大模型,推动相关工业领域安全高效作业。在华为与能源集团合作推出的盘古矿山大模型中,模型能够解决 AI 在煤矿行业落地难、门槛高等问题。例如,在煤矿主运场景中,AI 主运智能监测系统的异物识别准确率达 98%,实现全时段巡检,避免因漏检造成的安全事故;在作业场景中,掘进作业序列智能监测的动作规范识别准确率超过 95,保障井下作业安全。此外,盘古 CV 大模型还可应用在铁路轨道机车的缺陷检测中,识别机车中吊链、脱落、裂痕等潜在不安全因素,在郑州铁路段的 32000 多样本评

185、测中,对缺陷和故障检测的准确度达 99%。图表图表87:华为云盘古矿山大模型帮助降低劳动强度,减少安全风险,沉淀专家经验华为云盘古矿山大模型帮助降低劳动强度,减少安全风险,沉淀专家经验 资料来源:人工智能大模型技术高峰论坛,华泰研究 盘古盘古 NLP 大模型大模型可助力文档检索、智能可助力文档检索、智能 ERP、小语种等内容理解和文本生成场景。、小语种等内容理解和文本生成场景。基于NLP 大模型,华为与合作伙伴开发了支持千亿参数的阿拉伯语 NLP 大模型,语义理解准确率达到 95%。此外,盘古 NLP 平台凭借突破性的零样本 AI 建模技术,可帮助金融机构降低 AI 建模成本,提升 10 到

186、1000 倍 AI 建模效率,目前已经在多家银行、保险、证券等金融机构的数字化客户经营场景落地,全面助力客户沟通、销售管理、客户洞察等场景的降本增效。盘古药物分子大模型可辅助医药研发,突破新药研发的“双十定律”。盘古药物分子大模型可辅助医药研发,突破新药研发的“双十定律”。西安交通大学第一附属医院刘冰教授团队在抗生素研发工作中,采用大模型辅助药物设计,突破性地研发出超级抗菌药 Drug X,突破新药从研发到上市平均需 10 年时间和 10 亿美元投入的“双十定律”,将先导药的研发周期从数年缩短至一个月,且研发成本降低 70%。此外,药物分子大模型还可应用于 AI 药物分子筛选,使得成药性预测准

187、确率比传统方式高 20%。新技术大幅减少了人力筛选的时间与成本,充分释放了科研人员的创新活力。煤矿综采场景传统综采面九宫格视频画面基于5G+AI的全景视频拼接综采面画卷看不清、看不全、缺多现场感40米全景采媒画面,采煤司机从井下到井上,安全生产煤矿主运场景主运智能监测系统20公里运行巡检煤矿矿作业场景作业序列智能监测系统井下安全事故减少90%以上动作规范识别准确率95%异物识别结度达98%海量矿山数据自主学习AI算法开发生产线盘古矿山大模型智能矿山全场景生态覆盖矿山采、掘、机、运、通等主业务华为云盘古矿山大模型:人工智能帮助降低劳动强度,减少安全风险,沉淀专家经验Huawei Propriet

188、ary-Restricted Distribution15 免责声明和披露以及分析师声明是报告的一部分,请务必一起阅读。46 电子电子 图表图表88:通过华为云通过华为云 AI 辅助药物设计服务平台进行药物分子筛选辅助药物设计服务平台进行药物分子筛选 资料来源:华为云官网,华泰研究 盘古气象大模型是全球首个盘古气象大模型是全球首个天气预测天气预测精度超过传统方式的精度超过传统方式的 AI 模型模型。传统是通过数字分析的方法,精度位列世界第一的是欧洲气象中心。区别于传统的数字分析方法,气象大模型基于一种 3D 高分辨率的 AI 气象预报方法,可以在秒级的时间内完成全球未来 1 小时到 7 天的天

189、气预报,精度首次超过了欧洲气象中心的数字分析的方法,并且预测速度提升了 1 万倍以上。在自然灾害里面,例如台风轨迹预测,盘古的精度相对于世界第一的欧洲气象中心的方法提升了 20%以上。图表图表89:华为云盘古气象大模型,大幅提升气象预测速度与精度华为云盘古气象大模型,大幅提升气象预测速度与精度 资料来源:人工智能大模型技术高峰论坛,华泰研究 免责声明和披露以及分析师声明是报告的一部分,请务必一起阅读。47 电子电子 商汤:商汤:SenseCore 大装置大装置+日日新大模型日日新大模型 算力:基于算力:基于 AI 大装置大装置 SenseCore,以,以 AI 模型赋能四大业务模型赋能四大业务

190、 商汤基于商汤基于 AI 大装置大装置 SenseCore 辅助自身业务开展。辅助自身业务开展。AI 大装置 SenseCore 打通了算力、算法和平台之间的连接与协同,构建成一整套端到端的架构体系;基于AI大装置SenseCore,商汤通过 22,000+商用 AI 模型,赋能智慧商业、智慧城市、智慧生活和智慧汽车四大业务。图表图表90:商汤主要基于商汤主要基于 SenseCore,以,以 AI 模型赋能其四大业务模型赋能其四大业务 资料来源:公司公告,华泰研究 大装置SenseCore拥有约2.7万块GPU,约5 exaFLOPS算力,提供包括算力服务(IaaS)、开发工具和深度学习平台(

191、PaaS)以及模型部署及推理(MaaS)在内的全栈式 AIaaS 服务。公司目前最大能够支持需要 4,000 张卡并行计算的千亿参数大模型训练,为 8 家外部大型客户提供大模型训练服务,客户涵盖互联网、游戏、商业银行,科研机构等多个领域。图表图表91:商汤大装置:大模型生产核心平台,算力已达商汤大装置:大模型生产核心平台,算力已达 5 exaFLOPS 资料来源:商汤 2022 年业绩会,华泰研究 软件平台智慧商业智慧商业22年营收14.6亿元占比38%智慧城市智慧城市22年营收11.0亿元占比29%智慧生活智慧生活22年营收9.5亿元占比25%智能汽车智能汽车22年营收2.9亿元占比8%跨行

192、业客户跨行业客户云端云端/边缘端边缘端人工智能模型人工智能模型SenseCore-通用人工智能基础设施跨行业反馈推动模型升级跨行业反馈推动模型升级Sense Foundry Enterprise商汤方舟企业开放平台商汤方舟企业开放平台AIDC总收入占比总收入占比8%,约,约3.4亿元亿元智能硬件:Sense Pass、Sense Thunder、Sense Nebula行业产品:工业质量控制、商业空间管理、住宅物业管理、公共设施维护2018年推出,2022年服务客户数量717个Sense Foundry商汤方舟城市开放平台商汤方舟城市开放平台智能硬件:Sense Pass、Sense Thun

193、der、Sense Nebula行业产品:出行及交通管理、城市服务、环境保护、应急响应截至2022年12月31日,累计服务162个城市Sense ME水星智能移动终端平台水星智能移动终端平台2016年推出,提供包括SDK、AI传感器和ISP芯片等全套产品Sense MARS火星混合现实平台火星混合现实平台2016年推出,是元宇宙的技术赋能平台产品包括特效引擎、商汤AI数字人、三维空间重建Sense Care智慧诊疗平台智慧诊疗平台产品包括胸部CT智能临床系统、胸部X线智能分析系统等与16家三级医院合作Sense Auto商汤绝影智能汽车平台商汤绝影智能汽车平台产品包括智能车舱、量产智能驾驶、自

194、动驾驶功能车、车路协同、赋能引擎2021年推出,22年智能车舱和智能驾驶量产交付50万辆,新增定点超800万台。智能车舱客户:蔚来、广汽、比亚迪、长安智能驾驶客户:广汽、合众 免责声明和披露以及分析师声明是报告的一部分,请务必一起阅读。48 电子电子 日日新大模型:构建面向日日新大模型:构建面向 AGI 的核心能力,驱动垂直行业降本增效的核心能力,驱动垂直行业降本增效 商汤是国内最早布局商汤是国内最早布局 AI 大模型的企业之一大模型的企业之一,已实现,已实现 CV、NLP、多模态等大模型的全面布、多模态等大模型的全面布局局。2019 年已经发布了拥有 10 亿参数的图像大模型,2022 发布

195、的视觉模型参数量达到 320亿,是全球最大的通用视觉模型之一,能够实现高性能的目标检测、图像分割和多物体识别算法等功能。今年 3 月推出多模态大模型“书生 2.5”,具备图像描述、视觉问答、视觉推理、文字识别、文生图、文本检索视觉内容等功能,在国内处于领先地位。2023 年 4 月,商汤在技术交流会中正式发布“日日新 SenseNova”大模型体系,实现 CV、NLP、多模态等大模型的全面布局,并展示了其问答、代码生成、2D/3D 数字人生成、3D 场景/物体生成等 AI 模型应用能力。图表图表92:商汤大模型技术路线图:商汤大模型技术路线图:CV、NLP、多模态等全面布局、多模态等全面布局

196、资料来源:2023 商汤技术交流日,华泰研究 1800 亿参数“商量”大模型赋能专业知识、代码生成、医疗等垂直场景。亿参数“商量”大模型赋能专业知识、代码生成、医疗等垂直场景。商汤于技术交流会同时发布 1800 亿参数“商量”(SenseChat)语言大模型,主要能力包括:1)长文本理解:相比 ChatGPT,SenseChat 支持财务、法务等专业领域超长文本知识理解,能够基于用户上传的长文本 pdf 进行理解和对话。2)代码生成:Visual Studio Code 接入 SenseChat插件,根据用户指令直接生成代码,在 humaneval 测试集上,一次通过率为 40.2%,据商汤表

197、示该数据高于 Copilot;3)赋能行业:已落地新华医院“便捷就医服务”,辅助初步问诊、就医挂号建议等。此外,公司计划推出面向行业客户的类 ChatGPT 对话机器人服务。应用:应用:MaaS 模式可能成为重要新趋势模式可能成为重要新趋势 商汤日日新大模型开放 API 体系包含自然语言生成 API、图片生成 API、视觉通用感知任务API 和标注 API。此外,商汤还提供了数据标注、模型训练及微调等一系列 MaaS 服务。近期,我们注意到,英伟达,百度,商汤等企业都提出了类似 MaaS 的新商业模式,其核心是利用自己已经拥有的通用大模型,帮助企业以专有数据创建专有模型。其中,英伟达提供基于其

198、文字、图像和生物医药模型的大模型训练服务 Al Foundations,百度推出文心千帆大模型平台,表示未来云计算商业模式会变成 MaaS。拥有大模型的企业,从“卖算力”走向“卖模型”可能成为 AI 企业发展的一条新商业模式。智谱智谱 AI:依托清华大学技术成果,打造高性能千亿级普惠大模型:依托清华大学技术成果,打造高性能千亿级普惠大模型 团队:核心成员与清华大学联系紧密团队:核心成员与清华大学联系紧密 智谱 AI 成立于 2019 年,由清华大学计算机系知识工程实验室的技术成果转化而来。核心团队与清华大学联系紧密,CEO 张鹏毕业于清华计算机系,总裁王绍兰为清华创新领军博士,首席科学家唐杰为

199、智源研究院学术副院长、清华大学计算机系副教授。依托清华大学团队多年的研发积累和人才优势,智谱 AI 作为主力参与研发落地了悟道 2.0,并打造了用以支持各类 AI 系统的开发者底层平台,而后陆续发布以文生图 CogView 大模型、代码生成模型 CodeGeeX、双语千亿模型 GLM-130B 等大模型,未来将围绕平台形成完善的 AI应用生态。智谱 AI 已于 2022 年 9 月完成数亿元 B 轮融资,用于继续打造高性能千亿级普惠大模型。免责声明和披露以及分析师声明是报告的一部分,请务必一起阅读。49 电子电子 模型:智谱模型:智谱 AI 致力于打造高性能致力于打造高性能千亿级普惠大模型千亿

200、级普惠大模型 高精度双语千亿模型高精度双语千亿模型 GLM-130B 于于 2022 年年 8 月发布并开源,模型的部分模型性能优于月发布并开源,模型的部分模型性能优于GPT-3。2022 年 11 月,斯坦福大学大模型中心开展了对全球 30 个主流大模型的全方位评测,GLM-130B 是亚洲唯一入选的大模型。评测报告显示:GLM-130B 在准确性和公平性指标上与 GPT-3 接近或持平,鲁棒性、校准误差和无偏性均优于 GPT-3 175B。此外,模型仅需 4 张英伟达 RTX3090 就可以运行,实现真正的大模型普惠。图表图表93:斯坦福大学大模型中心的测评中,各模型在斯坦福大学大模型中心

201、的测评中,各模型在 NLP 任务中的性能对比任务中的性能对比 资料来源:Holistic Evaluation of Language Models(Liang et al.,2022),华泰研究 图表图表94:GLM-130B 与与 GPT3-175B、BLOOM-176B 的对比优势的对比优势 资料来源:数源 AI,华泰研究 基础架构训练方式量化加速跨平台能力GPT3-175BGPT-NVIDIABLOOM-176BGPTINT8MegatronNVIDIA自监督预训练自监督预训练GLM-130BGLMINT8/INT4Faster TransformerNVIDIADCU910自监督预训

202、练多任务预训练海光昇腾申威对比优势高精度普惠推理:高速推理:跨平台::Big-bench-lite:+5.2%LAMBADA:+2.3%CLUE:+24.3%FewCLUE:+12.8%75%3090(4)2080(8)Pytorch7-8.4Megatron2.5节省内存可单台或单台进行无损推理比提速倍比提速倍支持更多不同的大规模语言模型的适配和应用 免责声明和披露以及分析师声明是报告的一部分,请务必一起阅读。50 电子电子 2022 年 9 月,智谱 AI 联合清华、华为发布了开源的代码生成模型 CodeGeeX,是 GLM-130B大语言模型通过 23 种编程语言的大型代码语料库上进一步

203、预训练而成。CodeGeeX 能够完成许多生成类的编程任务,例如注释与代码间的互相生成、根据上下文补全代码、不同编程语言之间的代码翻译等。当前基于 CodeGeeX 的 VS Code 插件已上架,所有用户均可完全免费下载使用。图表图表95:CodeGeeX 可以实现跨语言代码的一键式翻译可以实现跨语言代码的一键式翻译 资料来源:学术头条,华泰研究 类类 ChatGPT 对话模型对话模型 ChatGLM-6B 于于 2023 年年 3 月开源发布,可在消费级显卡上进行本月开源发布,可在消费级显卡上进行本地部署地部署。ChatGLM-6B 具有 63 亿参数,针对中文问答和对话进行了优化,在 1

204、T 的语料训练和监督微调、反馈自助、人类反馈强化学习等技术的加持下,ChatGLM-6B 已经能生成相当符合人类偏好的回答。结合模型量化技术,用户可以在消费级的显卡上进行本地部署。不过,由于 ChatGLM-6B 规模较小,目前测试发现具有较多的局限性,如事实性/数学逻辑错误、可能生成有害/有偏见内容、较弱的上下文能力等。此外,当前基于 1300 亿参数GLM-130B 的 ChatGLM 模型正在内测开发中。VisualGLM-6B 是国内首个能理解图像的中文开源对话模型。是国内首个能理解图像的中文开源对话模型。2023 年 5 月,智谱 AI 和清华大学 KEG 实验室开源了支持图像、中文

205、和英文的多模态对话模型 VisualGLM-6B,语言模型基于 ChatGLM-6B;图像部分通过训练 BLIP2-Qformer 构建起视觉模型与语言模型的桥梁。模型在长视觉问答数据上进行了训练,能够生成符合人类偏好的答案。同时,结合模型量化技术,用户最低只需 8.7G 的显存就可以进行本地部署。图表图表96:VisualGLM-6B 可以进行图像的描述及相关知识的问答可以进行图像的描述及相关知识的问答 图表图表97:VisualGLM-6B 能结合常识或提出有趣的观点能结合常识或提出有趣的观点 资料来源:GitHub,华泰研究 资料来源:GitHub,华泰研究 免责声明和披露以及分析师声明

206、是报告的一部分,请务必一起阅读。51 电子电子 风险提示风险提示 1)AI 技术落地不及预期。虽然 AI 技术加速发展,但由于成本、落地效果等限制,相关技术落地节奏可能不及我们预期.2)本研报中涉及到未上市公司或未覆盖个股内容,均系对其客观公开信息的整理,并不代表本研究团队对该公司、该股票的推荐或覆盖。图表图表98:全文提及公司列表全文提及公司列表 公司公司 代码代码 公司公司 代码代码 微软 MSFT US 百度 9888 HK/BIDU US 谷歌 GOOG US 阿里巴巴 9988 HK/BABA US 英伟达 NVDA US 腾讯 700 HK Meta META US 商汤 20 H

207、K 亚马逊 AMZN US OpenAI 未上市 特斯拉 TSLA US Anthropic 未上市 资料来源:彭博,华泰研究 免责声明和披露以及分析师声明是报告的一部分,请务必一起阅读。52 电子电子 免责免责声明声明 分析师声明分析师声明 本人,黄乐平,兹证明本报告所表达的观点准确地反映了分析师对标的证券或发行人的个人意见;彼以往、现在或未来并无就其研究报告所提供的具体建议或所表迖的意见直接或间接收取任何报酬。一般声明及披露一般声明及披露 本报告由华泰证券股份有限公司(已具备中国证监会批准的证券投资咨询业务资格,以下简称“本公司”)制作。本报告所载资料是仅供接收人的严格保密资料。本报告仅供

208、本公司及其客户和其关联机构使用。本公司不因接收人收到本报告而视其为客户。本报告基于本公司认为可靠的、已公开的信息编制,但本公司及其关联机构(以下统称为“华泰”)对该等信息的准确性及完整性不作任何保证。本报告所载的意见、评估及预测仅反映报告发布当日的观点和判断。在不同时期,华泰可能会发出与本报告所载意见、评估及预测不一致的研究报告。同时,本报告所指的证券或投资标的的价格、价值及投资收入可能会波动。以往表现并不能指引未来,未来回报并不能得到保证,并存在损失本金的可能。华泰不保证本报告所含信息保持在最新状态。华泰对本报告所含信息可在不发出通知的情形下做出修改,投资者应当自行关注相应的更新或修改。本公

209、司不是 FINRA 的注册会员,其研究分析师亦没有注册为 FINRA 的研究分析师/不具有 FINRA 分析师的注册资格。华泰力求报告内容客观、公正,但本报告所载的观点、结论和建议仅供参考,不构成购买或出售所述证券的要约或招揽。该等观点、建议并未考虑到个别投资者的具体投资目的、财务状况以及特定需求,在任何时候均不构成对客户私人投资建议。投资者应当充分考虑自身特定状况,并完整理解和使用本报告内容,不应视本报告为做出投资决策的唯一因素。对依据或者使用本报告所造成的一切后果,华泰及作者均不承担任何法律责任。任何形式的分享证券投资收益或者分担证券投资损失的书面或口头承诺均为无效。除非另行说明,本报告中

210、所引用的关于业绩的数据代表过往表现,过往的业绩表现不应作为日后回报的预示。华泰不承诺也不保证任何预示的回报会得以实现,分析中所做的预测可能是基于相应的假设,任何假设的变化可能会显著影响所预测的回报。华泰及作者在自身所知情的范围内,与本报告所指的证券或投资标的不存在法律禁止的利害关系。在法律许可的情况下,华泰可能会持有报告中提到的公司所发行的证券头寸并进行交易,为该公司提供投资银行、财务顾问或者金融产品等相关服务或向该公司招揽业务。华泰的销售人员、交易人员或其他专业人士可能会依据不同假设和标准、采用不同的分析方法而口头或书面发表与本报告意见及建议不一致的市场评论和/或交易观点。华泰没有将此意见及

211、建议向报告所有接收者进行更新的义务。华泰的资产管理部门、自营部门以及其他投资业务部门可能独立做出与本报告中的意见或建议不一致的投资决策。投资者应当考虑到华泰及/或其相关人员可能存在影响本报告观点客观性的潜在利益冲突。投资者请勿将本报告视为投资或其他决定的唯一信赖依据。有关该方面的具体披露请参照本报告尾部。本报告并非意图发送、发布给在当地法律或监管规则下不允许向其发送、发布的机构或人员,也并非意图发送、发布给因可得到、使用本报告的行为而使华泰违反或受制于当地法律或监管规则的机构或人员。本报告版权仅为本公司所有。未经本公司书面许可,任何机构或个人不得以翻版、复制、发表、引用或再次分发他人(无论整份

212、或部分)等任何形式侵犯本公司版权。如征得本公司同意进行引用、刊发的,需在允许的范围内使用,并需在使用前获取独立的法律意见,以确定该引用、刊发符合当地适用法规的要求,同时注明出处为“华泰证券研究所”,且不得对本报告进行任何有悖原意的引用、删节和修改。本公司保留追究相关责任的权利。所有本报告中使用的商标、服务标记及标记均为本公司的商标、服务标记及标记。中国香港中国香港 本报告由华泰证券股份有限公司制作,在香港由华泰金融控股(香港)有限公司向符合证券及期货条例及其附属法律规定的机构投资者和专业投资者的客户进行分发。华泰金融控股(香港)有限公司受香港证券及期货事务监察委员会监管,是华泰国际金融控股有限

213、公司的全资子公司,后者为华泰证券股份有限公司的全资子公司。在香港获得本报告的人员若有任何有关本报告的问题,请与华泰金融控股(香港)有限公司联系。免责声明和披露以及分析师声明是报告的一部分,请务必一起阅读。53 电子电子 香港香港-重要监管披露重要监管披露 华泰金融控股(香港)有限公司的雇员或其关联人士没有担任本报告中提及的公司或发行人的高级人员。有关重要的披露信息,请参华泰金融控股(香港)有限公司的网页 https:/.hk/stock_disclosure 其他信息请参见下方“美国“美国-重要监管披露”重要监管披露”。美国美国 在美国本报告由华泰证券(美国)有限公司向符合美国监管规定的机构投

214、资者进行发表与分发。华泰证券(美国)有限公司是美国注册经纪商和美国金融业监管局(FINRA)的注册会员。对于其在美国分发的研究报告,华泰证券(美国)有限公司根据1934 年证券交易法(修订版)第 15a-6 条规定以及美国证券交易委员会人员解释,对本研究报告内容负责。华泰证券(美国)有限公司联营公司的分析师不具有美国金融监管(FINRA)分析师的注册资格,可能不属于华泰证券(美国)有限公司的关联人员,因此可能不受 FINRA 关于分析师与标的公司沟通、公开露面和所持交易证券的限制。华泰证券(美国)有限公司是华泰国际金融控股有限公司的全资子公司,后者为华泰证券股份有限公司的全资子公司。任何直接从

215、华泰证券(美国)有限公司收到此报告并希望就本报告所述任何证券进行交易的人士,应通过华泰证券(美国)有限公司进行交易。美美国国-重要监管披露重要监管披露 分析师黄乐平本人及相关人士并不担任本报告所提及的标的证券或发行人的高级人员、董事或顾问。分析师及相关人士与本报告所提及的标的证券或发行人并无任何相关财务利益。本披露中所提及的“相关人士”包括 FINRA 定义下分析师的家庭成员。分析师根据华泰证券的整体收入和盈利能力获得薪酬,包括源自公司投资银行业务的收入。华泰证券股份有限公司、其子公司和/或其联营公司,及/或不时会以自身或代理形式向客户出售及购买华泰证券研究所覆盖公司的证券/衍生工具,包括股票

216、及债券(包括衍生品)华泰证券研究所覆盖公司的证券/衍生工具,包括股票及债券(包括衍生品)。华泰证券股份有限公司、其子公司和/或其联营公司,及/或其高级管理层、董事和雇员可能会持有本报告中所提到的任何证券(或任何相关投资)头寸,并可能不时进行增持或减持该证券(或投资)。因此,投资者应该意识到可能存在利益冲突。本报告所载的观点、结论和建议仅供参考,不构成购买或出售所述证券的要约或招揽,亦不试图促进购买或销售该等证券。如任何投资者为美国公民、取得美国永久居留权的外国人、根据美国法律所设立的实体(包括外国实体在美国的分支机构)、任何位于美国的个人,该等投资者应当充分考虑自身特定状况,不以任何形式直接或

217、间接地投资本报告涉及的投资者所在国相关适用的法律法规所限制的企业的公开交易的证券、其衍生证券及用于为该等证券提供投资机会的证券的任何交易。该等投资者对依据或者使用本报告内容所造成的一切后果,华泰证券股份有限公司、华泰金融控股(香港)有限公司、华泰证券(美国)有限公司及作者均不承担任何法律责任。评级说明评级说明 投资评级基于分析师对报告发布日后 6 至 12 个月内行业或公司回报潜力(含此期间的股息回报)相对基准表现的预期(A 股市场基准为沪深 300 指数,香港市场基准为恒生指数,美国市场基准为标普 500 指数),具体如下:行业评级行业评级 增持:增持:预计行业股票指数超越基准 中性:中性:

218、预计行业股票指数基本与基准持平 减持:减持:预计行业股票指数明显弱于基准 公司评级公司评级 买入:买入:预计股价超越基准 15%以上 增持:增持:预计股价超越基准 5%15%持有:持有:预计股价相对基准波动在-15%5%之间 卖出:卖出:预计股价弱于基准 15%以上 暂停评级:暂停评级:已暂停评级、目标价及预测,以遵守适用法规及/或公司政策 无评级:无评级:股票不在常规研究覆盖范围内。投资者不应期待华泰提供该等证券及/或公司相关的持续或补充信息 免责声明和披露以及分析师声明是报告的一部分,请务必一起阅读。54 电子电子 法律实体法律实体披露披露 中国中国:华泰证券股份有限公司具有中国证监会核准

219、的“证券投资咨询”业务资格,经营许可证编号为:941011J 香港香港:华泰金融控股(香港)有限公司具有香港证监会核准的“就证券提供意见”业务资格,经营许可证编号为:AOK809 美国美国:华泰证券(美国)有限公司为美国金融业监管局(FINRA)成员,具有在美国开展经纪交易商业务的资格,经营业务许可编号为:CRD#:298809/SEC#:8-70231 华泰证券股份有限公司华泰证券股份有限公司 南京南京 北京北京 南京市建邺区江东中路228号华泰证券广场1号楼/邮政编码:210019 北京市西城区太平桥大街丰盛胡同28号太平洋保险大厦A座18层/邮政编码:100032

220、电话:86 25 83389999/传真:86 25 83387521 电话:86 10 63211166/传真:86 10 63211275 电子邮件:ht- 电子邮件:ht- 深圳深圳 上海上海 深圳市福田区益田路5999号基金大厦10楼/邮政编码:518017 上海市浦东新区东方路18号保利广场E栋23楼/邮政编码:200120 电话:86 755 82493932/传真:86 755 82492062 电话:86 21 28972098/传真:86 21 28972068 电子邮件:ht- 电子邮件:ht- 华泰金融控股(香港)有限公司华泰金融控股(香港)有限公司 香港中环皇后大道中 99 号中环中心 58 楼 5808-12 室 电话:+852-3658-6000/传真:+852-2169-0770 电子邮件: http:/.hk 华泰证券华泰证券(美国美国)有限公司有限公司 美国纽约公园大道 280 号 21 楼东(纽约 10017)电话:+212-763-8160/传真:+917-725-9702 电子邮件:Huataihtsc- http:/www.htsc- 版权所有2023年华泰证券股份有限公司

友情提示

1、下载报告失败解决办法
2、PDF文件下载后,可能会被浏览器默认打开,此种情况可以点击浏览器菜单,保存网页到桌面,就可以正常下载了。
3、本站不支持迅雷下载,请使用电脑自带的IE浏览器,或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩,下载后原文更清晰。

本文(电子行业:AI大模型企业是如何炼成的-230528(54页).pdf)为本站 (小时候) 主动上传,三个皮匠报告文库仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对上载内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知三个皮匠报告文库(点击联系客服),我们立即给予删除!

温馨提示:如果因为网速或其他原因下载失败请重新下载,重复下载不扣分。
会员购买
客服

专属顾问

商务合作

机构入驻、侵权投诉、商务合作

服务号

三个皮匠报告官方公众号

回到顶部