上海品茶

您的当前位置:上海品茶 > 报告分类 > PDF报告下载

计算机行业【AIGC算力时代系列报告】:ChatGPT研究框架-230214(64页).pdf

编号:115185 PDF 64页 4.41MB 下载积分:VIP专享
下载报告请您先登录!

计算机行业【AIGC算力时代系列报告】:ChatGPT研究框架-230214(64页).pdf

1、2023年2月14日ChatGPT研究框架【AIGC算力时代系列报告】行业评级:看好证券研究报告分析师陈杭李佩京姚天航张建民研究助理安子超邮箱 邮箱证书编号S04S01S01S01 添加标题95%摘要2【芯片算力】芯片需求=量 x 价,AIGC拉动芯片产业量价齐升。1)量:AIGC带来的全新场景+原场景流量大幅提高;2)价:对高端芯片的需求将拉动芯片均价。ChatGPT的“背后英雄”:芯片,看好国内GPU、CPU、FPGA、AI芯片及光模块产业链。相关标的:海光信息、景嘉微、龙芯中科、中国长城、安路科技、复

2、旦微电、紫光国微、寒武纪、澜起科技、德科立、天孚通信、中际旭创。【深度学习框架】深度学习框架是人工智能算法的底层开发工具,是人工智能时代的操作系统,当前深度学习框架发展趋势是趋于大模型训练,对深度学习框架的分布式训练能力提出了要求,国产深度学习框架迎来发展机遇。相关标的:百度、海天瑞声、商汤科技、微软、谷歌、Meta。【深度学习大模型】ChatGPT是基于OpenAI公司开发的InstructGPT模型的对话系统,GPT系列模型源自2017年诞生的Transformer模型,此后大模型数量激增,参数量进入千亿时代,国内百度也发布了ERNIE系列模型并有望运用于即将发布的文心一言(ERNIE B

3、ot)对话系统,未来国内厂商有望在模型算法领域持续发力。相关标的:百度、科大讯飞、商汤科技、谷歌、微软。【应用】ChatGPT火爆全球的背后,可以窥见伴随人工智能技术的发展,数字内容的生产方式向着更加高效迈进。ChatGPT及AIGC未来有望在包括游戏、广告营销、影视、媒体、互联网、娱乐等各领域应用,优化内容生产的效率与创意,加速数实融合与产业升级。相关标的:百度、腾讯、阿里巴巴、网易、昆仑万维、阅文集团、捷成股份、视觉中国、风语筑、中文在线、三七互娱、吉比特、天娱数科。【通信】AIGC类产品未来有望成为5G时代新的流量入口,率先受益的有望是AIGC带来的底层基础算力爆发式增长。相关标的:包括

4、算力调度(运营商)、算力供给(运营商、奥飞数据、数据港)、算力设备(浪潮信息、联想集团、紫光股份、中兴通讯、锐捷网络、天孚通信、光库科技、中际旭创、新易盛)、算力散热(英维克、高澜股份)。hZhUpZtVmWdUfYdYqVfW9P9RbRmOmMsQmPfQmMmOfQqRnQ9PnNwPNZnOoOxNnNoP1、芯片算力3算力需求爆发拉动芯片量价齐升量价芯片需求光模块和光芯片AI芯片(加速器)GPUCPUFPGAAI光模块ChatGPT完美运行训练数据模型算法算力模型迭代Transformer技术算力需求增加英伟达GPU A100模型训练成本1200万美元AI训练计算需求预计每3.5个月

5、翻一番1万颗芯片需求快速增加芯片均价大幅提升通过AI服务器实现资料来源:浙商证券研究所4人工智能四层架构,芯片为底层支撑5底层芯片深度学习框架大模型上层应用CPUGPUFPGAASIC百度:PaddlePaddleMeta:PyTorch谷歌:TensorFlow华为:MindSporeOpenAI:GPT3.5华为:盘古大模型AIGCAI音乐:DeepMusicAI绘画:盗梦师AI写作:弈写ChatGPT百度:文心大模型谷歌:PaLM资料来源:澜舟科技,IDC,量子位,电子发烧友等,浙商证券研究所人工智能不同计算任务需要各类芯片实现资料来源:Huawei forum,浙商证券研究所CPUGP

6、UFPGAAI用ASIC通用性强,应用方便性能更优,能效更高强大的调度、管理、协调能力;应用范围广开发方便灵活 逻辑判断 任务调度与控制并行架构计算单元多适合大量逻辑确定的重复计算 模型训练成本低能耗低性能强针对AI设定特定架构 成熟量产阶段 研发阶段 数据中心 AI推理低延时开发周期短硬件可根据需求调整成本和壁垒高6ChatGPT流量激增,为AI服务器带来重要发展机遇7资料来源:Sensor Tower,World of Engineering,头豹研究院,华经产业研究院,浙商证券研究所原场景流量提升+新应用场景服务器算力要求提升AI服务器需求增加达成1亿月活跃用户耗时2个月9个月30个月5

7、4个月60个月78个月史上用户增速最快消费级应用应用原场景流量提升创造新应用场景ChatGPT在问答模式的基础上进行推理、编写代码、文本创作等,用户人数及使用次数均提升。智能客服智能音箱陪伴型机器人游戏NPC内容生产传统CPU服务器通用性较强,专用性较弱数据的质和量发生变化,非结构化数据占比激增算力无法满足AI服务器需求终端用户使用频率提高,数据流量暴涨,对服务器的数据处理能力、可靠性及安全性等要求相应提升CAGR=18.8%122亿美元288亿美元20202025全球AI服务器市场规模ASICAI服务器快速增长,大力拉动芯片需求8资料来源:IDC,2022-2023中国人工智能计算力发展评估

8、报告,芯八哥,wind,浙商证券研究所整理0%10%20%30%40%50%60%70%80%90%100%20202022420252026训练推理GPU,89.0%NPU,9.6%ASIC,1.0%FPGA,0.4%新华三/HPE,15.6%戴尔,15.4%浪潮,8.9%联想,6.4%华为,1.1%ODM,35.5%其他,17.1%浪潮,30.7%新华三/HPE,17.5%戴尔,7.5%华为,7.4%联想,6.6%ODM,8.5%其他,21.8%中国人工智能服务器工作负载预测2021年全球服务器市场格局2021年中国服务器市场格局2022年中国人工智能芯片市场规模占比

9、AI服务器=?CPU+异构形式GPUFPGA或或AI服务器芯片构成CPU+加速芯片9CPU+加速芯片:通常搭载GPU、FPGA、ASIC等加速芯片,利用CPU与加速芯片的组合可以满足高吞吐量互联的需求自然语言处理计算机视觉训练(算力 30TOPS)推理(算力 30TOPS)计算(530TOPS)芯片种类优点缺点GPU提供了多核并行计算的基础结构,核心数多,可支撑大量数据的并行计算,拥有更高浮点运算能力管理控制能力弱,功耗高FPGA可以无限次编程,延时性较低,拥有流水线并行(GPU只有数据并行),实时性最强,灵活性最高开发难度大,只适合定点运算,价格比较昂贵ASIC与通用集成电路相比体积更小,重

10、量更轻,功耗更低,可靠性提高,性能提高,保密性增强,成本降低灵活性不够,价格高于FPGAAI服务器应用领域应用场景机器学习高度适配资料来源:华经产业研究院,亿欧智库,浙商证券研究所CPU擅长逻辑控制,可用于推理/预测0110资料来源:CSDN,浙商证券研究所整理控制单元存储单元运算单元控制指令数据整个CPU的指挥控制中心,由指令寄存器IR、指令译码器ID和操作控制器OC等组成。暂时存放数据的区域,保存等待处理或已经处理过的数据。执行部件,运算器的核心。可以执行算术运算和逻辑运算。运算单元所进行的全部操作都是由控制单元发出的控制信号来指挥。优势劣势作为计算机系统的运算和控制核心,是信息处理、程序

11、运行的最终执行单元。控制指令CPU有大量的缓存和复杂的逻辑控制单元,擅长逻辑控制、串行的运算。计算量较小,且不擅长复杂算法运算和处理并行重复的操作。在深度学习中可用于推理/预测取指令指令译码执行指令修改指令计数器CPU运行原理服务器CPU向多核心发展,满足处理能力和速度提升需要11资料来源:芯论语,半导体产业纵横,AMD官网,浙商证券研究所英特尔从单核到多核AMD从双核到96核200520102017奔腾D系列酷睿i7-980X酷睿i92020Lakefield史上第一个双核处理器首款6核处理器18核处理器首款采用混合架构的x86 5核处理器200520072018Athlon 64 X2Ph

12、enom9500第二代锐龙Threadripper2020锐龙Threadripper3990X同一块芯片内整合两个K8核心首款原生4核处理器最大核心数量已达到32核拥有64核单核心CPU串行单任务处理“一心一用”分时多任务处理“一心多用”多核心CPU“多心多用”处理的任务更多、处理速度更快分时多任务处理系统性能优劣不能只考虑CPU核心数量,还要考虑操作系统、调度算法、应用和驱动程序等。2023Sapphire Rapids拥有56个核心2023霄龙9004核心数量最多可达96个95%GPU高度适配AI模型构建12AI模型构建(以英伟达A100为例)资料来源:英伟达官网,镁客网,腾讯网,浙商证

13、券研究所训练过程推理过程多实例 GPU(MIG)技术允许多个网络同时基于单个 A100 运行,从而优化计算资源的利用率。在 A100 其他推理性能增益的基础之上,仅结构稀疏支持一项就能带来高达两倍的性能提升。在 BERT 等先进的对话式AI 模型上,A100可将推理吞吐量提升到高达 CPU 的 249 倍;ChatGPT引发GPU热潮百度:即将推出文心一言(ERNIE Bot)苹果:引入AI加速器设计的M2系列芯片(M2 pro和M2 max)将被搭载于新款电脑OpenAI:随着ChatGPT的使用量激增,OpenAI需要更强的计算能力来响应百万级别的用户需求,因此增加了对英伟达GPU的需求A

14、MD:计划推出与苹果M2系列芯片竞争的台积电4nm工艺Phoenix系列芯片,以及使用Chiplet工艺设计的Alveo V70AI芯片。这两款芯片均计划在今年推向市场,分别面向消费电子市场以及AI推理领域GPU的并行计算高度适配神经网络GPU帮助高速解决问题:2048 个 A100GPU 可在一分钟内成规模地处理 BERT 之类的训练工作负载;0.7X3XV100FP161XA100 40GBFP16A100 80GBFP161X249XCPU Only245XA100 40GBA100 80GBFPGA:可通过深度学习+分布集群数据传输赋能大模型资料来源:ofweek,摩尔星球,C114,

15、知识产权课堂,亿欧智库,浙商证券研究所FPGA可编程灵活性高:半定制电路,理论上可以实现任意ASIC和DSP的逻辑功能开发周期短:可通过设计软件处理布线、布局及时序等问题。现场可重编功能:可以远程通过软件实现自定义硬件功能。低延时:逻辑门通过硬件线连接,不需要时钟信号方便并行计算:集成了大量基本门电路,一次可执行多个指令算法深度学习通信接口异构计算、并行计算数据高速收发、交换推理Intel,AMD(Xilinx),亚马逊,微软,百度,阿里,腾讯AMD(Xilinx)训练Intel,AMD(Xilinx)/数据中心边缘端13ASIC可进一步优化性能与功耗,全球巨头纷纷布局14随着机器学习、边缘计

16、算、自动驾驶的发展,大量数据处理任务的产生,对于芯片计算效率、计算能力和计能耗比的要求也越来越高,ASIC通过与CPU结合的方式被广泛关注,国内外龙头厂商纷纷布局迎战AI时代的到来。国内外ASIC芯片龙头布局国外谷歌:张量处理器TPU国内最新的TPU v4集群被称为Pod,包含4096个v4芯片,可提供超过1 exaflops的浮点性能英伟达:GPU+CUDA阿里巴巴:含光800AI芯片硬件:自研芯片架构;软件:集成达摩院先进算法,可实现大网络模型在一颗NPU上完成计算。百度:昆仑2代AI芯片采用全球领先的7nm 制程,搭载自研的第二代 XPU 架构,相比一代性能提升2-3倍;昆仑芯3代将于2

17、024年初量产。华为:昇腾910业界算力最强的AI处理器,基于自研华为达芬奇架构3D Cube技术;主要面向大型数据密集型 HPC 和 AI 应用;基于 Grace 的系统与 NVIDIA GPU 紧密结合,性能比NVIDIA DGX 系统高出 10 倍;Habana(Intel收购)已推出云端 AI 训练芯片 Gaudi 和云端 AI 推理芯片 Goya;资料来源:机器之心,华为官网,半导体产业纵横,公开资料整理,浙商证券研究所数据传输速率:容易被忽略的算力瓶颈资料来源:Google Scholar,并行处理中节点间通信对加速比的影响,浙商证券研究所算力需求:超摩尔发展算力供给:芯片提升+并

18、行计算并行瓶颈:数据传输速率模型发布时间算力(FLPOs)深度学习之前深度学习时代大模型时代20个月翻倍(近似摩尔定律)5-6个月翻倍(远超摩尔定律)AI时代模型算力需求以超过摩尔定律增长数据中心通过交换机网络实现设备互联15理论加速比实际加速比通信延时导致加速放缓并行计算节点数加速比数据传输核心器件:光模块资料来源:中际旭创年报,光纤在线,电子发烧友,华经情报网,浙商证券研究所光模块电信数通数据中心内部数据中心互联骨干城域接入32.6%67.4%数据中心占光模块一半以上市场(2021Q4)发射器件接收器件电信号驱动电路激光器(内含光芯片)探测器(内含光芯片)放大器光纤传输电信号电信号光信号电

19、信号光模块包含发射器件和接收器件,光纤通信时的光电转换光模块向高速传输发展,以顺应数据传输量增长趋势161x9、GBIC-20102010-2020SFP、XFPQSFP、CFP、COBO2020之后QSFP-DD、OSFP-XD10G40G400G800、1.6T硅光技术相干技术光电共封装技术(CPO)服务器CPU需求增长,国化产三条发展路线17资料来源:IDC,wind,浙商证券研究所整理CISCX86架构RISCARM架构MIPS架构MIPS架构IP内核授权指令集架构授权授权+自主研制指令集龙芯中科申威科技上海兆芯海光信息华为鲲鹏天津飞腾自主化程度:低,未来扩充

20、指令集难度较大,但生态迁移成本小、性能高缺点:安全基础不牢靠自主化程度:较高,安全基础相对牢靠,拥有自主发展权缺点:生态构建较为困难自主化程度:极高,申威科技已基本实现完全自主可控缺点:生态构建极其困难中国服务器市场规模国产服务器CPU发展之路020004000600080000222023202420252026中国加速计算服务器市场预测(百万美元)服务器CPU市场格局AMD,9.80%英特尔,90.20%服务器CPU X86架构厂商份额未来算力升级路径:CHIPLET、存算一体18资料来源:知乎先进存算一体芯片设计(陈巍等),浙商证券研究所近期CHATGPT的兴起推动

21、着人工智能在应用端的蓬勃发展,这也对计算设备的运算能力提出了前所未有的需求。虽然AI芯片、GPU、CPU+FPGA等芯片已经对现有模型构成底层算力支撑,但面对未来潜在的算力指数增长,短期使用CHIPLET异构技术加速各类应用算法落地,长期来看打造存算一体芯片(减少芯片内外的数据搬运),或将成为未来算力升级的潜在方式。2016AlphaGo(DeepMind)2019AlphaStar(DeepMind)2018BERT(Google AI)2020GPT-3(OpenAI)2021AlphaFold2(DeepMind)2022Gato(DeepMind)CPUGPU未来:存算一体?2023C

22、hatGPT(OpenAI)游戏蛋白质结构大模型通用AI大算力未来:Chiplet?CHIPLET是布局先进制程、加速算力升级的关键技术19数据来源:芯智讯,浙商证券研究所能用能用够用好用13590nm6545nm28nm14nm7nm5nm3/2nm=+=123芯粒芯粒美国芯片法案ChipletChiplet芯粒+=功率模拟数字4G基站服务器L2+CPUGPUFPGAAI演算基带5GAI智能座舱L4+智驾AIGC、ChatGPT智能电车、无人驾驶智能座舱、VRARMR人工智能、5/6G手机+Chiplet异构技术不仅可以突破先进制程的封锁,并且可以大幅提升大型芯片的良率、降低设计的复杂程度和

23、设计成本、降低芯片制造成本。Chiplet技术加速了算力升级,但需要牺牲一定的体积和功耗,因此将率先在基站、服务器、智能电车等领域广泛使用。CHIPLET已广泛应用于服务器芯片20资料来源:各公司官网,浙商证券研究所添加标题添加标题Chiplet服务器芯片AMD:EPYC 第1代至第4代英特尔:第14代酷睿 Meteor Lake华为海思:鲲鹏920寒武纪:云端AI芯片思元370 Chiplet服务器芯片的引领者,4代产品采用5nm 基于chiplet 的第一代AMD EPYC 处理器中,装载8 个“Zen”CPU 核,2 个DDR4 内存通道和32 个PCIe 通道,以满足性能目标。2022

24、年AMD正式发布第四代EPYC处理器,拥有高达96颗5nm的Zen 4核心,并使用新一代的Chiplet工艺,结合5nm和6nm工艺来降低成本。首次采用 intel 4工艺,首次引入chiplet小芯片设计,预计将于23年下半年推出 至少性能功耗比的目标要达到 13 代 Raptor Lake 的 1.5 倍水平。基于7nm制程工艺,是寒武纪首款采用chiplet(芯粒)技术的AI芯片 集成了390亿个晶体管,最大算力高达256TOPS(INT8),是寒武纪第二代产品思元270算力的2倍。内存带宽是上一代产品的3倍,访存能效达GDDR6的1.5倍。采用7nm制造工艺,基于ARM架构授权 由华为

25、公司自主设计完成。典型主频下,SPECint Benchmark评分超过930。龙芯中科:龙芯3D5000(试验)面向服务器市场的 32 核 CPU 产品,通过Chiplet技术把两个 3C5000 硅片封装在一起,集成了32 个 LA464 处理器核和 64MB 片上共享缓存,22年末初样试验成功存算一体:打破“存储墙”限制,技术迭代演进21资料来源:知乎先进存算一体芯片设计(陈巍等),浙商证券研究所面对计算中心的数据洪流,数据搬运慢、搬运能耗大等问题成为了计算的关键瓶颈。从处理单元外的存储器提取数据,搬运时间往往是运算时间的成百上千倍,整个过程的无用能耗大概在60%-90%之间,能效非常低

26、。算力发展速度存储发展速度存储墙限制“存储墙”成为了数据计算应用的一大障碍存算技术演进路线查存计算(Processing With Memory)近存计算(Computing Near Memory)存内计算(Computing In Memory)存内逻辑(Logic In Memory)GPU对复杂函数的运算最早期技术AMD的Zen系列CPU三星HBM-PIM千芯科技Mythic闪存知存TSMC千芯科技满足大模型计算精度要求存算一体:更大算力、更高能效、降本增效22资料来源:知乎先进存算一体芯片设计(陈巍等),浙商证券研究所计算单元计算单元计算单元计算单元控制单元缓存片外内存计算控制单元缓

27、存计算计算计算计算控制单元缓存计算计算计算计算控制单元缓存计算计算计算片外内存控制单元存算存算存算存算存算存算存算存算存算存算存算存算存算存算存算存算存算存算存算存算存算存算存算存算存算存算存算存算存算存算存算存算存算存算存算片外内存存算存算存算存算存算存算存算CPU一般10-100计算核心GPU一般万量级计算核心存算一体一般百万量级等效计算核心存算一体就是存储器中叠加计算能力,以新的高效运算架构进行二维和三维矩阵计算。存算一体的优势包括:(1)具有更大算力(1000TOPS以上)(2)具有更高能效(超过10-100TOPS/W),超越传统ASIC算力芯片(3)降本增效(可超过一个数量级)存算

28、一体存储器中叠加计算能力,以新的高效运算架构进行二维和三维矩阵运算。存算一体的应用领域自动驾驶自然语言处理智慧城市商品推荐工业视觉医药计算个性化推荐多语言精准识别2、深度学习 框架23深度学习框架:人工智能时代的操作系统0224深度学习框架分布式硬件资源物理资源调度、I/O设备管理人工智能基础设施训练推理数据准备环境安装算法实现模型训练模型验证精度调试环境安装模型转换模型部署效果验证数据收集人工智能开发链条长且复杂开发者使用简单支持AI领域的快速变化使用深度学习框架工具进行开发数据模型使用深度学习框架工具进行开发通用模型架构支持计算机视觉应用使用流行的编程语言GPU加速拓展包资料来源:北京日报

29、、认知计算与云安全公众号、华为云深度学习框架:大模型训练和前端垂直化成为趋势0225资料来源:CSDN、伯禹人工智能学院、机器之心、中国计算机学会、知乎、简书、MAREK REI、磐创AI、浙商证券研究所200019202x2008蒙特利尔大学纽约大学多伦多大学AI 创业公司Skymind Joseph Redmon提出GoogleAmazonPreferred Networks微软百度Facebook微软Facebook商汤科技华为旷视科技清华大学系统设计简单模型配置文件非常不灵活多GPU的训练加速用户友好、更加灵活前端垂直化大型模型训练科技巨头入

30、场,井喷式发展02国际主流深度学习框架:互联网巨头主导开发26国内外深度学习框架发布时间200020202x开发公司深度学习框架语言PythonLua,Python(new)C+PythonC+Lua,Python(new)PythonC+、CUDA、Python是否开源计算图静态静态动态动静兼容静态不依赖计算图动静合一是否是分布式框架特点/优点速度快、使用方便、社区好性能高、适合做语音任务高效灵活、易用容易上手简单清晰移动端高性能、通用轻便高效灵活、易用灵活高效资料来源:机器之心,知乎,CSDN Open AI:从多种框架的使用到专注于Pytroc

31、h02272015年Pytroch成为统一的深度学习框架深度模型框架转变便于调试:对 Python 生态的良好支持;大多数情况使用TensorFlow特殊情况使用Theano2020年简单易懂:PyTorch 具有用户友好的 API;原因核心功能支持GPU加速的张量计算方便优化模型的自动微分机制强大高效:Pytorch提供了非常丰富的模型组件。极大缩短研究周期资料来源:OpenAI官网Tensorflow:谷歌开源的向更加易用发展的主流学习框架02282017年2019年开源Tensorflow 0.1版本2015年采用CPU+GPU计算模型使得神经网络能够有效计算Tensorflow从0.1

32、到2.0的发展历程202x年Tensorflow2.3发布添加两种新机制,解决输入管道瓶颈并节约资源Tensorflow2.0发布缺点:调试困难、API混乱、入门困难运用更简单的模型进行构建、简化PI优点:简化的模型开发流程、强大的跨平台能力、强大的研究发现缺乏调度能力,需手动配置Tensorflow1.0.0发布,稳定版诞生优点:更快、更灵活、随时就绪引入更高级的API,可在移动设备上运行发布版本改进之处优点缺点资料来源:腾讯云、CSDN、helloword、城市经济网ChatGPT实现路径:算力与框架支持,应用百花齐放0229资料来源:CSDN、电子工程世界、量子位、机器之心、专知、浙商证

33、券研究所微软云AzurePyTorchTransformerGPT-3InstructGPT/GPT-3.5ChatGPTOpenAI的独家云提供商算力资源深度学习框架API 迭代更稳定易于使用模型Attention机制大模型参数少速度快效果好模型人类反馈强化学习RLHF对话AI模型人类反馈强化学习RLHF人工监督微调连续多轮对话承认自身错误质疑不正确的问题承认自身的无知Transfomer的Decoder 分支1750 亿个参数小样本学习能力无代码编程对话类搜索引擎小说生成语音陪伴语音工作助手对话虚拟人机器翻译人工智能客服分布式训练需求对深度学习框架提出更高要求0230模型大模型训练数据巨大

34、训练模型的参数巨大日益增长的数据量落后的计算资源模型的复杂度深度学习框架支持分布式训练资料来源:CSDN、腾讯云开发者社区、知乎、浙商证券研究所数据并行参数平均法更新式方法模型并行intra-layer拆分inter-layer拆分3、深度学习大模型31Transformer延伸的四条线03GPT-1只有decoder,仅使用上文进行编码GPT-2模型更大,数据量更多GPT-3超大规模Transfo-rmerInstructGPTRLHFChatGPT资料来源:真格基金、知乎、各模型官网、arxiv.org、浙商证券研究所,注:先后顺序按照发布时间进行了重新排序OpenAI(微软)T5BART

35、采用更加多样的noiseBERT只有encoder,同时使用上下文进行编码ERNIE 1.0知识增强的语义表示模型ERNIE 2.0持续学习语义理解模型ERNIE 3.0知识增强大模型文心一言百度对话程序对话程序谷歌谷歌FaceBookERNIE 3.0TITAN参数量大幅提升20022202220192019BigBird谷歌M2m-100FaceBook202020202018ROBERTa训练参数调整FaceBook2019XLMFaceBook2019ALBERT轻量化模型谷歌2019ELECTRA性能明显升级谷歌2020200212023E

36、201732大模型参数迈向千亿时代03332018Google BERT-base(1.1)Google BERT-Large(3.4)OpenAi GPT-1(1.2)百度 ERINE1.0Facebook XLM百度 ERINE2.0Facebook BARTGoogle ALBERT(0.31)OpenAi GPT-2 (15.8)Facebook RobertTa(3.35)NIVIDIA Megatron-LM (83)Google T5 (110)Google ELECTRA(1.02)Micrasoft Truning-NLG(172)Facebook M2m-100(150)G

37、oogle BigBird(1750)OpenAi GPT-3(1758)Eleuther AI GPT-j(60)GLM(1300)百度 ERINE3.0(100)Google FLAN(1370)Naver Corp HyperCLOVA(2040)Google Gopher(2800)百度 ERNIE 3.0 Titan(2600)OpenAi InstructGPT(13)Meta AI OPT(1750)EleutherAI GPT-NeoX(200)Google LaMDA(2800)BigScience BLOOM(1760)Google PaLM(5400)微软和英伟达 Meg

38、atron-Turing NLG(5300)20022资料来源:真格基金、知乎、各模型官网、arxiv.org、电子工程世界、HuggingFace、浙商证券研究所,单位:亿2018-2022年大模型参数量 1亿-5400亿2020年:千亿参数转折点GPT-1GPT-2GPT-3InstructGPT论文年份20022Transformer层数124896-参数量1.2亿15.8亿1750亿13亿预训练数据量5GB40GB45TB-GPT模型仅保留Transformer的解码器,逐步升级层数和参数量0334Transformer架构GPT系列架构仅保

39、留Decoder解码器Decoder解码器Encoder编码器资料来源:CSDN、电子工程世界、浙商证券研究所,注:GPT(Gererate Pre-Training Model)基于InstructGPT形成ChatGPT对话系统0335ChatGPTInstructGPTGPT-3代码训练指令微调(instruction tuning)基于人类反馈的强化学习(RLHF)参数数量降低了100倍(1750亿-13亿)增加Chat属性网页公众测试入口略微降低参数量资料来源:CSDN、电子工程世界、新智元、浙商证券研究所基于BERT衍生百度文心大模型,料将推出对话系统文心一言0336Transfo

40、rmer架构仅保留Encoder编码器Encoder编码器Decoder解码器BERT架构资料来源:CSDN、电子工程世界、浙商证券研究所,注:BERT(Bidirectional Encoder Representation from Transformers)基于BERT衍生百度文心大模型,料将推出对话系统文心一言0337ERNIE 1.0架构:改进了MLM任务ERNIE 2.0:+持续学习框架ERNIE 3.0、3.0TITAN:+参数量ERNIE版本1.02.03.03.0 TITAN论文年份20021参数量参考bert base(1.1亿)参考bert base

41、(1.1亿),bert large(3.4亿)100亿2600亿预训练数据量Wiki,baike,news,tiebawiki,news,dialogue,IR,discourse relation4TB-资料来源:黑马程序员、知乎、BaiduResearch、浙商证券研究所,注:ERNIE(Enhanced language Representation with Informative Entities)4、应用38ChatGPT的背后:技术驱动的数字内容新生产方式AIGC内容生产总量内容消费体验04PGC:Professionally-Generated Content内容生产总量较低单

42、人/多人专业体验举例:长视频39专家生成内容用户生成内容UGC:User-GeneratedContent内容生产总量变多小规模多人交互举例:小红书、微博AI辅助生成内容AI生成内容AIUGC:AI-assistedGenerated Content内容生产总量大大规模沉浸交互举例:语音转文字协助纪要生成、百家号TTV协助新闻图文生成视频AIGC:AI-GeneratedContent内容生产总量巨大元宇宙式体验举例:ChatGPT、AI绘画、AI生成视频等数据来源:浙商证券研究所按技术场景,AIGC内容可分为文本、音频、图像、视频等04按技术场景划分AIGC内容分为文本生成图像生成音频生成视

43、频生成跨模态生成策略生成Game AI虚拟人生成40数据、浙商证券研究所产业链逐步形成,玩家百花齐放,商业模式持续探索以ChatGPT为代表的AIGC行业,上游主要包括数据供给方、算法/模型机构、创作者生态以及底层配合工具等,中游主要包括文字、图像、音频、视频等数字内容的处理加工方,下游主要是各类数字内容分发平台、消费方及相关服务机构等。上游中游下游数据供给方(业务数据联通、素材数据收集等,如第三方营销公司、版权图库方等)数据分析及标注创作者生态生物资产及内容素材底层配合工具渲染引擎、混音设备等相关算法/模型研究机构相关开源算法嵌入/结合能力的业务平台/业务生态个性化市场营销广告植入、品牌虚拟

44、形象打造、营销内容生成等自动实时交互数据梳理内外部数据分析及更新、数据分析及算法训练运营增效智能客服、简单决策等周边售卖NFT、个性化产品等内容制作工具音频/视频编辑工具、新闻采编、游戏制作等内容设计视觉设计、文案设计、结构设计等各内容创作及分发平台基于AICG激发PGC及UGC活力第三方分发渠道内容终端生产厂商新闻媒体机构、金融机构等消费品厂商AIGC内容检测第三方内容服务机构MCN公司、公关公司等0441数据来源:量子位、浙商证券研究所04数据来源:量子位、浙商证券研究所42应用领域广泛,核心价值在于优化内容生产的效率与创意01游戏02广告营销03影视04媒体05互联网06娱乐ChatGP

45、TAIGC=提升内容生产效率让创作者拥有一个更加高效的智能创作工具,优化内容创作,大幅提升效率并降低成本;提升创作效率的同时,同样提升了反馈生成效率,有助于实现实时交互内容。其他07降低内容生产成本捕捉激发创作灵感联动实现数据优化AIGC能够代替人工完成声音录制、图像渲染、视频创作等工作,从而降低内容生产的成本与门槛,使更多用户能够参与到高价值的内容创作流程中。帮助有经验的创作者捕捉灵感,在设计初期生成大量草图,更好的理解创作需求并寻找创作灵感。海量数据提高创造性和开放性,激发创意认知、提升生产多样性。在与其他特定的数据库(例如实时更新数据、特定主体数据等)或AI系统进行联动后,AIGC能够实

46、现更精准的未来预测或更个性化预测基础上调整生成内容。04数据来源:量子位、浙商证券研究所43ChatGPT/AIGC+游戏:推动游戏生产范式升级,行业新篇章1)对局陪伴。可陪伴玩家进行游戏,包括平衡匹配、冷启动、玩家掉线接管等。2)特定风格模拟。AI通过模仿职业选手,玩家则感觉像在与真实的职业选手对抗。3)玩法教学。与玩家在真实对战环境中交流协作,并在过程中向玩家传授职业级的策略与操作技术,帮助玩家迅速熟悉英雄操作与游戏玩法,提高游戏的可玩性。增加玩家游戏体验1)前期平衡性测试。AI bot可充分地模拟玩家在某一套数值体系下的游戏体验,提出优化策略,为玩家带来更加平衡的多样性游戏交互。2)游戏

47、功能测试。通过AI bot针对性的找出游戏中所有交互的可能性,通过发现潜在漏洞辅助游戏策划。AI可以创造不同的面孔、服饰、声音甚至性格特征,甚至可同步驱动嘴型、表情等面部变化,达到高度逼真;并通过大量数据模拟人类运动,完成行走、跑步等一系列动作反应。AI智能NPC能够分析玩家的实时输入,与玩家动态交互,构建几乎无限且不重复的剧情,增强用户体验并延长游戏生命周期。让AI感知环境、自身状态并基于特定目标决定当下需要执行的动作,基于特定问题和场景,自主提出解决方案。游戏性能测试NPC角色AI生成NPC逻辑及剧情AI生成游戏策略生成游戏04数据来源:浙商证券研究所44ChatGPT/AIGC+广告营销

48、:24小时虚拟客服,专业可靠智能03千人千面,个性化营销推荐ChatGPT可结合数据及客户的诉求,进行个性化推荐系统的应用给出用户的营销线索,实现更标准、更贴心的用户服务。01全天候24小时在线ChatGPT可作为AI驱动的虚拟客服,在广告营销领域为客户提供24小时全天候的客服服务,同时亦能减轻商家人工客服的营销成本。02稳定可靠,快速解答ChatGPT作为虚拟客服相比人工客服更加稳定可靠,能够快速解答客户问题、传递标准化营销话术等,并提升问题解答的准确程度。0445ChatGPT/AIGC+广告营销:内容智能生成,精准个性化营销数据来源:量子位、浙商证券研究所多模态广告智能制作AI可按广告主

49、要求自动生成广告文案;亦可根据广告文案自动生成为广告海报、广告视频,大大降低了广告的制作成本。营销内容个性化AI生成系统与底层的客户数据系统进行数据联通,实时根据数据的反馈,对需求进行针对性调整,由AI快速迭代对营销内容进行更新,提升个性化营销的效率和精准性。多套广告营销解决方案生成AI可根据目标人群,进行素材分析、抠图、配色等项目,制作多种类型的广告文案/海报/视频,生成多套设计解决方案。04数据来源:中国信息通信研究院、量子位、1905电影网、浙商证券研究所46ChatGPT/AIGC+影视:赋能影视制作,提升作品质量影视剧本文稿创作通过对海量剧本数据进行分析归纳,并按照预设风格快速生产剧

50、本,创作者再进行筛选和二次加工,激发创作者的灵感,缩短创作周期。提升影视剪辑、后期制作水平1)实现对影视图像进行修复、还原,提升影像资料的清晰度,保障影视作品的画面质量。2)实现影视预告片自动生成。3)实现将影视内容维度转制,从2D向3D自动转制。扩展角色和场景创作空间1)通过AI人脸合成、声音合成实现数字复活已故演员、替换“劣迹艺人”、演员角色年龄的跨越、高难度动作合成等,减少演员自身局限对影视作品的影响;2)通过人工智能合成虚拟物理场景,将无法实拍或成本过高的场景生成出来,拓宽影视作品想象边界,带来更优质的视觉效果和听觉体验。影视发行智能审核、用户端个性化推荐1)通过自然语言处理NLP和深

51、度学习DL实现视频审核和视频传播技术;2)用户端实现视频自主互动、弹幕防挡。04数据来源:中国信息通信研究院、浙商证券研究所47ChatGPT/AIGC+媒体:推进人机协作共生,媒体效率提升新闻采编环节提高内容制作效率新闻传播环节播报高效智能化新闻主体影响智媒影响产业及生活实现采访录音语音转写借助语音识别技术将录音语音转写成文字,有效压缩重复工作,保障新闻时效性。实现智能新闻写作提升新闻资讯的时效。基于算法自动编写新闻,将工作自动化,更快、更准、更智能化地生产内容。实现智能视频剪辑提升视频内容的价值。通过使用视频字幕生成、视频锦集、视频拆条、视频超分等视频智能化剪辑工具,节省成本,最大化版权内

52、容价值。对传媒机构产生深刻营销AIGC大幅提高生产效率,带来新的视觉化、互动化体验,推动传媒向智媒转变。对传媒从业者产生深刻影响AIGC助力生产更具人文关怀、社会意义和经济价值的新闻作品,并将部分劳动性的采编播工作自动化。对传媒受众产生深刻影响AIGC使其在更短时间内获得以更丰富多元的形态呈现的新闻内容,也降低了传媒行业的技术门槛,极大增强其参与感。应用范围不断拓展目前新华社、中央广播电视总台、人民日报社、湖南卫视等积极布局,推出“新小微”、“小C”等虚拟新闻主持人。应用场景不断升级除了常规的新闻播报,AI合成主播开始陆续支持多语种播报和手语播报,不断升级应用场景。应用形态日趋完善在形象方面,

53、逐步向3D拓展;在驱动范围上,向面部表情、肢体、手指、背景内容素材延伸;在内容构建上,向智能化生产探索。04数据来源:机器之心、Bing、浙商证券研究所48ChatGPT/AIGC+互联网:重构搜索引擎,更便捷高效多元改进用户搜索体验,在一些简单的事情如体育比分、股票价格和天气等,新必应会提供更相关结果,同时显示更全面的答案。更好的搜索体验审查从网络上搜索到的结果找到并总结答案。例如问题如何用鸡蛋代替蛋糕中的另一种成分,新版必应能够给出详细说明。更完整的答案全新的交互式聊天体验使用户能够通过询问更多细节、清晰度和想法来优化搜索,直到获得正在寻找的完整答案,并提供可用链接。全新的聊天体验可帮助用

54、户获得灵感,例如可以帮助用户编写电子邮件、规划旅游行程、准备工作面试等;还引用了信息所有来源,用户可详细查看链接。激发创造性火花图:微软旗下搜索引擎集成ChatGPT04数据来源:中国信息通信研究院、优衣库APP、电商报、Roblox官网、浙商证券研究所49ChatGPT/AIGC+互联网:电商购物虚实结合,沉浸式体验图:优衣库4D试衣间图:快手虚拟主播与真人主播场景互动图:潮牌Vans在游戏Roblox的店铺展览基于不同角度的商品图像,借助视觉生成算法自动化生成商品的3D几何模型和纹理,辅以线上虚拟“看、试、穿、戴”,提供接近实物的差异化网购体验,助力高效提升用户转化。1)为观众提供24小时

55、不间断的货品推荐介绍,增加商品商铺曝光度;2)推进店铺品牌年轻化科技化进程;3)虚拟主播稳定性强,行为言谈可根据品牌方要求个性化定制,失误率低。通过二维图像的三维重建,实现虚拟货场快速、低成本、大批量的构建,有效降低商家搭建3D购物空间的门槛及成本,为消费者提供新消费体验。生成商品3D模型用于商品展示和虚拟试用01打造虚拟主播提升直播带货效率02线上线下商城加速演变打造全新购物场景0304数据来源:微博、小红书、百度指数、浙商证券研究所50ChatGPT/AIGC+娱乐:人机交互新台阶,有趣有料高热度ChatGPT火爆全网高热度,2个月活跃用户破亿ChatGPT有趣有料,人机交互娱乐迈入新台阶

56、图:ChatGPT百度搜索指数趋势图(2022/02/02-2023/02/09图:ChatGPT百度资讯指数趋势图(2022/02/02-2023/02/0904数据来源:中国信息通信研究院、浙商证券研究所51ChatGPT/AIGC+娱乐:降低内容生产门槛,助力元宇宙加速打造虚拟偶像,释放IP价值 1)与用户共创合成歌曲,加深粉丝黏性;2)合成音视频动画,支撑虚拟偶像在更多元的场景进行内容变现。各大科技巨头积极探索与加速布局“虚拟数字世界”与现实世界大融合的“未来”。开发C端用户数字化身 1)图像视频生成,极大满足用户猎奇需求;2)语音合成,变声增加互动娱乐性。实现趣味性图像或音视频生成,

57、激发用户参与热情04数据来源:中国信息通信研究院、浙商证券研究所52ChatGPT/AIGC+其他:加快数实融合,产业升级提速教育+AIGC赋予教育材料新活力,为教育工作者提供了新的工具,使原本抽象、平面的课本具体化、立体化。医疗+AIGC赋能诊疗全过程。1)辅助诊断,可用于改善医学图像质量、录入电子病历等;2)康复治疗,为失声者合成语言音频,为残疾者合成肢体投影等。金融+AIGC助力实现降本增效。1)实现金融资讯、产品介绍视频内容的自动化生产,提升效率;2)塑造视听双通道的虚拟数字人客服。工业+AIGC提升产业效率和价值。1)融入计算机辅助设计CAD,极大缩短工程设计周期;支持生成衍生设计,

58、实现动态模拟;2)加速数字孪生系统的构建,高效创建数字孪生系统。ChatGPTAIGC5、通信5305算力调度:提高算力使用效率,电信运营商打造算力统一调度平台政企(B)算力资源/应用算力网络算网管理政企(B)算力调度平台内蒙古枢纽京津冀枢纽宁夏枢纽长三角枢纽甘肃枢纽成渝枢纽粤港澳枢纽智能调度,提高算力使用效率注册服务/路由/位置时延等感知算力应用意图数据来源:阿里云,浙商证券研究所54算力供给:为应对不同应用场景需求,AIGC将推动智能算力中心大发展55资料来源:浙商证券研究所X86、ARM服务器AI、GPU型服务器超级计算机数据中心智算中心超算中心中科曙光联想奥飞数据数据港运营商华为 基础

59、算力:当前主流通用计算模式 应用场景:电商、短视频等 智能算力:80%以上非结构化数据处理需要多样化算力 应用场景:AIGC、无人驾驶等 超算算力:超级计算机供给算力,算力规模极高 应用场景:科学计算、AI31205算力设备:向高速率多样化演进,AIGC有望催动国产化替代进程0556数据来源:浙商证券研究所算力设备服务器 方向:AI、GPU型服务器 代表厂商:浪潮信息、紫光股份、中兴通讯、中科曙光等交换机 方向:400G/800G高速率交换 代表厂商:锐捷网络、紫光股份、中兴通讯等光芯片 方向:25G/50G/100G等国产光芯片 代表厂商:源杰科技、光迅科技等光模块 方向:硅光、CPO新型技

60、术 代表厂商:天孚通信、中际旭创等光器件 方向:新型调制解调器 代表厂商:天孚通信、光库科技等以太网芯片 方向:25G/200G等国产芯片 代表厂商:裕太微等算力设备:光模块作为算力核心器件,有望明显受益05资料来源:Yole,浙商证券研究所25.6Tbps12.8Tbps5Tbps51.2Tbps222400G200G100G800G222交换机密度每两年翻番带动光模块代际演进当前阶段交换机速率光模块速率57算力设备:光模块作为算力核心器件,有望明显受益05资料来源:讯石光通讯,SiFotonics Technologies,Lightcounting,通信产业报,浙商证券研究所硅光模块:将

61、光学器件与电子元件整合在一个独立微芯片中,硅片上用光取代铜线作为信息传导介质,高集成/低成本/低功耗,在高速率场景具备优势20亿美元80亿美元25%50+%2020年2026年全球硅光模块市场规模58算力设备:光模块作为算力核心器件,有望明显受益05资料来源:弱电智能网、浙商证券研究所光模块封装工艺演进:CPO有望成为主流可插拔NPOCPO交换芯片SerDes光纤光模块主板交换芯片SerDes光引擎主板光适配器光纤PCB基板交换芯片SerDes光引擎主板光适配器光纤ASIC SubstratePCB基板590560资料来源:浙商证券研究所算力配套:散热向芯片级液冷演进房间级机柜级芯片级风冷液冷

62、设备越来越贴近核心发热源更加高效的冷却介质风险提示611、AI技术发展不及预期:当前以ChatGPT为代表的NLP模型以及其他类型人工智能模型发展仍不成熟,存在一定缺陷;2、版权、伦理和监管风险:AIGC生成的内容依赖现有版权素材,另外不当使用或模型自身问题可能导致不良后果;3、半导体下游需求不及预期:全球芯片行业存在周期性,可能因宏观经济波动导致需求低迷。板块建议关注的公司芯片算力海光信息、景嘉微、龙芯中科、中国长城、安路科技、复旦微电、紫光国微、寒武纪、澜起科技、德科立、天孚通信、中际旭创深度学习框架百度、海天瑞声、商汤科技、微软、谷歌、Meta 深度学习大模型百度、科大讯飞、商汤科技、谷

63、歌、微软应用百度、腾讯、阿里巴巴、网易、昆仑万维、阅文集团、捷成股份、视觉中国、风语筑、中文在线、三七互娱、吉比特、天娱数科通信底层基础算力设施:算力调度(运营商)、算力供给(运营商、奥飞数据、数据港)、算力设备(浪潮信息、联想集团、紫光股份、中兴通讯、锐捷网络、天孚通信、光库科技、中际旭创、新易盛)、算力配套(英维克、高澜股份)点击此处添加标题添加标题点击此处添加标题点击此处添加标题点击此处添加标题点击此处添加标题点击此处添加标题添加标题点击此处添加标题点击此处添加标题添加标题点击此处添加标题添加标题95%行业评级与免责声明62行业的投资评级以报告日后的6个月内,行业指数相对于沪深300指数

64、的涨跌幅为标准,定义如下:1、看好:行业指数相对于沪深300指数表现10%以上;2、中性:行业指数相对于沪深300指数表现10%10%以上;3、看淡:行业指数相对于沪深300指数表现10%以下。我们在此提醒您,不同证券研究机构采用不同的评级术语及评级标准。我们采用的是相对评级体系,表示投资的相对比重。建议:投资者买入或者卖出证券的决定取决于个人的实际情况,比如当前的持仓结构以及其他需要考虑的因素。投资者不应仅仅依靠投资评级来推断结论行业评级与免责声明63法律声明及风险提示本报告由浙商证券股份有限公司(已具备中国证监会批复的证券投资咨询业务资格,经营许可证编号为:Z39833000)制作。本报告

65、中的信息均来源于我们认为可靠的已公开资料,但浙商证券股份有限公司及其关联机构(以下统称“本公司”)对这些信息的真实性、准确性及完整性不作任何保证,也不保证所包含的信息和建议不发生任何变更。本公司没有将变更的信息和建议向报告所有接收者进行更新的义务。本报告仅供本公司的客户作参考之用。本公司不会因接收人收到本报告而视其为本公司的当然客户。本报告仅反映报告作者的出具日的观点和判断,在任何情况下,本报告中的信息或所表述的意见均不构成对任何人的投资建议,投资者应当对本报告中的信息和意见进行独立评估,并应同时考量各自的投资目的、财务状况和特定需求。对依据或者使用本报告所造成的一切后果,本公司及/或其关联人

66、员均不承担任何法律责任。本公司的交易人员以及其他专业人士可能会依据不同假设和标准、采用不同的分析方法而口头或书面发表与本报告意见及建议不一致的市场评论和/或交易观点。本公司没有将此意见及建议向报告所有接收者进行更新的义务。本公司的资产管理公司、自营部门以及其他投资业务部门可能独立做出与本报告中的意见或建议不一致的投资决策。本报告版权均归本公司所有,未经本公司事先书面授权,任何机构或个人不得以任何形式复制、发布、传播本报告的全部或部分内容。经授权刊载、转发本报告或者摘要的,应当注明本报告发布人和发布日期,并提示使用本报告的风险。未经授权或未按要求刊载、转发本报告的,应当承担相应的法律责任。本公司将保留向其追究法律责任的权利。联系方式64浙商证券研究所上海总部地址:杨高南路729号陆家嘴世纪金融广场1号楼25层北京地址:北京市东城区朝阳门北大街8号富华大厦E座4层深圳地址:广东省深圳市福田区广电金融中心33层邮政编码:200127 电话:(8621)80108518 传真:(8621)80106010 浙商证券研究所:http:/

友情提示

1、下载报告失败解决办法
2、PDF文件下载后,可能会被浏览器默认打开,此种情况可以点击浏览器菜单,保存网页到桌面,就可以正常下载了。
3、本站不支持迅雷下载,请使用电脑自带的IE浏览器,或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩,下载后原文更清晰。

本文(计算机行业【AIGC算力时代系列报告】:ChatGPT研究框架-230214(64页).pdf)为本站 (分析师) 主动上传,三个皮匠报告文库仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对上载内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知三个皮匠报告文库(点击联系客服),我们立即给予删除!

温馨提示:如果因为网速或其他原因下载失败请重新下载,重复下载不扣分。
会员购买
客服

专属顾问

商务合作

机构入驻、侵权投诉、商务合作

服务号

三个皮匠报告官方公众号

回到顶部