1、2023 年深度行业分析研究报告 内容目录内容目录 1.海外大模型形成一超多强格局，海外大模型形成一超多强格局，OpenAI 被加速追赶被加速追赶.5 1.1.Google Gemini：原生多模态且能力有望追平 GPT-4.5 1.2.大模型 Mixtral 通过专家混合结构提质增效.8 1.3.OpenAI 推出 GPT-4V 并持续保持领先.9 1.4.Claude3 震撼发布，能力略超 GPT-4.10 1.5.Meta 持续打造开源生态，加购算力研发 LLaMA3.11 2.国内大语言模型能力突破，逐步达到甚至超过国内大语言模型能力突破，逐步达到甚至超过 GPT3.5 水平水平.12

2、 2.1.智谱推出 GLM4，能力超过 CodeGeex2-6B.12 2.2.百度推出文心一言 4.0.13 2.3.讯飞正式发布星火大模型 3.5，能力比肩 GPT-4.14 2.4.通义千问推出 2.0 版本，能力赶超 GPT 3.5.15 2.5.Minimax 在国内推出 MoE 模型 abab6.15 2.6.百川智能上线 Baichuan3，中文、医疗能力表现优秀.15 3.多模态生成新技术不断突破，正处于技术突破的关键期多模态生成新技术不断突破，正处于技术突破的关键期.16 3.1.SORA 模型横空出世，视频生成模型的 GPT3 时刻来临.16 3.2.pika 推出 1.0

3、，模型效果快速提升.16 3.3.Stability.ai 发布并开源 Stable Video Diffusion 模型.17 3.4.Google 发布 VideoPoet，基于 LLM 的技术路径表现出亮眼的视频生成能力.18 3.5.Midjourney 推出 V6，大版本迭代带来更优异的图片生成能力.18 3.6.微软推出针对数字人的大模型 GAIA.18 3.7.阿里巴巴推出 Animate Anyone，让图片动的更自然.19 4.应用端应用端 OpenAI 正式推出正式推出 GPT store，生态体系正式建立，生态体系正式建立.20 5.海外模型大厂算力需求持续增加，模型海外

4、模型大厂算力需求持续增加，模型 Scaling 趋势仍在继续趋势仍在继续.20 图表目录图表目录 图 1：Gemini 采用原生多模态的模型结构.5 图 2：Gemini 可用来修订学生作业.5 图 3：Gemini 模型有三种等级的参数.5 图 4：Gemini 基准测试量化结果.6 图 5：Gemini 模型结合了多种多模态能力.7 图 6：Gemini 1.5 pro 拟人（humaneval）能力对比.7 图 7：Gemini 1.5 pro 多模态能力对比.7 图 8：混合专家层结构.8 图 9：Mixtral 8*7B 标化测试结果.8 图 10：LMSys 排行榜（2023 年

5、12 月 22 日）.8 UZ3U1XDXSV5XOY8ObPaQsQmMnPsOlOqQtQeRpOqRaQqRmMwMoNvNuOsQsN 图 11：Mixtral 8x7B、LLaMA2 测试结果对比.9 图 12：Mixtral 8x7B 与 LLaMA2、GPT-3.5 对比.9 图 13：GPT-4V 输入、输出模式和应用场景.9 图 14：Claude2.1 开放式 Q&A 精度提升.10 图 15：Claude2.1 减少长文本错误率.10 图 16：Claude3 模型的部分测试结果超过 GPT-4.11 图 17：LLaMA1 与 LLaMA2 模型家族的参数和性能等.11

6、 图 18：闭源模型基准测试对比结果.11 图 19：LLaMA2 软硬件投入.12 图 20：GLM-4 基础能力和中文对齐能力.13 图 21：智谱 GLM Store.13 图 22：百度“芯片+平台+模型+应用“4 层架构.13 图 23：千帆 AI 原生应用商店覆盖 B 端 5 大领域.13 图 24：ERNIE 赋能文心产业级知识增强大模型.14 图 25：ERNIE 效果对比.14 图 26：用于训练新一代星火大模型的“飞星一号”平台.14 图 27：讯飞星火 V3.5 七大能力提升.14 图 28：讯飞大模型总开发者总数超 35 万.14 图 29：星火开源-13B 上线.14

7、 图 30：通义千问 2.0 主流评测结果.15 图 31：通义大模型训练的 8 大行业模型.15 图 32：abab6 测评数据.15 图 33：Baichuan 3 中英文、数学和代码评测.16 图 34：Baichuan 3 对齐测试和医疗评测结果.16 图 35：Sora 采用 DM+Transformer 结构.16 图 36：Sora 视频生成效果.16 图 37：DreamPropeller 方法提升视频生成速度效果展示.17 图 38：SVD 文本-视频生成、图片-视频生成和多视图合成案例.17 图 39：SVD 定量比较效果.17 图 40：VideoPoet 能力概览.18

8、 图 41：VideoPoet 测评效果.18 图 42：Midjourney V6 BETA 发布.18 图 43：Midjourney V6 用户分享.18 图 44：GAIA 原理示意图.19 图 45：GAIA 效果定性比较.19 图 46：Animate Anyone 模型结构.19 图 47：Animate Anyone 模型效果.19 图 48：Animate Anyone 时装视频合成测试结果.19 图 49：Animate Anyone 舞蹈视频合成测试结果.19 图 50：ChatGPT 自定义版本.20 图 51：OpenAI GPT 商店.20 图 52：GPTs 覆盖

9、领域和趋势榜（2024 年 2 月 5 日）.20 图 53：GPTs 解锁费用.20 图 54：Meta 2021 财年 Q2 到 2023 财年 Q4 的资本性支出.21 图 55：Microsoft 2021 财年 Q2 到 2023 财年 Q2 的资本性支出.21 图 56：Google 2021 财年 Q2 到 2023 财年 Q4 的资本性支出.22 图 57：Amazon 2021 财年 Q2 到 2023 财年 Q4 的资本性支出.22 表 1：GPT-4V 与 Gemini 对比.10 1.海外大模型形成一超多强格局，海外大模型形成一超多强格局，OpenAI 被加速追赶被加速

10、追赶 1.1.Google Gemini：原生多模态且能力有望追平：原生多模态且能力有望追平 GPT-4 2023 年年 12 月月 7 日，日，Google 发布了新一款基于联合训练的原生多模态大模型发布了新一款基于联合训练的原生多模态大模型 Gemini。谷歌所发布的 Gemini 基于文本、图片、语音和视频联合训练，形成了跨模态的强大泛化能力，并在多个测试中有优秀表现。在 Gemini 的模型报告中，Gemini 可以理解文档和手写笔迹，识别学生的推理步骤，并给出详细的解答，生成对应的 Latex 公式。图图 1：Gemini 采用原生多模态的模型结构采用原生多模态的模型结构 图图 2：

11、Gemini 可用来修订学生作业可用来修订学生作业 资料来源：Gemini:A Family of Highly Capable Multimodal Models（作者Gemini Team,Google），天风证券研究所 资料来源：Gemini:A Family of Highly Capable Multimodal Models（作者Gemini Team,Google），天风证券研究所 Gemini 模型分为模型分为 3 种规模，适用于从大型数据中心到移动设备的各种场景。种规模，适用于从大型数据中心到移动设备的各种场景。Ultra 是Gemini 家族中最强大的模型，可以完成高度复杂

12、的推理和多模态任务。Pro在 Ultra 基础上进行了优化和平衡，仍然具有较强的推理性能和广泛的多模态能力。Nano 专为设备部署设计，Nano-1、Nano-2 参数量分别为 1.8B 和 3.25B，分别针对不同内存的设备。Nano 通过将模型参数转化为 4 位表示的形式，减小了模型大小，在提高部署效率的同时，维持了优良的性能。图图 3：Gemini 模型有三种等级的参数模型有三种等级的参数 资料来源：Gemini:A Family of Highly Capable Multimodal Models（作者 Gemini Team,Google），天风证券研究所 Gemini Ultra

13、 在文本处理基准测试优于在文本处理基准测试优于 GPT4，展现出一流的复杂推理能力。，展现出一流的复杂推理能力。根据 Google的测试，在综合知识（法律、生物和历史等）方面，Gemini Ultra 的 MMLU 指标达到 90.04%，超过人类专家的 89.8%，是首个超越人类的模型（GPT-4 的 MMLU 为 87.29%）。在数学领域，Gemini Ultra 的 GSM8K 指标为 94.4%，以往最高水平为 GPT-4 的 92.0%。在更加复杂的数学领域中，Gemini Ultra 的 MATH 指标（中学竞赛水平）得分为 53.2%，同样高于同期其他模型。在编程和复杂推理方面

14、，编程模型 AlphaCode 2 基于 Gemini Pro，实现了在潜在程序空间大规模搜索。通过定制的过滤、聚类和排序机制，Gemini Pro 可以既生成候选代码，又产生奖励模型用于选择出最合适的代码。与过去的 AlphaCode 相比，AlphaCode 2 解决 Codeforces 分部中竞赛问题的数量，从原来的 25%，提高到了 43%，超过了 85%的参赛者。此外，在机器翻译、多语言能力、长文本处理和人类偏好评估方面，Gemini 同样展现了先进的性能。图图 4：Gemini 基准测试量化结果基准测试量化结果 资料来源：Gemini:A Family of Highly Cap

15、able Multimodal Models（作者 Gemini Team,Google），天风证券研究所 作为原生多模态模型，作为原生多模态模型，Gemini 展现了较强的多模态能力。展现了较强的多模态能力。Gemini 可以在表格、图片、音频和视频中提取细节信息、空间布局和时间布局，并进行组合输出。例如，Gemini 可生成用于重新排列子画面的 matplotlib 代码，这表明 Gemini 结合了多种能力，如识别子图；逆推产生子图的代码；从非直接的指示中，推理出子图新的排列顺序；生成新的一组代码，重新生成、排列子图。图图 5：Gemini 模型结合了多种多模态能力模型结合了多种多模态能

16、力 资料来源：Gemini:A Family of Highly Capable Multimodal Models（作者 Gemini Team,Google），天风证券研究所 Gemini 1.5 引入引入 MoE，最新的，最新的 1.5 pro 以更少计算量比肩以更少计算量比肩 1.0 Ultra。Gemini 1.5 Pro 是Gemini 家族的最新模型，于 2024 年 2 月 15 日发布，是一种高效的多模态混合专家模型，能够从数百万个上下文标记中回忆并推理出精细的信息，其中包括多个长文档和几小时的视频和音频。该模型在跨模态的长期上下文检索任务上实现了近乎完美的召回率，并在长文档

17、问答、长视频问答和长上下文自动语音识别方面提高了现有最佳表现。该模型基于谷歌对 Transformer 和 MoE 的最新研究，与之前的版本相比，其性能在多个维度都有显著的改进，1.5 Pro 使用更少的计算实现了与 1.0 Ultra 相当的性能。图图 6：Gemini 1.5 pro 拟人（拟人（humaneval）能力对比）能力对比 图图 7：Gemini 1.5 pro 多模态能力对比多模态能力对比 资料来源：Gemini 1.5:Unlocking multimodal understanding across millions of tokens of context（作者 Gem

18、ini Team,Google），天风证券研究所 资料来源：Gemini 1.5:Unlocking multimodal understanding across millions of tokens of context（作者 Gemini Team,Google），天风证券研究所 1.2.大模型大模型 Mixtral 通过专家混合结构提质增效通过专家混合结构提质增效 MoE 方法每次只取用部分参数，同处理规模下推理较快。方法每次只取用部分参数，同处理规模下推理较快。为了提升模型质量，研究人员不断增大参数规模，大模型的训练难度和推理成本也随之增大。为了实现大模型的高效训练和推理，人们提出了

19、多种方法，包括 mamba 架构、URIAL 方法和 MoE 方法。MoE 在面对多个领域的复杂问题时，先分析任务，将其分发给多个领域的专家，再汇总结论。由于MoE 结构处理单个 token 的时候只取用部分参数，在保持同等处理规模的情况下，实现了较快的推理速度。图图 8：混合专家层结构混合专家层结构 资料来源：Mixtral of Experts（作者 Albert Q.Jiang,Alexandre Sablayrolles,Antoine Roux 等），天风证券研究所 Mixtral 采用了多个采用了多个 70 亿参数量的亿参数量的 MoE 组合，结果跑分优于多个主流模型。组合，结果跑

20、分优于多个主流模型。2023 年 12月 11 日，Mistral 发布 Mixtral 8x7B，该模型包括了 8 个“专家”模块，分别来自 ArXiv、Github、PhilPapers、StackExchange、DM Mathematics、Gutenberg、PubMed Abstracts和 Wikipedia(en)。Mixtral 8x7B 的参数量仅为 470 亿。在综合基准测试中，Mixtral 优于或等于 LLaMA 2 70B 和 GPT-3.5。特别地，在数学、代码生成和多语言基准测试中，Mixtral显著优于 LLaMA 2 70B。Mixtral 针对指令微调的模

21、型Mixtral 8x7B-Instruct 在人类基准测试中超过了 GPT-3.5Turbo、Claude-2.1、Gemini Pro 和 LLaMA2 70B 聊天模型。Mixtral 8x7B 在多语言和长文本领域也有较好表现。图图 9：Mixtral 8*7B 标化测试结果标化测试结果 图图 10：LMSys 排行榜（排行榜（2023 年年 12 月月 22 日）日）资料来源：Mixtral of Experts（作者 Albert Q.Jiang,Alexandre Sablayrolles,Antoine Roux 等），天风证券研究所 资料来源：Mixtral of Exper

22、ts（作者 Albert Q.Jiang,Alexandre Sablayrolles,Antoine Roux 等），天风证券研究所 Mixtral 8x7B 模型的推理计算与存储成本显著缩小，模型的推理计算与存储成本显著缩小，SMoEs 更适用于并行运算。更适用于并行运算。Mixtral 8x7B 仅使用 130 亿活动参数，多项跑分高于 700 亿活动参数的 LLaMA 2 70B。在不考虑内存成本和硬件利用率的情况下，活动参数越多，推理计算成本越大。因此 Mixtral 8x7B 在保持性能的同时，有效降低了推理成本。此外，在与存储成本相关的稀疏参数量方面，Mixtral 8x7B 仅

23、有 470 亿参数量，显著小于 LLaMA 2 70B 的参数量。设备利用率方面，在单时间步中，SMoEs 层的路由机制引入了额外的运算量，用于在单个设备上加载数个“专家”模块。因此，使用 SMoEs 层更适用于并行运算，批量地处理 token，可以提高设备利用率。因此我们认为，在供给侧，Mixtral 8x7B 所采用的方法以其小型化的特点，为边缘、终端部署大模型有力赋能；在需求侧，Mixtral SMoEs 会对硬件的并行运算能力提出新的要求。图图 11：Mixtral 8x7B、LLaMA2 测试结果对比测试结果对比 图图 12：Mixtral 8x7B 与与 LLaMA2、GPT-3.

24、5 对比对比 资料来源：Mixtral of Experts（作者 Albert Q.Jiang,Alexandre Sablayrolles,Antoine Roux 等），天风证券研究所 资料来源：Mixtral of Experts（作者 Albert Q.Jiang,Alexandre Sablayrolles,Antoine Roux 等），天风证券研究所 1.3.OpenAI 推出推出 GPT-4V 并持续保持领先并持续保持领先 OpenAI 在在 2023 年年 9 月发布的月发布的 GPT-4V 在处理交织的多模态互动方面体现了通用性和强在处理交织的多模态互动方面体现了通用性和

25、强大的处理能力。大的处理能力。在输入模式方面，GPT-4V 具备图片标记互动、识别无定式图文输入和接受案例引导的能力。在输出模式方面，强大的多模态处理能力使得 GPT-4V 可以完成事件划分、视频解读和情感解读任务。基于丰富的功能，GPT-4V 衍生出了医学图像解读、具身代理和 GUI 导航等场景应用。还有许多潜在的功能等待使用者发掘。图图 13：GPT-4V 输入、输出模式和应用场景输入、输出模式和应用场景 资料来源：The Dawn of LMMs:Preliminary Explorations with GPT-4V(ision)（作者 Zhengyuan Yang,Linjie Li

26、,Kevin Lin等），天风证券研究所 在工业具身代理、在工业具身代理、GUI 导航和多物体识别等领域，导航和多物体识别等领域，GPT-4V 测试表现优于测试表现优于 Gemini Pro。在基础的图像识别任务中，GPT-4V 和 Gemini Pro 均表现良好，在复杂的公式和表格信息处理方面存在差异。在图像推理和情绪理解方面，2 个模型都展现了理解多种情绪的能力。在 IQ 测试和多物体识别中，GPT-4V 略强，但 Gemini Pro 在单物体识别方面表现更好，且单图像+文本识别能力更强。在工业应用领域，尤其是包含了具身智能代理和 GUI 导航方面，GPT-4V 更具优势。GPT-4V

27、 和 Gemini Pro 均为能力优秀的多模态大模型，GPT-4V 在某些领域略优于 Gemini Pro。表表 1：GPT-4V 与与 Gemini 对比对比 GPT-4V Gemini 基本图像识别 较好 较好 IQ 测试 略强 多物体识别 略强 单物体识别 在某些方面表现更好 图像-文本理解 更强 带有单图像的文本推理 同水平 同水平 具身代理 更强 GUI 导航 更强 资料来源：Gemini vs GPT-4V:A Preliminary Comparison and Combination of Vision-Language Models Through Qualitative

28、Cases（作者 Zhangyang Qi,Ye Fang 等），天风证券研究所 1.4.Claude3 震撼发布，能力略超震撼发布，能力略超 GPT-4 Claude 2.1 显著减少幻觉率，处理更长文本可靠性更高。显著减少幻觉率，处理更长文本可靠性更高。2023 年 11 月 21 日，Anthropic推出 Claude 2.1。在开放式对话和复杂 QA 方面，Claude2.1 幻觉率（Hallucination Rates）减少近 50%，为企业提供了更高的可靠性。与同期模型相比，Claude2.1 在“诚实度（Honesty）”测试中，可以输出不确定性结果（例如，“我不确定玻利维亚

29、人口第五大城市是什么”），而非输出一个错误结果（例如，“玻利维亚人口第五大城市是蒙特罗”）。在文本处理方面，Claude2.1 将 200k 长文本处理能力产品化，为业界首创。在处理可靠性要求高的文本（法律报告、财务报告和技术规范）时，Claude2.1 错误答案减少了 30%，错误引用率减少为原来的 25%-33%。图图 14：Claude2.1 开放式开放式 Q&A 精度提升精度提升 图图 15：Claude2.1 减少长文本错误率减少长文本错误率 资料来源：Anthropic 官网，天风证券研究所 资料来源：Anthropic 官网，天风证券研究所 Claude3 正式发布效果追平甚至超

30、过正式发布效果追平甚至超过 GPT4，成本梯度明显。，成本梯度明显。Claude3 在 3 月 4 日发布，目前有 3 个型号 Haiku,Sonnet 和 Opus，其中 Opus 能力最强但成本最高，Haiku 能力最弱但最有性价比，Opus 和 Sonnet 现在可以在 Claude.ai 上使用，效果上包括以下几点特征：（1）在 MMLU、GPQA、基础数学 GSM8K 等测试机上，Opus 在表现出接近人类的理解力和流畅性，效果基本追平或者超过 GPT-4；（2）响应速度快，Haiku 最快，Sonnet比上一代 2.1 块 2 倍，Opus 与上一代速度相似但水平更高；（3）视觉能

31、力强，在视觉理解上可以理解照片、图表、图形等，效果追平 GPT-4V 和 Gemini1.0；（4）拒绝率下降，拒绝回答的概率相较于上一代下降一倍；（5）幻觉下降，准确度更高，开放问答的错误率更低；（6）长文本更长，Claude3 支持正常 200k 长文本，客户有需求可以接受最多 100userid:93117,docid:156482,date:2024-03-14, 万 token 的长文本，同时大海捞针的召回能力更强。价格上，Opus 的价格目前每百万 tokens 输入 15 美元，输出 75 美元，Sonnet 为百万 tokens 输入 3 美元，输出 15 美元，Haiku 为

32、百万 tokens 输入 0.25 美元，输出 1.25 美元。我们认为 Claude3 发布接近基本超越了 GPT4。图图 16：Claude3 模型的部分测试结果超过模型的部分测试结果超过 GPT-4 资料来源：Anthropic 官网，天风证券研究所 1.5.Meta 持续打造开源生态，加购算力研发持续打造开源生态，加购算力研发 LLaMA3 2023 年年 7 月月 19 日发布的日发布的 LLaMA 2 最多有最多有 700 亿参数量，标化测试水平略高于亿参数量，标化测试水平略高于 PaLM。2023 年 7 月 19 日，Meta 发布免费可商用模型 LLaMA 2，最大参数量为

33、700 亿，可处理内容长度为第一代的 2 倍。与 GPT-3.5、GPT-4、PaLM 和 PaLM-2-L 相比，LLaMA 2 70B 的MMLU 最低，GSM8K 较低；TriviaQA 和 Natural Questions 水平介于 PaLM 和 PaLM-2-L之间；HumanEval 和 BIG-Bench Hard 水平与 PaLM 相近，低于其他模型。图图 17：LLaMA1 与与 LLaMA2 模型家族的参数和性能等模型家族的参数和性能等 图图 18：闭源模型基准测试对比结果闭源模型基准测试对比结果 资料来源：LLaMA 2:Open Foundation and Fine

34、-Tuned Chat Models（作者 HugoTouvron,Louis Martin,Kevin Stone），天风证券研究所 资料来源：LLaMA 2:Open Foundation and Fine-Tuned Chat Models（作者 HugoTouvron,Louis Martin,Kevin Stone），天风证券研究所 LLaMA2 投入投入 330 万万 A100 计算小时进行训练，计算小时进行训练，LLaMA3 或累计投入或累计投入 60 万台万台 H100，Meta 正加速研发。正加速研发。在 LLaMA2 训练过程中，投入了 330 万 GPU 小时（A100-

35、80GB），用于 2万亿 token 数据的预训练。微调数据包括公开可用的指令数据集，以及超过 100 万人工标注案例的实例。Meta 指出，预训练和微调数据集均不包括用户数据。图图 19：LLaMA2 软硬件投入软硬件投入 资料来源：LLaMA 2:Open Foundation and Fine-Tuned Chat Models（作者 HugoTouvron,Louis Martin,Kevin Stone），天风证券研究所 LLaMA3 有望比肩有望比肩 GPT-4，最高，最高 1400 亿参数，研究人员计划放松安全限制。亿参数，研究人员计划放松安全限制。2024 年 1 月18 日扎

36、克伯格透露，Meta 正在训练下一代大模型 LLaMA3，未来一年，将投入 35 万台H100 GPU 用于构建计算基础设施。近期 The Information 报道，Meta 计划在今年 7 月份发布 Llama 3 大模型，旨在与 OpenAI 的 GPT-4 模型相竞争。参数量方面，LLaMA3 的最大参数量可能超过 1400 亿，对标的 GPT-4 模型参数规模约为 1.8 万亿。Meta 在开发 LLaMA 2 时引入了安全机制，以避免回答可能引发争议的问题，这种过于谨慎的设计，在公司高层和模型研究人员中引发了关于其“过度安全”的担忧。鉴于此，研究人员计划在 LLaMA3中放宽这些

37、限制，以促进模型与用户之间的更多互动，提供更丰富的背景信息，而不仅仅是回避争议话题。2.国内大语言模型能力突破，逐步达到甚至超过国内大语言模型能力突破，逐步达到甚至超过 GPT3.5 水平水平 2.1.智谱推出智谱推出 GLM4，能力超过，能力超过 CodeGeex2-6B GLM-4整体性能超过整体性能超过 GPT3.5，部分能力比肩，部分能力比肩 GPT-4，128k文本能力测试超越文本能力测试超越 Claude2.1。2024 年 01 月 16 日，智谱 AI 推出 GLM-4。在基础能力方面，GLM-4 在各项测评中达到了GPT-4 90%以上水平。长文本方面，基于 LongBenc

38、h（128k）的总结、信息抽取、复杂推理和代码场景中，GLM-4测试结果超过Claude2.1；在“大海捞针”（Needle in the Heystack，将一段信息放在一段长文本中的任意位置，检测大模型的回答准确率）测试中，GLM-4 实现在 128k 文本长度内几乎 100%的精度召回。此外，智谱 AI 在发布 GLM-4 的同时，发布了“定制化的个人 GLM 大模型”GLMs 和 GLM Store，对标 OpenAI 的 GPTs。图图 20：GLM-4 基础能力和中文对齐能力基础能力和中文对齐能力 图图 21：智谱智谱 GLM Store 资料来源：GLM 大模型公众号，天风证券研

39、究所 资料来源：新智元公众号，天风证券研究所 2.2.百度推出文心一言百度推出文心一言 4.0 基于文心一言基于文心一言 4.0，百度打造应用商店和，百度打造应用商店和 4 层架构平台，服务企业。层架构平台，服务企业。在模型领域，2023 年10 月 17 日百度发布文心大模型 4.0，个人和企业客户可通过百度智能云千帆大模型平台接入使用，百度可延伸提供企业级一站式客户服务，打通芯片+平台+模型+应用的 4 层架构，实现应用落地。在应用层面，百度 AI 原生应用商店引入 5 大领域应用，涵盖智能办公、营销服务、行业智能、生产提效和分析决策领域，助力企业业务提效和创新发展。图图 22：百度“芯片

40、百度“芯片+平台平台+模型模型+应用“应用“4 层架构层架构 图图 23：千帆千帆 AI 原生应用商店覆盖原生应用商店覆盖 B 端端 5 大领域大领域 资料来源：百度智能云千帆大模型官网，天风证券研究所 资料来源：百度智能云千帆大模型官网，天风证券研究所 自研预训练框架自研预训练框架 ERNIE 赋能文心大模型，赋能文心大模型，2023 年年 10 月月 17 日日更新至更新至 ERNIE 4.0。百度在2019 年发布 ERNIE 1.0 版本。实证结果显示，ERNIE 3.0 在 54 项中文 NLP 任务上优于同期最先进的模型，其英文版在 SuperGLUE 基准测试中排名第一（2021

41、 年 7 月 3 日），超过人类表现+0.8%（90.6%对 89.8%）。2023 年 10 月 17 日 ERNIE 更新至 4.0 版本，功能对标GPT-4，在理解、生成、推理和记忆方面能力有所加强，进一步赋能文心大模型。图图 24：ERNIE 赋能文心产业级知识增强大模型赋能文心产业级知识增强大模型 图图 25：ERNIE 效果效果对比对比 资料来源：百度智能云千帆大模型官网，天风证券研究所 资料来源：ERNIE 3.0:LARGE-SCALE KNOWLEDGE ENHANCED PRE-TRAINING FOR LANGUAGE UNDERSTANDING AND GENERATI

42、ON（作者 Yu Sun,Shuohuan Wang 等），天风证券研究所 2.3.讯飞正式发布星火大模型讯飞正式发布星火大模型 3.5，能力比肩，能力比肩 GPT-4 基于全国产化算力平台“飞星一号“，星火大模型基于全国产化算力平台“飞星一号“，星火大模型 V3.5 实现七大能力提升。实现七大能力提升。2023 年 10月 24 日，讯飞联合昇腾生态共同发布“飞星一号”大模型算力平台，并启动对标 GPT-4的更大参数规模的星火大模型训练，自主生态平台为世界提供了新的选择。星火 V3.5 于2024 年 1 月 30 日发布，在文本生成、语言理解和知识问答等七大能力有所提升。在语言理解、数学能

43、力方面超越 GPT-4 Turbo，在代码能力和多模态能力方面逼近 GPT-4 Turbo、GPT-4V。此外，讯飞计划在 2024 年上半年发布 4.0 版本。图图 26：用于训练新一代星火大模型的“飞星一号”平台用于训练新一代星火大模型的“飞星一号”平台 图图 27：讯飞星火讯飞星火 V3.5 七大能力提升七大能力提升 资料来源：科大讯飞公众号，天风证券研究所 资料来源：讯飞开放平台公众号，天风证券研究所 讯飞讯飞 AI 应用生态增长迅猛，发布星火开源应用生态增长迅猛，发布星火开源-13B 进一步赋能开发者。进一步赋能开发者。自星火大模型发布以来，大模型开发者总数超 35 万，其中企业开发

44、者 22 万，遍布企业服务、教育培训、智能客服、医疗健康等领域。此外，科大讯飞还首次开源了深度适配国产算力，拥有 130 亿参数的 iFlytekSpark-13B 模型（星火开源-13B）。不仅场景应用效果领先，而且还对学术和企业研究完全免费。具体来说，此次开源不仅包括基础模型 iFlytekSpark-13B-base、精调模型 iFlytekSpark-13B-chat，还有微调工具 iFlytekSpark-13B-Lora，以及人设定制工具iFlytekSpark-13B-Charater。基于这些全栈自主创新的套件，企业和机构可以方便地训练自己的大模型。图图 28：讯飞大模型总开发

45、者总数超讯飞大模型总开发者总数超 35 万万 图图 29：星火开源星火开源-13B 上线上线 资料来源：讯飞开放平台公众号，天风证券研究所 资料来源：新智元公众号，天风证券研究所 2.4.通义千问推出通义千问推出 2.0 版本，能力赶超版本，能力赶超 GPT 3.5 通义千问能力评测超越通义千问能力评测超越 GPT-3.5，8 大行业应用组团上线。大行业应用组团上线。2023 年 10 月 31 日，阿里云正式发布千亿级参数大模型通义千问 2.0。在 10 项权威测评中，通义千问 2.0 综合性能超过GPT-3.5，正在加速追赶 GPT-4。在 MMLU、C-Eval、4.GSM8K、Huma

46、nEval、MATH 等 10个主流 Benchmark 测评集上，通义千问 2.0 的得分整体超越 Meta 的 LLaMA-2-70B，相比OpenAI 的Chat-3.5是九胜一负，相比 GPT-4则是四胜六负，与GPT-4的差距进一步缩小。与此同时，基于通义大模型训练的 8 大行业模型组团上线，8 大行业模型面向当下最受欢迎的多个垂直场景，使用领域数据进行专门训练。用户可以在官网直接体验模型功能，开发者可以通过网页嵌入、API/SDK 调用等方式，将模型能力集成到自己的大模型应用和服务中。图图 30：通义千问通义千问 2.0 主流评测结果主流评测结果 图图 31：通义大模型训练的：通义

47、大模型训练的 8 大行业模型大行业模型 资料来源：阿里云开发者社区，天风证券研究所 资料来源：通义千问官网，天风证券研究所 2.5.Minimax 在国内推出在国内推出 MoE 模型模型 abab6 MiniMax 在国内上线在国内上线 MoE 模型模型，部分效果超过，部分效果超过 Mistral 商用版商用版。2024 年 1 月 16 日，国内首个 MoE 大模型 abab6 上线。与上一代模型相比，其参数量还增大了一个数量级。从测评数据来看，在指令遵从、中文综合能力和英文综合能力上，abab6 大幅超过了 GPT-3.5；和 Claude 2.1 相比，abab6 也在指令遵从、中文综合

48、能力和英文综合能力上略胜一筹；相较于 Mistral 的商用版本 Mistral-Medium，abab6 在指令遵从和中文综合能力上都优于Mistral-Medium，在英文综合能力上与 Mistral-Medium 旗鼓相当。图图 32：abab6 测评数据测评数据 资料来源：MiniMax 稀宇科技公众号，天风证券研究所 2.6.百川智能上线百川智能上线 Baichuan3，中文、医疗能力表现优秀，中文、医疗能力表现优秀 百川智能发布百川智能发布 Baichuan 3，中文评测超越，中文评测超越 GPT-4。2024 年 1 月 29 日，百川智能发布超千亿参数的大语言模型 Baichu

49、an 3。在 CMMLU、GAOKAO 等多个中文评测榜单上，Baichuan 3 超越 GPT-4。同时，在多个英文评测中，Baichuan 3 表现出色，达到接近 GPT-4 的水平。Baichuan 3 的数学和代码能力介于 GPT-3.5 与 GPT-4 之间。此外，在 MT-Bench、IFEval等对齐榜单的评测中，Baichuan 3 超越了 GPT-3.5、Claude 等大模型，处于行业领先水平。Baichuan 3 在多个权威医疗评测任务中表现优异，不仅 MCMLE、MedExam、CMExam 等中文医疗任务的评测成绩超过 GPT-4，USMLE、MedMCQA 等英文医

50、疗任务的评测成绩也逼近了 GPT-4 的水准。图图 33：Baichuan 3 中英文、数学和代码评测中英文、数学和代码评测 图图 34：Baichuan 3 对齐测试和医疗评测结果对齐测试和医疗评测结果 资料来源：百川大模型公众号，天风证券研究所 资料来源：百川大模型公众号，天风证券研究所 3.多模态生成新技术不断突破，正处于技术突破的关键期多模态生成新技术不断突破，正处于技术突破的关键期 3.1.SORA 模型横空出世，视频生成模型的模型横空出世，视频生成模型的 GPT3 时刻来临时刻来临 Sora 采用采用 Diffusion Transformer 结构，使用时空结构，使用时空 Lat

51、ent patch 表示视频和图像，或成为表示视频和图像，或成为模拟现实的基础。模拟现实的基础。Sora 建立在 DALLE 和 GPT 的基础上，它采用扩散模型，以类似静态噪声的视频为起点，通过多个步骤去除噪声来逐渐产生视频。此外，Sora引入了Transformer结构，OpenAI 团队用 patch 作为基本单位，把视频和图像表示为 patch 的组合（类似于GPT 中的 token）。patch 的表示方法扩大了 OpenAI 的数据集，因此 DM+Transformer 的训练可以引入不同持续时间、分辨率和纵横比的数据。OpenAI 认为，Sora 是 AI 理解和模拟真实世界的基

52、础，是 AGI 的重要里程碑。图图 35：Sora 采用采用 DM+Transformer 结构结构 图图 36：Sora 视频生成效果视频生成效果 资料来源：OpenAI 官网，天风证券研究所 资料来源：OpenAI 官网，天风证券研究所 3.2.pika 推出推出 1.0，模型效果快速提升，模型效果快速提升 Pika labs 发布发布 1.0 产品，产品，DreamPropeller 助力视频生成保质提速。助力视频生成保质提速。2023 年 11 月 29 日，位于美国的初创企业 Pika Labs，对外正式发布了其全新的视频生成与编辑软件Pika 1.0。该软件具备视频处理能力，可生成

53、并编辑 3D 动画、动漫、卡通以及电影等多种形式的视频内容。值得一提的是，Pika 1.0 的使用门槛极低，用户仅需输入一句话，即可生成多种风格的视频。同时，用户还可以通过简单的描述，对视频中的形象和风格进行个性化调整。Pika 提出的 DreamPropeller 方法，以并行计算换取速度，将该方法用于 DreamGaussian和 ProlificDreamer 后，在保证生成质量的同时，实现了超过 4 倍的加速。图图 37：DreamPropeller 方法提升视频生成速度效果展示方法提升视频生成速度效果展示 资料来源：DreamPropeller:Supercharge Text-to

54、-3D Generation with Parallel Sampling（作者 Linqi Zhou,Andy Shih等），天风证券研究所 3.3.Stability.ai 发布并开源发布并开源 Stable Video Diffusion 模型模型 2023 年年 11 月份上线的月份上线的 Stable Video Diffusion 模型可用于视频、图片生成，性能优于部模型可用于视频、图片生成，性能优于部分同期模型。分同期模型。2023年11月21日，Stability.AI基于研究目的发布Stable Video Diffusion（SVD）模型和微调版本 SVD-XT。功能方面，

55、SVD 可用于文本-视频生成、图片-视频生成和多视图合成。性能方面，SVD 的文生视频 FVD 测试得分（类似图像的 FID 指标，越小则越接近真实案例）优于 Make-A-Video 和 MagciVideo 等多个模型；此外，在图生视频方面，SVD比 Pika 和 GEN-2 更受欢迎。图图 38：SVD 文本文本-视频生成、图片视频生成、图片-视频生成和多视图合成案例视频生成和多视图合成案例 图图 39：SVD 定量比较效果定量比较效果 资料来源：Stable Video Diffusion:Scaling Latent Video Diffusion Models to Large D

56、atasets（作者 Andreas Blattmann,Tim Dockhorn,Sumith Kulal 等），天风证券研究所 资料来源：Stable Video Diffusion:Scaling Latent Video Diffusion Models to Large Datasets（作者 Andreas Blattmann,Tim Dockhorn,Sumith Kulal 等），天风证券研究所 3.4.Google 发布发布 VideoPoet，基于，基于 LLM 的技术路径表现出亮眼的视频生成的技术路径表现出亮眼的视频生成能力能力 VideoPoet 能力覆盖各种视频任务，

57、效果亮能力覆盖各种视频任务，效果亮眼。眼。2023 年 12 月 19 日，谷歌发布视频生成大模型 VideoPoet，能够执行各种视频生成任务，包括文本到视频、图像到视频、视频风格化、视频修复和扩展，以及视频转音频。测试结果方面，VideoPoet 在零样本文本到视频基准测试上（MSR-VTT 和 UCF-101）实现了先进的性能。图图 40：VideoPoet 能力概览能力概览 图图 41：VideoPoet 测评效果测评效果 资料来源：VideoPoet:A Large Language Model for Zero-Shot Video Generation（作者 Dan Kondra

58、tyuk,Lijun Yu,等），天风证券研究所 资料来源：VideoPoet:A Large Language Model for Zero-Shot Video Generation（作者 Dan Kondratyuk,Lijun Yu,等），天风证券研究所 3.5.Midjourney 推出推出 V6，大版本迭代带来更优异的图片生成能力，大版本迭代带来更优异的图片生成能力 Midjourney v6 优化优化 Prompt 模式，生成图片相较于前一代版本更加准确自然。模式，生成图片相较于前一代版本更加准确自然。2023 年 12月 21 日，Midjourney v6 发布 BETA 版

59、。与 v5 相比，v6 的主要变化，就是图像质量更好、语义理解更强、能嵌入英文单词、更容纳更多 token 了。从生成效果来看，v6 的效果更自然，已经达到了电影级别的质量。从光影效果来看，v6 更丰富、真实，有光追效果。图图 42：Midjourney V6 BETA 发布发布 图图 43：Midjourney V6 用户分享用户分享 资料来源：新智元公众号，天风证券研究所 资料来源：新智元公众号，天风证券研究所 3.6.微软推出针对数字人的大模型微软推出针对数字人的大模型 GAIA GAIA（Generative AI for Avatar）基于语音和单张人像图片，生成说话视频，比）基于语

60、音和单张人像图片，生成说话视频，比 Real Video等模型效果更自然。等模型效果更自然。2023 年 11 月 26 日，微软发表论文GAIA:ZERO-SHOT TALKING AVATAR GENERATION。将语音和人像图片输入 GAIA 可以得到对应的说话视频。原理上，GAIA 由一个变分自编码器（橙色模块）和一个扩散模型（蓝色和绿色模块）组成。效果上，与 Real Video、MakeItTalk、Audio2Head 和 SadTalker 进行定性比较，GAIA 实现 了更高的自然度、唇同步质量、视觉质量和运动多样性。图图 44：GAIA 原理示意图原理示意图 图图 45：

61、GAIA 效果定性比较效果定性比较 资料来源：GAIA:ZERO-SHOT TALKING AVATAR GENERATION（作者 Tianyu He,Junliang Guo,Runyi Yu 等），天风证券研究所 资料来源：GAIA:ZERO-SHOT TALKING AVATAR GENERATION（作者 Tianyu He,Junliang Guo,Runyi Yu 等），天风证券研究所 3.7.阿里巴巴推出阿里巴巴推出 Animate Anyone，让图片动的更自然，让图片动的更自然 输入图片与姿势序列，输入图片与姿势序列，Animate Anyone 模型引导图片产生预置运动模

62、型引导图片产生预置运动。方法上，Animate Anyone 引入Pose Guider对特定舞蹈动作的姿势序列进行编码，混入噪声后加入去噪 UNet。参考图片给定后，被 VAE 编码，再通过 ReferenceNet 提取详细特征，用于空间注意力；同时用 CLIP 提取参考图像的语义特征，用于跨时空注意力。时间注意力用于去噪 UNet 在时域上的运行。对去噪 UNet 的输出进行 VAE 解码，产生视频（切面）。从生成效果上看，给定参考图像，Animate Anyone 可以实现连贯可控的角色动画效果，生成的视频结果清晰、稳定，且可以保持与参考图像的外观细节一致。图图 46：Animate

63、Anyone 模型结构模型结构 图图 47：Animate Anyone 模型效果模型效果 资料来源：Animate Anyone:Consistent and Controllable Image-to-Video Synthesis for Character Animation（作者 Li Hu,Xin Gao 等），天风证券研究所 资料来源：Animate Anyone:Consistent and Controllable Image-to-Video Synthesis for Character Animation（作者 Li Hu,Xin Gao 等），天风证券研究所 在时装和

64、舞蹈合成方面，在时装和舞蹈合成方面，Animate Anyone 优于同期模型。优于同期模型。时装视频合成方面，Animate Anyone 的 SSIM（结构相似性指数）和 PSNR（峰值信噪比）指标高于 MRAA（Motion Representations for Articulated Animation）等模型，其 LPIPS（图像感知相似度）和 FVD指标低于 MRAA 等模型。在舞蹈合成方面，Animate Anyone 的 SSIM、PSNR、LPIPS 和 FVD参数优于 FOMM（First Order Motion Model for Image Animation）等模

65、型。图图 48：Animate Anyone 时装视频合成测试结果时装视频合成测试结果 图图 49：Animate Anyone 舞蹈视频合成测试结果舞蹈视频合成测试结果 资料来源：Animate Anyone:Consistent and Controllable Image-to-Video Synthesis for Character Animation（作者 Li Hu,Xin Gao 等），天风证券研究所 资料来源：Animate Anyone:Consistent and Controllable Image-to-Video Synthesis for Character An

66、imation（作者 Li Hu,Xin Gao 等），天风证券研究所 4.应用端应用端 OpenAI 正式推出正式推出 GPT store，生态体系正式建立，生态体系正式建立 应用端持续增长，超过应用端持续增长，超过 300 万万 GPT 应用在短时间迸发。应用在短时间迸发。ChatGPT 推出以来，人们产生了多样化的需求。为了满足这些需求，许多用户积累了精心设计、可复用的指令列表，手动将其复制到 ChatGPT 中。“指令工程师”（prompt engineer）的概念应运而生。2023 年11 月 6 日，OpenAI 推出 ChatGPT 自定义版本，无需编程，用户就可以将积累的指令列

67、表封装至自定义的 GPT 中。基于这一功能，用户 2 个月的时间就创建了超过 300 万个自定义版本的 ChatGPT。2024 年 1 月 10 日，OpenAI 推出 GPT 商店，整合这些用 GPT 搭建的应用程序。在第一季度，OpenAI 会推出 GPT 构建者激励计划，根据开发参与度提供报酬。此外，GPT 商店即将推出企业版，内置更细致的分享机制，以迎合企业客户的管理需求。图图 50：ChatGPT 自定义版本自定义版本 图图 51：OpenAI GPT 商店商店 资料来源：OpenAI 官网，天风证券研究所 资料来源：OpenAI 官网，天风证券研究所 GPTs 覆盖领域广泛，形成

68、付费生态。覆盖领域广泛，形成付费生态。GPTs 应用覆盖绘画、写作、生产力、研究分析、编程、教育和生活领域，用户既可以使用其他 GPTs 应用，也可以自己创建应用。在 GPTs社区中，趋势榜（Trending）最受欢迎的应用（2024 年 2 月 5 日）包括设计领域的 Canva、image generator、Logo Creator 和 Cartoonize Yourself，用于绘制流程图的 Diagrams:Show Me，以及用于学术问答的 Consensus。GPTs 并非免费提供，购买了 PLUS 和团队版的用户可以使用。图图 52：GPTs 覆盖领域和趋势榜（覆盖领域和趋势榜

69、（2024 年年 2 月月 5 日）日）图图 53：GPTs 解锁费用解锁费用 资料来源：GPTs 网站，天风证券研究所 资料来源：GPTs 网站，天风证券研究所 5.海外模型大厂算力需求持续增加，模型海外模型大厂算力需求持续增加，模型 Scaling 趋势仍在继续趋势仍在继续 Meta2024 年年扩大扩大 GPU 投资，投资，预测预测未来计算需求将进一步增加。未来计算需求将进一步增加。Meta 预计，到 2024 年底会拥有约 35 万台 H100，将其他 GPU 纳入计算，Meta 将拥有约 60 万台 GPU。今年会加大 AI 基础设施的投资，2024 年全年的资本支出将在 300 亿

70、至 370 亿美元之间，比之前的上限增加 20 亿美元。图图 54：Meta 2021 财年财年 Q2 到到 2023 财年财年 Q4 的资本性支出的资本性支出 资料来源：Choice，天风证券研究所 2023Q2微软微软CAPEX创创2021财年以来新高，预计财年以来新高，预计Q3资本支出将环比大幅增加。资本支出将环比大幅增加。微软Azure和其他云服务收入分别增长了 30%和 28%（固定汇率），其中 6%的增长来自于 AI 服务。目前共有 53,000 个 Azure AI 客户，超过三分之一的人是过去 12 个月中刚接触。微软预计资本支出将环比大幅增加，针对数据中心的投资将被用于满足云

71、和 AI 基础设施的需求。图图 55：Microsoft 2021 财年财年 Q2 到到 2023 财年财年 Q2 的资本性支出的资本性支出 资料来源：Choice，天风证券研究所 谷歌谷歌 2023Q4 的资本支出为的资本支出为 110 亿美元，亿美元，2024 年有望进一步扩大年有望进一步扩大。Vertex AI 已经得到了广泛的应用，2023 年上半年到下半年 API 请求量增长了近 6 倍。此外三星最近宣布推出搭载 Vertex AI 的Galaxy S24 系列智能手机使用了 Gemini模型。2023Q4大部分CAPEX用于投资技术基础设施，首先是服务器其次是数据中心。谷歌云引入了

72、一种突破性的超级计算机架构 AIHyper，结合了强大的 TPU 和 GPU、AI 软件和多主机技术，为模型的训练和部署提供了性能和成本优势。到 2024 年，谷歌预计 CAPEX 将比 2023 年显著增加。-20%-10%0%10%20%30%40%004000500060007000800090002021Q2 2021Q3 2021Q4 2022Q1 2022Q2 2022Q3 2022Q4 2023Q1 2023Q2 2023Q3 2023Q4CAPEX（百万美元）yoy-40%-20%0%20%40%60%80%020004000600080001000012

73、00080002021Q22021Q32021Q42022Q12022Q22022Q32022Q42023Q12023Q2CAPEX（百万美元）yoy 图图 56：Google 2021 财年财年 Q2 到到 2023 财年财年 Q4 的资本性支出的资本性支出 资料来源：Choice，天风证券研究所 亚马逊亚马逊 2024 年资本支出将增加，主要用于基础设施以支持年资本支出将增加，主要用于基础设施以支持 AWS 业务增长。业务增长。2023 年全年资本支出为 484 亿美元，同比下降 102 亿美元。展望 2024 年，亚马逊预计资本支出将同比增加，主要是由基础设施资本支

74、出增加推动的，支持 AWS 业务的增长，包括对生成人工智能和大型语言模型的额外投资。亚马逊认为，生成式 AI 分为 3 个层次，每一个层次都是巨大的，需要深度投资，亚马逊提供了最广泛的 Nvidia 芯片计算实例结合。此外，亚马逊的客户在生成式 AI 早期阶段认识到，不断地迭代模型版本是有必要的。因此，为了适应客户需求，提高 AI 芯片的性价比，亚马逊构建了名为 Trainium 的定制训练芯片和名为Inferentia 的推理芯片，2023 推出的 Trainium 2 训练性能是 Trainium 1 的 4 倍，内存容量是 Trainium 1 的 3 倍，用于服务包括 Anthropi

75、c、Airbnb 在内的客户。图图 57：Amazon 2021 财年财年 Q2 到到 2023 财年财年 Q4 的资本性支出的资本性支出 资料来源：Choice，天风证券研究所 -60%-40%-20%0%20%40%60%80%02,0004,0006,0008,00010,00012,00014,0002021Q2 2021Q3 2021Q4 2022Q1 2022Q2 2022Q3 2022Q4 2023Q1 2023Q2 2023Q3 2023Q4CAPEX（百万美元）yoy-40%-20%0%20%40%60%80%05,00010,00015,00020,00025,0002021Q2 2021Q3 2021Q4 2022Q1 2022Q2 2022Q3 2022Q4 2023Q1 2023Q2 2023Q3 2023Q4CAPEX（百万美元）yoy