图表1大模型发展历程 原图定位 人工智能的概念自提出已有近 70 年历史。2018 年,Open AI 发布 GPT-1 模型,标志着预训练模型在自然语言处理领域的兴起。2020 年开始,大规模语言模型的发展迎来了一个显著的加速期:OpenAI 发布 GPT-3,以 1750 亿的参数量成为了当时最庞大的语言模型。此后,一系列创新方法相继涌现,包括利用人类反馈进行强化学习(RLHF)、代码预训练等技术,旨在进一步提升模型的推理能力。22 年底及 23 年初,GPT-3.5 和 GPT-4相继问世,GPT-4 具备了多模态理解与多类型内容生成能力。从 GPT 系列的发展路径来看,技术层面的突破离不开强大的算力基础设施+海量高质数据的支持和训练+在Transformer 架构基础上不断精调。