2017-2022年基于Transformer的LLM梳理及2022年GPT模型的版本迭代 原图定位 2022 年 OpenAI 加速 GPT 模型的版本迭代,ChatGPT 融合多技术优势。通过梳理 GPT系列模型的演进过程,可以看到 2022 年是 GPT 系列模型围绕 GPT-3、GPT-3.5 加速版本迭代的年份;2022 年 3 月,基于 GPT-3 微调的 InstructGPT 发布,验证了人类反馈强化学习RLHF对模型输出对齐(alignment)的重要作用;2022年 4-6月,基于 Codex、InstructGPT,OpenAI 加速迭代形成 GPT-3.5 模型;2022 年 11 月,基于 GPT-3.5 微调的 ChatGPT 发布, 成为 Instr uction-tuning、RLHF、思维链等 LLM 相关技术 的集大成者。我们认为,ChatGPT是 OpenAI 基于 GPT 系列模型的阶段性成果,未来随底层大模型的持续拓展,AI 产业发展或将提速。