GPT-3的In-context方式与传统微调方式的对比 原图定位

2020 年 5 月， GPT-3 正式发布，GPT-3 在训练方式上创新性的引入了 In-context 学习（上下文学习），即在训练模型时，在输入的文本中加入一个或多个示例，引导模型输出相对应内容。比如：“请把以下中文翻译成英文：苹果 => apple；自然语言处理的发展历程”就是一个典型的带有一个示例的输入文本。而 In-context 学习包含了三种模式，分别为 Zero-shot Learning（零样本学习）、One-shot Learning（单样本学习）和 Few-shot Learning（少样本学习），zero-shot 就是没有示例只给提示，one-shot 是只给一个范例，few-shot 则给多个范例，实际上 zero-shot 在表达方式上已经接近于人类的语言表达方式。In-context 学习的优点在于，输入规范化的语言模板，从人类的例子和类比中去学习，无需进行模型微调和数据标注，特别是大量的标注数据需要很高的人工成本。引入 In-context 学习后，从最终实际效果来看，GPT-3 在 few-shot 上有非常强劲的表现，但同时 one-shot 和zero-shot 的效果还不够优秀。因此对于 one-shot 和 zero-shot 效果的提升也成为了下一代模型未来需要突破方向。