Transformer出现后,NLP类模型迎来较大地增长 原图定位 Transformer 帮助 NLP 走出了发展困境。腾讯云开发者公众号指出,Transformer 结构继RNN、CNN(以及其一系列变体 LSTM、GRU、ResNet、DenseNet 等)之后,在Inductive Bias 方向上打开了一个新世界的大门。2017 年,Google 发表了一篇题为《Attention is all you need》的论文,自此完全使用 Attention机制的 Transformer模型开始主导 NLP领域。不久后,利用 Transformer模型结构的预训练语言模型 GPT和 BERT大放异彩。时至今日,基于 GPT和 BERT的预训练语言模型进行 Fine-tuning 仍然是 NLP中广泛任务的首选范式。