回顾基于Transformer 的预训练大语言模型的发展，可以看到2019 年是预 训练大语言模型的技术架构演进之年。以GPT、BERT、T5 为代表的三类 典型预训练语言模型，分别采用了只有解码器、只有编码器、同时拥有解码 器-编码器的技术架构，分别搭建了自回归语言模型、自编码语言模型以及 序列到序列模型。2019 年GPT-2 论文的正式发表，有力验证了“更多训练 数据+更大网络参数，也可以有效提升预训练模型的泛化能力”， 自此开启 了GPT 模型向更大容量扩展的技术发展路径。因此，2019 年也可以称得上 是GPT 系列模型的技术路线明确之年，是GPT 模型演化的重要时间节点。