溯源GPT 发展：2018 年开启自然语言处理模型新一轮发展热潮 复盘2017-2022 年出现的自然语言处理模型，我们认为，2017 年出现的 Transformer 模型为GPT 的出现奠定了基础。2018 年由OpenAI 提出的 GPT-1 开启了新一轮自然语言模型发展的热潮。2018 年，出现的主要自然 语言模型包括GPT-1、ELMo、ULMFiT 和BERT 等。其中，GPT-1 模型的 单向训练特点，使得其特别适合文本生成类型的任务。ELMo 为双向训练模 型，更善于解决NLP 中的一词多义问题。ULMFiT 是一种适用于NLP 中的 迁移学习模型，更适合文本分类任务。除OpenAI 外，Facebook、微软和 谷歌等也在同步推进AI 的相关研究。

GPT 发展之2017：Transformer 架构为GPT 奠定基础 ............................................................................................. 3

Transformer：GPT 模型的基础 ............................................................................................................................ 3

自注意力机制是Transformer 的核心理念 .................................................................................................... 4

GPT 发展之2018：GPT-1 诞生，开启NLP 新发展热潮 ............................................................................................. 6

GPT-1：确定生成式预训练模型基本路线 ..................................................................................................................... 8

GPT-1：基于Transformer 的预训练+微调半监督模型 ......................................................................................... 8

模型特点：无监督训练+有监督微调 ...................................................................................................................... 8

论文结论：在多个下游任务中取得优于整体的结果 ............................................................................................ 10

GPT-2 vs ELMo/ULMFiT：各类模型有各自擅长的领域 ............................................................................................ 12

ELMo：解决NLP 中的一词多义问题 .................................................................................................................. 12

ULMFiT：专用于文本分类任务 ........................................................................................................................... 13

GPT-1 vs Transformer/ELMo/ULMFiT ................................................................................................................ 14

GPT-1 vs Transformer ................................................................................................................................. 14

GPT-1 vs ELMo vs ULMFiT ........................................................................................................................ 15

风险提示.............................................................................................................................................................. 15