ChatGPT 从诞生到现在，经历了三个大版本阶段演进。2018 年，生成式预 训练模型GPT-1 诞生，引入有监督的微调训练。2019 年，GPT-2 以增加模 型通用性为目标，移除GPT-1 的微调，以更大的参数量和多任务训练，进 行zero-shot 学习；2020 年，GPT-3 用few-shot 代替zero-shot，并将训练 参数增加到1750 亿，再次提高模型表现性能。2022 年，InstructGPT 引入 基于人类反馈的强化学习（RLHF），在GPT-3 基础上进行奖励训练，以13 亿训练参数实现了更好的模型性能。2022 年11 月，基于InstructGPT， OpenAI 正式推出对话交互式模型ChatGPT，5 天时间突破了100 万用户。

ChatGPT：三个阶段打造智能对话交互式AI 模型 ....................................................................................................... 3

GPT-1 阶段：开启生成式预训练模型时代 .................................................................................................................... 4

GPT-1：在Transformer 架构基础上，引入微调训练 ........................................................................................... 4

GPT-2 阶段：无监督训练替代有监督训练 .................................................................................................................... 5

GPT-2：取消微调，用更大参数和数据集进行zero-shot 学习 .............................................................................. 5

OpenAI：得到微软注资，关注技术滥用问题 ........................................................................................................ 6

GPT-3 阶段：性能不断突破，开启商业探索 ................................................................................................................ 7

GPT-3：模型参数达1750 亿，few-shot 进一步提高性能 ..................................................................................... 7

对外提供GPT-3 API，开启商业模式探索 ............................................................................................................. 8

CodeX：基于GPT-3 的代码生成工具 .................................................................................................................. 9

InstructGPT：人类反馈强化学习技术加持下的“最强”GPT-3 ......................................................................... 10

ChatGPT 阶段：各大互联网厂商争相推出类似产品 .................................................................................................. 12

ChatGPT：以对话方式交互的进化版InstructGPT ............................................................................................. 12

ChatGPT Plus：商业模式二次探索 .................................................................................................................... 13

微软继续加注OpenAI，推出基于ChatGPT 的新版Bing ................................................................................... 13

各大互联网厂商均表示将推出类ChatGPT 产品 ................................................................................................. 14

风险提示.............................................................................................................................................................. 14