我们拆解ChatGPT技术模型后认为，GPT与应用层的结合属于“通用大模型+行业小样本”的技术范式，通过上游通用预训练语言模型及下
游任务知识迁移实现通用大模型与垂直应用的快速适配，形成独立且差异化的应用专属大模型。其中预训练大模型的构建可以将更多的资源和数据转移到上游，小样本学习可以提升模型迭代的速度并快速适配下游场景。

1 “大模型+小样本”协同进化，实现下游场景快速适配 ................. 4
1.1 Self Attention：里程碑式进化，考虑全局又聚焦重点 ...... 4
1.2 上游任务：预训练语言模型，积累强大底层通用能力...... 5
1.3 下游任务：知识迁移调试，实现垂直领域微调适配 ......... 8
2 风险提示 ................................................................................... 10