2023 年1 月是防疫政策彻底优化后的第一个完整月份，民航客流显著复苏。三大航国内线运投触及19 年 同期水平，业务量距离19 年同期降幅显著收窄；国际航线运投恢复至2019 年同期的10%左右，地区线恢 复至2019 年同期的30%左右；吉祥国内线运量相比19 年同期降幅收窄至6.6%，春秋国内航线运量相比19 年同期实现增长。各航司客座率同比大幅回升，三大航国内线客座率恢复至70%左右，春秋、吉祥恢复至 80%左右。

第三方支付行业：收费标准基本确定，市场空间随交易规模提升。（1）第三方支付 行业总体产业政策稳定：前期政策制定多围绕监管完善、风险政治等主题，旨在推 进行业健康发展；近期总体政策更新较少。（2）价：“96 费改”后，支付的收费 总体原则确定：即区分商户类别制定商户手续费，以餐娱类1.25%、一般类 0.78%、民生类0.38%和公益类0，并按7:2:1 的比例在发卡银行、收单机构及卡组 织之间分配，实现借贷合一，政府指导定价，特定行业实施上限管理。（3） 量： 在银行卡收单规模方面，根据人民银行数据，银行非现金支付业务交易量与交易规 模、银行卡交易量与交易规模稳健增长，第三方支付市场空间稳健提高。

ChatGPT 从诞生到现在，经历了三个大版本阶段演进。2018 年，生成式预 训练模型GPT-1 诞生，引入有监督的微调训练。2019 年，GPT-2 以增加模 型通用性为目标，移除GPT-1 的微调，以更大的参数量和多任务训练，进 行zero-shot 学习；2020 年，GPT-3 用few-shot 代替zero-shot，并将训练 参数增加到1750 亿，再次提高模型表现性能。2022 年，InstructGPT 引入 基于人类反馈的强化学习（RLHF），在GPT-3 基础上进行奖励训练，以13 亿训练参数实现了更好的模型性能。2022 年11 月，基于InstructGPT， OpenAI 正式推出对话交互式模型ChatGPT，5 天时间突破了100 万用户。

回顾基于Transformer 的预训练大语言模型的发展，可以看到2019 年是预 训练大语言模型的技术架构演进之年。以GPT、BERT、T5 为代表的三类 典型预训练语言模型，分别采用了只有解码器、只有编码器、同时拥有解码 器-编码器的技术架构，分别搭建了自回归语言模型、自编码语言模型以及 序列到序列模型。2019 年GPT-2 论文的正式发表，有力验证了“更多训练 数据+更大网络参数，也可以有效提升预训练模型的泛化能力”， 自此开启 了GPT 模型向更大容量扩展的技术发展路径。因此，2019 年也可以称得上 是GPT 系列模型的技术路线明确之年，是GPT 模型演化的重要时间节点。

溯源GPT 发展：2018 年开启自然语言处理模型新一轮发展热潮 复盘2017-2022 年出现的自然语言处理模型，我们认为，2017 年出现的 Transformer 模型为GPT 的出现奠定了基础。2018 年由OpenAI 提出的 GPT-1 开启了新一轮自然语言模型发展的热潮。2018 年，出现的主要自然 语言模型包括GPT-1、ELMo、ULMFiT 和BERT 等。其中，GPT-1 模型的 单向训练特点，使得其特别适合文本生成类型的任务。ELMo 为双向训练模 型，更善于解决NLP 中的一词多义问题。ULMFiT 是一种适用于NLP 中的 迁移学习模型，更适合文本分类任务。除OpenAI 外，Facebook、微软和 谷歌等也在同步推进AI 的相关研究。