Scaling Law：实验科学的产物。Scaling Law 指的是大语言模型（LLM） 的最终性能主要与计算量、模型参数量和训练数据量的规模相关，而与模型的具体结构（如层数、深度或宽度）基本无关。随着模型规模、数据量和计算资源的增加，模型的性能会相应提升，并且这种提升呈幂律关系。Scaling Law 是实验科学的产物。2022 年 11 月，ChatGPT 的亮相震惊了业界，标志着大模型的重大突破，Scaling Law 并成为进一步扩展模型规模的核心指导思想。业界普遍认为，只要能够提供更大规模的参数、更多的数据和更强大的计算能力，模型的能力将持续提升，最终可能接近或实现通用人工智能（AGI）。