s1-32B 模型：知识蒸馏技术实现小样本高性价比训练：TechCrunch 于 2 月 5 日报道，斯坦福大学与华盛顿大学联合研究团队在李飞飞的带领下，成 功以低于 50 美元的训练成本开发出高性能 AI 推理模型 s1-32B。该模型在数 学推理和编程能力测试中展现出与 OpenAI 的 o1 模型及 DeepSeek 的 R1 模型 相匹敌的优异表现。李飞飞团队运用“测试时缩放”技术，选择开源预训练模 型 Qwen2.5-32B-Instruct 作为基座模型，并使用包含 1000 个样本的 s1K 数据 集进行监督微调，最终获得了 s1-32B 模型。训练过程仅使用了 16 块英伟达 H100 GPU 进行 26 分钟的核心训练。我们认为，高质量数据是模型训练的基 石，尽管 s1K 数据集样本量较小，但其中蕴含的丰富推理信息为 Qwen2.5- 32B-Instruct 语言模型的监督微调提供了有力支持，这也充分表明了训练数据 集质量的重要性。同时，未来产业的发展依然离不开基座模型能力的持续迭 代，我们在看到 s1-32B 模型带来高性价比路径的同时，也不可忽视基座模型 能力上的前期投入。