计算机行业点评：蒸馏模型加速AI平权

　　投资要点：
　　成本仅50 美元，性能媲美o1 与R1，模型蒸馏技术的爆发年。根据Tech Crunch，李飞飞等斯坦福大学和华盛顿大学的AI 研究人员的一篇新研究论文表示，他们成功地用不到50 美元的费用训练了一个AI 推理模型s1（仅为云计算服务费用，不包括服务器、显卡等硬件投入费用）。
　　1）技术路径：论文指出，推理模型可以通过相对较小的数据集和监督微调（SFT）的过程进行蒸馏，其中AI 模型被明确指导去模仿数据集中的某些行为。具体来说，团队构建了“s1K”的数据集，由1000 个精心筛选的问题组成，每个问题都配有推理轨迹（reasoning traces）和从Gemini Thinking Experimenta蒸馏而来的答案。接着团队在一个预训练模型上进行监督微调（SFT），仅使用16 张H100 GPU训练26 分钟。此外，为了提高答案的准确度，研究团队还运用了一种“预算强制”技术，可以控制测试时间计算，通过强制提前终止模型的思考过程，或在s1 推理时多次追加“等待”指令以延长思考，从而优化性能。
　　2）测试结果：根据研究团队的测试结果可知，在竞赛数学问题上，s1-32B 的表现较o1-preview 高27%（MATH 和AIME24）；且该模型在AIME24 上的表现几乎与Gemini 2.0 Thinking API 相当，显示其蒸馏过程是有效的。
　　低成本、开源与蒸馏将大幅降低AI 模型开发门槛，有望加速AI 平权过程。根据极客公园，早在2025 年1 月，深度求索发布推理模型DeepSeek-R1 正式版，采用MIT 协议，同步开源模型权重，并允许用户利用模型输出、通过模型蒸馏等方式训练其他模型。DeepSeek 主动引导将R1 作为教师模型来蒸馏出一个更小但仍有实力的模型，通过DeepSeek-R1 的输出，蒸馏了6 个小模型开源给社区，其中32B和70B 模型在多项能力上实现了对标OpenAI o1-mini 的效果。我们认为，结合此次李飞飞团队通过超低成本从Gemini Thinking Experimenta模型中蒸馏出的数据中训练了s1，同样取得了优异的模型性能，既印证了蒸馏技术是推动模型小型化与商品化的重要手段，有望缩小开源与闭源模型性能差距，从而加速AI 平权过程；又为AI 应用与端侧的爆发打下基础。
　　投资建议。我们认为，从DeepSeek R1 到s1，不断证明着2025 年将是大模型普惠的起点，AI 应用与端侧或将同时迎来AI 成本下降与模型能力提升的全面加强；此外，在蒸馏技术支持下，Jevons 悖论或得到持续论证，有望涌现更多现象级的高性价比小模型，在部署在端侧和应用的同时，推动模型逐渐从预训练向推理转变，国产算力有望在推理算力爆发下迎来价值重估。建议关注：1）模型蒸馏：智信精密、拓尔思、思特奇、狄耐克、格灵深瞳、神州泰岳等；2）AI 应用：金山办公、泛微网络、致远互联、博睿数据、中科星图、金蝶国际、福昕软件、彩讯股份、万兴科技、易点天下、航天宏图等；3）AI 端侧：云天励飞、世运电路、联想集团、科大讯飞、乐鑫科技、中科蓝讯等；4）AI 算力：云天励飞、华丰科技、海光信息、中科曙光、寒武纪、神州数码、浪潮信息、润泽科技、润建股份、世纪互联等。
　　风险提示：上游供应不及预期、下游AI 产业落地速度不及预期、中游竞争格局加剧、国际局势风险、国内外宏观利率风险等。
【免责声明】本文仅代表第三方观点，不代表和讯网立场。投资者据此操作，风险请自担。

   【免责声明】本文仅代表第三方观点，不代表和讯网立场。投资者据此操作，风险请自担。

【广告】本文仅代表作者本人观点，与和讯网无关。和讯网站对文中陈述、观点判断保持中立，不对所包含内容的准确性、可靠性或完整性提供任何明示或暗示的保证。请读者仅作参考，并请自行承担全部责任。邮箱：news_center@staff.hexun.com