国产模型厂商进入API“价格战”,利好AI 应用开发2024 年5 月6 日,DeepSeek 发布最新MoE 模型DeepSeek-V2(32K 上下文),刷新了模型API 定价:输入¥1 元/M tokens、输出¥2 元/M tokens。
紧接着,智谱、阿里、百度、腾讯、讯飞等厂商均宣布旗下模型API 降价,部分降价幅度高达100%。我们深入拆解了各家API 产品矩阵,发现降价的主要是轻量级模型,对于高并发B 端用户或影响不大。我们从定性逻辑和定量技术两个维度分析降价的原因。我们认为,API 降价将吸引更多的ISV 开发AI 相关应用,有望提高Super App 出现概率,建议关注算力和应用相关公司,包括浪潮信息、金山办公、福昕软件、泛微网络等。
降价以入门级轻量API 为主,可以从技术优化和生态抢占来解释降价厂商中,智谱、百度和讯飞主要降价产品为轻量版;阿里和腾讯则将旗下全部模型进行降价,降价幅度不等。字节为首次定价,价格较低。可以看出,降价幅度和范围较大的主要是互联网企业,其资源更加丰富。分析降价原因,一方面,DeepSeek V2 证明了,确实可以通过注意力机制优化,大大减少所需缓存的量,降低成本和提高效率。另一方面,即使没有技术上的降价逻辑,通过降价手段吸引开发者,目前看仍是抢占生态的重要手段。
从技术层面降低模型推理成本,核心在于优化KV cache目前,大模型的长文本支持能力已成为趋势。在推理长文本时,需要首先将文本预填充到GPU 的HBM 中,然后再解码出token。其中预填充速度主要受GPU 计算能力影响,解码速度受HBM 带宽影响。当文本很长时,KV cache将占用HBM 相当大的空间,导致用户并发性下降,且解码耗时更长。用户并发性下降,还将带来新的问题,即需要从HBM 上“卸载”暂时不用的KVcache,再“加载”下一个用户的KV cache,带来新的耗时。因此,降低KV cache 是优化关键。
典型优化方法:压缩KV cache,或采用全局KV cache我们研究了近期DeepSeek V2 和微软的YOCO 典型的KV cache 压缩方法,代表两种流派。DeepSeek V2 引入多头隐注意力(MLA)机制,不再缓存全部的KV,而是用隐向量来压缩KV,与Transformer 原始的多头注意力相比,KV cache 可以减少90%以上。微软的YOCO 则将Decoder 架构一切为二,下半部分负责用高效的注意力机制产生全局KV cache,上半部分则直接使用全局KV cache,不再需要额外计算,也大大降低了缓存量。
模型降价有望利好算力和应用,建议关注相关产业链公司我们认为,模型降价将吸引更多的开发者开发AI 应用,或进一步提振算力需求,提升Super App 出现概率,建议关注:1)AI 服务器:浪潮信息等;2)AI 应用:金山办公、福昕软件、泛微网络等。其他产业链相关公司:1)海外算力产业链:光模块(中际旭创、天孚通信、新易盛)、AI 服务器(工业富联)等;2)国产算力产业链:海光信息、寒武纪、神州数码等。
风险提示:宏观经济波动,技术进步不及预期。
【免责声明】本文仅代表第三方观点,不代表和讯网立场。投资者据此操作,风险请自担。
(责任编辑:王丹 )
【免责声明】本文仅代表第三方观点,不代表和讯网立场。投资者据此操作,风险请自担。
最新评论