计算机行业:DEEPSEEK NSA架构引领AI效率革新

2025-02-21 11:15:08 和讯  国泰君安李博伦/伍巍/钟明翰
  本报告导读:
  AI 大模型演进路线愈发聚焦算法创新,同时带来算力成本的下降,又进一步扩展应用边界,最终加速大模型能力在传统行业的渗透,或带来新一轮产业升级机遇。
  投资要点:
  投资建议:DeepSeek 发布NSA(Native Sparse Attention)相关论文,突破长文本处理瓶颈,低成本模型训练可行性推动AI 大模型转向算法效率竞争。通过降低AI 应用开发门槛,有望激发新一轮创新浪潮,最终加速AI 在各行业的渗透,带动整个产业链升级,从基础设施到应用层都将会迎来新的发展机遇。推荐标的:鼎捷数智、福昕软件、神州数码、科大讯飞,受益标的:优刻得、海天瑞声。
  NSA 通过原生稀疏注意力机制在长上下文处理实现突破。长上下文处理是大模型发展的关键瓶颈之一,softmax 架构中注意力计算占解码64k 上下文总延迟的70%-80%。NSA 采用三条并行的注意力分支:压缩注意力捕获全局信息,选择性注意力保留重要token,滑动窗口注意力处理局部上下文,在通用基准测试中不逊于全注意力模型,同时实现了长文本处理的效率提升。
  算力门槛的降低将加速AI 民主化进程。NSA 技术通过端到端的稀疏训练显著降低了预训练所需的计算资源,减少了A100 GPU 在预训练过程中的使用时长,降低了企业开发大模型的资金与技术门槛,使更多中小企业有机会参与AI 底层开发。算力门槛的显著降低,将推动AI 技术从少数科技巨头向更广泛市场普及。
  长文本处理能力的提升将催生新的应用场景,驱动商业模式创新。
  NSA 技术使模型能够直接处理整本书籍、代码仓库或千轮级别的客服对话。这种长序列处理能力的提升,将显著扩展AI 在文档分析、代码生成等领域的应用边界。特别是在边缘计算等低延迟场景中,NSA 的高效推理特性或催生出全新的商业模式,从而也给硬件厂商、解决方案商等带来新的市场机遇。
  风险提示:技术竞争加剧、商业化进程不及预期的风险。
【免责声明】本文仅代表第三方观点,不代表和讯网立场。投资者据此操作,风险请自担。
(责任编辑:贺翀 )

   【免责声明】本文仅代表第三方观点,不代表和讯网立场。投资者据此操作,风险请自担。

【广告】本文仅代表作者本人观点,与和讯网无关。和讯网站对文中陈述、观点判断保持中立,不对所包含内容的准确性、可靠性或完整性提供任何明示或暗示的保证。请读者仅作参考,并请自行承担全部责任。邮箱:news_center@staff.hexun.com

看全文
写评论已有条评论跟帖用户自律公约
提 交还可输入500

最新评论

查看剩下100条评论

有问必答- 持牌正规投资顾问为您答疑解惑

    热门阅读

      和讯特稿

        推荐阅读