计算机行业定期报告:DEEPSEEK发布全新注意力机制NSA

2025-02-23 16:40:04 和讯  华福证券钱劲宇
  投资要点:
  Deepseek 发布全新注意力机制NSA
  NSA(硬件优化稀疏注意力机制)由Deepseek、北京大学和华盛顿大学联合提出,旨在解决传统注意力机制在长上下文、多轮对话等场景下的性能瓶颈。其创新性在于通过**三并行分支架构**(Token 压缩、Token 选择、滑动窗口)结合可学习门控机制,动态平衡全局与局部注意力:压缩分支粗粒度捕捉全局信息,选择分支筛选关键稀疏单元以减少计算量,滑动窗口则保留局部语法与语义连贯性;硬件层面基于Triton 框架优化内存访问,通过组共享KV 数据、高带宽HBM 与片上SRAM 协同计算,显著提升稀疏计算效率。该技术实现了推理速度与精度的平衡,适用于大语言模型加速、长文档理解等需要高效长程依赖建模的场景。
  本周AI 数据更新:
  海外应用看,20250214-20250220 期间,Chatgpt 下载量逐步回升,Gemini、Perplexity 和Claude 整体保持稳定。
  国内应用看,20250214-20250220 期间,Deepseek 下载量稍有回落,Kimi、通义、星火、文心一言整体保持稳定,腾讯元宝接入Deepseek 后下载量显著提升,现已超过30 万次/日。
  风险提示
  市场需求不及预期,人工智能技术发展不及预期,政策发布不及预期等。
【免责声明】本文仅代表第三方观点,不代表和讯网立场。投资者据此操作,风险请自担。
(责任编辑:董萍萍 )

   【免责声明】本文仅代表第三方观点,不代表和讯网立场。投资者据此操作,风险请自担。

【广告】本文仅代表作者本人观点,与和讯网无关。和讯网站对文中陈述、观点判断保持中立,不对所包含内容的准确性、可靠性或完整性提供任何明示或暗示的保证。请读者仅作参考,并请自行承担全部责任。邮箱:news_center@staff.hexun.com

看全文
写评论已有条评论跟帖用户自律公约
提 交还可输入500

最新评论

查看剩下100条评论

有问必答- 持牌正规投资顾问为您答疑解惑

    热门阅读

      和讯特稿

        推荐阅读