科技行业动态点评：DEEPSEEKNSA 算法创新或加速训练与CUDA解耦

　　DeepSeek 发布论文NSA（原生稀疏注意力，Native Sparse Attention），继续在Transformer 架构的重要环节——Attention 进行优化，不仅在效果上和传统的Full Attention 可比/领先，而且在解码、前向/后向传播上有6-12x 的速度提升。结合xAI 发布的Grok-3 来看，目前海外和国内在大模型迭代思路上采取的是不同的思想，海外虽也引入MoE 路线降低训练成本，但总体仍以充足的算力优势，追求Top 1 的极致模型性能；而国内则在算法和硬件上极致优化，重点以有限的算力搏得更高的性能，追求推理效率。我们认为，两者并不冲突，而是共同从训练和推理两方面带动算力整体需求的提升。
　　NSA：继续优化Transformer Attention，通过稀疏KV 的方式提升效率
与DeepSeek V2/V3 用MLA（Multi-head Latent Attention）优化方向类似，NSA 依然是在优化Attention 上下功夫，以减少Attention 的复杂度。区别在于，MLA 是把KV Cache 进行压缩，NSA 是把KV 进行了“三层级”划分，并从中有选择性的舍弃掉一部分，达到“稀疏”效果，提高效率。1）粗层级：做大规模压缩，例如8 个KV 压成1 个；2）细层级：从粗层级中找到重要的部分，再细粒度的选择重要的KV，丢掉不重要的KV；3）小窗口层级：通过滑窗的形式，聚焦当下的局部上下文KV 信息。这“三层级”算法融合后输出，得到最终的Attention 结果。
　　软件优化叠加硬件优化，两手都要硬
　　NSA 不仅优化软件算法，还优化了硬件Kernel，以配合NSA 的稀疏Attention，实现更高效的软硬件编排。具体Kernel 的优化方法是，按照分组注意力GQA（Grouped Query Attention），从HBM 中加载Q(uery)到SRAM 中，并在SRAM 中计算Q(uery)K(ey)V(alue)注意力，然后将结果放回到HBM 中。结合DeepSeek-V3 来看，V3 同样进行了计算通信重叠、内存占用等硬件优化，我们认为，未来国内对于LLM 优化的相当一部分重点将在于硬件编排优化，本质是提高硬件的MFU（model FLOPS utilization）。
　　海外靠大算力突破边界，国内靠细优化提升效率结合xAI 发布的Grok-3，xAI 已经将10 万卡集群扩展到20 万，确实带来了当下全球最领先的预训练/推理模型性能。对比xAI 和DeepSeek，10 万卡 vs万卡，Grok-3 相比R1 在某些测评集上提高了20%左右效果，是否有性价比？我们认为，这并不冲突。1）海外要的是技术路径领先和商业化闭源，只有靠堆算力才能试错，才能突破边界，才能保持领先。2）国内要的是在已知路径上实现最优解，用有限的卡实现更高的效率，“精耕细作”的软硬件优化是必修课。我们认为，这是国内外路径的选择问题，而整体看，训练/推理算力都是较为确定的增量。
　　DeepSeek 有望加速模型训练与CUDA 解耦
　　DeepSeek 在V3 中使用了相比CUDA 更底层的PTX 来优化硬件算法，PTX是CUDA 编译的中间代码，在CUDA 和最终机器码之间起到桥梁作用。而NSA 则使用了OpenAl 提出的Triton 编程语言高效编写 GPU 代码，Triton的底层可调用CUDA，也可调用其他GPU 语言，包括AMD 的rocm 以及国产算力芯片语言，如寒武纪的思元590 芯片和海光信息的深算一号（DCU）内置的HYGON ISA 指令集。LLM 的训练短期内虽未完全脱离CUDA 生态，但DeepSeek NSA 的推出使其初步呈现出与CUDA 解耦的趋势，并为后续适配更多类型的算力芯片奠定基础。以异腾为代表的国产算力已经很好的适配了 DeepSeek-R1 等国产模型，并取得了高效推理的效果。我们认为，伴随海外算力的受限，针对国产算力的优化或将有持续进展，值得重视。
　　风险提示：AI 技术迭代不及预期，AI 商业化落地不及预期。
【免责声明】本文仅代表第三方观点，不代表和讯网立场。投资者据此操作，风险请自担。

   【免责声明】本文仅代表第三方观点，不代表和讯网立场。投资者据此操作，风险请自担。

【广告】本文仅代表作者本人观点，与和讯网无关。和讯网站对文中陈述、观点判断保持中立，不对所包含内容的准确性、可靠性或完整性提供任何明示或暗示的保证。请读者仅作参考，并请自行承担全部责任。邮箱：news_center@staff.hexun.com