DeepSeek开源第一个用于混合专家模型训练和推理的高效专家并行通信库

快讯正文

【DeepSeek开源第一个用于混合专家模型训练和推理的高效专家并行通信库】讯，2月25日，DeepSeek在“开源周”的第二天向公众开源了DeepEP。据介绍，DeepEP是第一个用于MoE（混合专家）模型训练和推理的EP（ExpertParallelism，专家并行）通信库，可以实现高效且优化的全对全通信，支持包括FP8在内的低精度运算，适配现代高性能计算需求。 同时，DeepEP针对NVLink到RDMA的非对称带宽转发场景进行了深度优化，不仅提供了高吞吐量，还支持SM（StreamingMultiprocessors）数量控制，兼顾训练和推理任务的高吞吐量表现。对于延迟敏感的推理解码场景，DeepEP还提供了纯RDMA的低延迟内核，支持自适应路由，能实现更灵活的GPU资源控制，满足不同场景需求。 校对：刘星莹