2 月 25 日,DeepSeek 开源 DeepEP 通信库,具高效优化等特点,支持多种功能及灵活资源控制。
【2 月 25 日,DeepSeek 公开宣布开源 DeepEP,这是首个用于 MoE 模型训练和推理的开源 EP 通信库。】
其具有高效、优化的全员沟通等特点。
节点内和节点间均支持 NVLink 和 RDMA,有用于训练和推理预填充的高吞吐量内核、用于推理解码的低延迟内核、原生 FP8 调度支持以及灵活的 GPU 资源控制,能实现计算-通信重叠。
本文由 AI 算法生成,仅作参考,不涉投资建议,使用风险自担
【免责声明】本文仅代表作者本人观点,与和讯网无关。和讯网站对文中陈述、观点判断保持中立,不对所包含内容的准确性、可靠性或完整性提供任何明示或暗示的保证。请读者仅作参考,并请自行承担全部责任。邮箱:news_center@staff.hexun.com
最新评论