11月5日，华为宣布开源AI推理加速关键技术UCM，可降首Token时延、提系统吞吐，扩展上下文窗口。
【11月5日华为宣布AI推理加速关键技术UCM开源】 11月5日，华为数据存储宣布，针对AI推理加速的关键技术——UCM推理记忆数据管理正式开源。 华为介绍，UCM目前具备稀疏注意力、前缀缓存、预填充卸载、异构PD解耦四大能力。 该技术能实现首Token时延最高降低90%，系统吞吐最大提升22倍，还可达到10倍级上下文窗口扩展。
本文由 AI 算法生成，仅作参考，不涉投资建议，使用风险自担
【免责声明】本文仅代表作者本人观点，与和讯网无关。和讯网站对文中陈述、观点判断保持中立，不对所包含内容的准确性、可靠性或完整性提供任何明示或暗示的保证。请读者仅作参考，并请自行承担全部责任。邮箱：news_center@staff.hexun.com
![乙级测绘资质证书[乙测资字11513208]](https://img.hexun.com/chzzzs.jpg){kind=link}
最新评论