国产开源AI开发框架生态逐步完善:昇思人工智能框架峰会2024即将开幕

2024-03-17 08:10:07 和讯  申万宏源研究黄忠煌
本期投资提示:
事件:3 月22 日,北京国家会议中心将举办昇思人工智能框架峰会2024。
Mindspore 是华为在2020 年开源的AI 开发框架。Mindspore 原生适配华为昇腾系列硬件,截至2024 年3 月, Mindspore 社区已累计2.55 万贡献者,被评为最具创新活力的 AI 开源社区。
Mindspore 的突出特点包括:1) 分布式训练原生:提供大模型训练所需的张量并行、流水线并行等;2)AI4S:支持函数可微编程,面向科学计算;3)动静统一:即支持高性能静态图调试,也支持动态图灵活调整;4)全场景快速部署:支持云、边缘和手机上的快速部署。
23 年10 月,Mindspore 迭代至2.2,其变化包括1)面向Lazy inline:显著提升大模型静态图编译效率。使用盘古13B 网络对Lazy inline 的编译效率提升效果进行验证:计算图编译节点从13 万+下降到2 万+,编译时间从3 小时下降到20 分钟,效率提升900%+。
2)MindSpore Transformers:支持LLama2、Baichuan2、GLM2 等预训练模型,提供Trainer 开发接口,用户能够直接调用已集成大模型或自定义开发的大模型。
3)支持BF16: Mindspore2.2 版本支持使用BF16 数据类型训练网络,同时混合精度训练也支持配置BF16 类型。
根据昇思官网,Mindspore 框架现有的大部分算子 API 和 TensorFlow 相近,但也有一部分算子的默认行为与 PyTorch 或 TensorFlow 存在差异。在其列出的近300 个算子中,有173 个与Pytorch 完全一致。我们认为未来这一比例有望进一步提升。
Mindspore 已在国产大模型训练中应用。根据科大讯飞1 月30 日发布会,星火开源-13B模型训练过程中,开发团队利用昇思MindSpore AI 框架将训练效率提升了40%。调用了MindSpore Transformers 大模型套件完成分布式自动并行,并调用套件提供的站式微调算法进行模型快速调优。
本次会议将发布昇思MindSpore 2.3 版本,算子丰富度和开发工具有望继续提升。此外,本次峰会还邀请图灵奖得主、华为领导对AI 产业及AI 框架未来发展趋势进行分享,并邀请IDC 中国区研究副总裁解读中国深度学习框架和平台市场份额2023 报告。
建议关注:1)华为链:软通动力(拟收购同方计算)、神州数码、中国软件国际等;
2)AI 模型及应用:金山办公、科大讯飞、新致软件、万兴科技、虹软科技等;
风险提示:软通动力收购事项暂未完成,仍存在中止风险;技术路径迭代风险;国内AI大模型发展不及预期;行业竞争加剧。
【免责声明】本文仅代表第三方观点,不代表和讯网立场。投资者据此操作,风险请自担。
(责任编辑:王丹 )

   【免责声明】本文仅代表第三方观点,不代表和讯网立场。投资者据此操作,风险请自担。

看全文
写评论已有条评论跟帖用户自律公约
提 交还可输入500

最新评论

查看剩下100条评论

热门阅读

    和讯特稿

      推荐阅读