电子:如何测算文本大模型AI训练端算力需求?

2024-06-04 09:05:09 和讯  华福证券任志强
  投资要点:
  需求侧:Scaling Law 驱动大模型算力需求不减
Scaling Law 仍然是当下驱动行业发展的重要标准。Scaling Law 的基本原理是,模型的最终性能主要与计算量、模型参数量和数据大小三者相关,当不受其他两个因素制约时,模型性能与每个因素都呈现幂律关系。因此,为了提升模型性能,模型参数量和数据大小需要同步放大。从大模型数量上看,近年来呈现爆发式增长趋势。且由于尖端AI 模型对于资源投入的大量需求,产业界对于大模型的影响力逐步加深。我们统计了产业界诸多公开披露的大模型训练数据,从大模型算力需求来看,GPT-3 到GPT-4 参数上从175B 快速提升到1.8TB(提升9 倍),训练数据量(Token 数)同方向快速增长,由0.3TB 提升至13TB(提升42 倍)。绝对值上看,根据我们的非完全统计情况,国内外主流大模型在参数量上基本已来到千亿量级,在预训练数据规模上均已来到个位数乃至十位数的TB 量级。
  供给侧:黄氏定律推动英伟达GPU 一路高歌
  英伟达GPU 持续引领全球AI 算力发展,虽然“摩尔定律”逐步放缓,但“黄氏定律”仍在支撑英伟达GPU 算力快速提升,一方面,英伟达寻求制程工艺迭代、更大的HBM 容量和带宽、双die 设计等方法,另一方面,数据精度的降低起到关键作用,Blackwell 首度支持FP4 新格式,虽然低精度可能会存在应用上的局限性,但不失为一种算力提升策略。若仅考虑英伟达FP16 算力,A100/H100/GB200 产品的FP16 算力分别为前代产品的2.5/6.3/2.5 倍,在数量级上持续爆发,自2017 年至今,GB200 的FP16 算力已达到V100 的40 倍。与之对比,AI 大模型参数的爆发速度相对更快,以GPT 为例,2018 年至2023 年,GPT 系列模型从1 亿参数规模大幅提升至18000 亿。相较于AI 大模型由Scaling Law 驱动的参数爆发,GPU 算力增速仍亟待提升。
  结论:预计24-26 年全球文本大模型训练卡需求为271/592/1244 万张我们根据侧算力供给需求公式,需求侧假设行业依然沿ScalingLaw 发展方向进一步增长,供给侧通过对英伟达GPU 的FP16 算力、训练市场、算力利用率等进行假设,推导得出GPU 需求量。以英伟达Hopper/Blackwell/下一代GPU 卡FP16 算力衡量,我们认为2024-2026年全球文本大模型AI 训练侧GPU 需求量为271/592/1244 万张。
  建议关注
  算力芯片:寒武纪海光信息龙芯中科
  服务器产业链:工业富联沪电股份深南电路胜宏科技
风险提示AI 需求不及预期风险、Scaling Law 失效风险、GPU 技术升级不及预期的风险、测算模型假设存在偏差风险。
【免责声明】本文仅代表第三方观点,不代表和讯网立场。投资者据此操作,风险请自担。
(责任编辑:王丹 )

   【免责声明】本文仅代表第三方观点,不代表和讯网立场。投资者据此操作,风险请自担。

看全文
写评论已有条评论跟帖用户自律公约
提 交还可输入500

最新评论

查看剩下100条评论

有问必答- 持牌正规投资顾问为您答疑解惑

    热门阅读

      和讯特稿

        推荐阅读