科技硬件行业动态:GPU VS TPU 性能与成本该如何平衡?

2024-07-31 20:20:05 和讯  中金公司黄天擎/李澄宁/成乔升/贾顺鹤/彭虎
  行业近况
  苹果采用谷歌TPU作为算力训练先发硬件,引发市场对AI算力底座生态的深度探讨。2024 年7 月29 日,苹果在其发布的技术论文中指出公司两个AI模型使用了谷歌设计的TPU芯片进行云端预训练。从苹果在云侧的硬件部署动作以及过去互联网厂商的硬件筹备上,我们认为:1)短期看,在大模型持续迭代的背景下,GPU仍然是支持多功能架构和广泛生态的最优硬件解决方案;2)中长期看,综合互联网厂商对于硬件成本下降的诉求、模型底层架构迭代趋于收敛的背景,产业界均在筹备TPU等多类硬件方案,但推动大规模的部署或将需要“通用世界模型”作为基础;3)从商业逻辑角度,拥有训练/推理数据的所有权将成为AI商业闭环打通的关键要素之一,或将推动苹果等大型品牌厂商进行全栈式的AI硬件+软件生态部署。
  评论
  苹果使用TPU作为先行硬件方案,或基于中长期生态及成本考量。根据此次发布的Apple Foundation Models论文,苹果采用了8192 颗TPUv4 芯片训练服务器端AFM模型(AFM-server);同时使用2048 颗TPUv5p芯片训练,并通过知识蒸馏和结构剪枝优化了设备端AFM模型(AFM-ondevice)。根据谷歌TPUv4 与NVIDIA A100 相比的功耗低1.3-1.9 倍,在Bert、ResNet等多类工作模型中,效率高于A100 1.2-1.9 倍;同时其TPUv5/TPU Trillium产品相比TPUv4,能够进一步提升2 倍/接近10 倍的计算性能。我们看到谷歌TPU产品相比英伟达的产品更多在成本与功耗上存在优势。我们认为苹果使用TPU作为先行硬件方案,能够在中长期推动算力硬件部署成本的下降,同时基于苹果具备自研数字芯片的能力以及拥有丰富的闭源生态系统,我们认为远期苹果或致力于推动建设自有的全栈式解决方案。
  GPU vs TPU,大模型时代的最终硬件方案将如何演绎?TPU属于ASIC芯片的一类,我们认为其优势在于出众的能效比与单位成本算力指标,同时试错成本高的劣势也较为明确;而GPU具备最为丰富的多功能架构和广泛生态的支持。在大模型快速迭代的背景下,我们仍然看好GPU作为优质的硬件解决方案,但并不妨碍科技厂商同步筹备ASIC等硬件方案作为远端硬件降本提效的方案,建议积极关注苹果与四大CSP厂商的硬件部署架构。
  估值与建议
  我们维持覆盖公司盈利预测、评级、目标价不变。建议关注英伟达、博通、苹果(未覆盖)、寒武纪(未覆盖)、海光信息(未覆盖)等。
  风险
  AI算法技术及应用落地进展不及预期,ASIC技术迭代放缓。
【免责声明】本文仅代表第三方观点,不代表和讯网立场。投资者据此操作,风险请自担。
(责任编辑:王丹 )

   【免责声明】本文仅代表第三方观点,不代表和讯网立场。投资者据此操作,风险请自担。

看全文
写评论已有条评论跟帖用户自律公约
提 交还可输入500

最新评论

查看剩下100条评论

有问必答- 持牌正规投资顾问为您答疑解惑

    热门阅读

      和讯特稿

        推荐阅读