计算机行业深度研究:全球大模型将往何处去?

2024-07-02 09:15:13 和讯  华泰证券谢春生
  大模型头部格局基本确定,AI Agent 将加速AGI 进程我们认为,海外闭源大模型已经形成OpenAI 为首,Google、Anthropic 等紧随的格局。在头部闭源模型之下,Meta 引领开源模型生态,开源闭源模型差距逐步缩小。为了适配端侧需求,小参数模型也在快速发展。国内看,模型百花齐放,但技术辨识度不高,23 年头部互联网厂商和科技企业进展较快,24 年以来初创公司开始发力长文本、MoE 等领域。展望后续,ScalingLaw+Transformer 仍将长期有效,合成数据或逐渐成为关键数据来源。此外,AI Agent 能够极大提高现有模型的表现,是实现AGI 的重要推力。大模型技术是AI 浪潮的软件“基础设施”,建议持续关注相关进展。
  多模态+长文本+MoE 已成共识,大模型与小模型路线并驾齐驱头部GPT、Gemini、Claude 模型先后支持了多模态推理;Claude 较早实现了200K 长文本,Gemini 将长文本推到2M tokens;GPT-4、Mistral 展现了MoE 架构的优势,Gemini 也在短期内更改为MoE 架构。共识已经形成,国内大模型厂商均在跟进,Kimi 引领长文本趋势,MiniMax、阶跃星辰较早实践MoE 模型。Mistral、微软、Meta、Google 的小模型性能不断突破,为端侧AI 打下良好基础,成为与大模型并驾齐驱的另一条重要发展路线。
  Scaling Law 未达边界,算力换智能仍然成立
  OpenAI 在Scaling Law 论文中,从理论上预测了边界递减的存在。但实际上,OpenAI、Google 和Anthropic 仍在践行大参数等于高智能的路线。清华唐杰教授在24 年2 月北京人工智能产业创新发展大会上指出,ScalingLaw 尽头远未到来,算力换智能继续成立。在参数持续变大的情况下,训练数据的需求量进一步提升,据Epoch 预测,2030 年到2050 年,将耗尽低质量语言数据的库存,未来训练数据的缺乏将可能减缓机器学习模型的规模扩展。因此,合成数据或成为关键。
  AI Agent 是AGI 的关键范式,具身智能是大模型重要落地场景AI Agent 能够自主、全流程、多步骤的执行任务,大幅延展了大模型的能力范围,被认为是实现AGI 的关键范式。斯坦福大学吴恩达教授在24 年3 月的红杉美国AI 峰会上指出,如果用户围绕GPT-3.5 使用一个Agent 工作流程,其实际表现甚至好于GPT-4。并且AI Agent 的能力能够充分受益于大模型的演进。此外,大模型与机器人具身智能的结合(如OpenAI 与Figure),也有望随着模型能力的迭代快速发展。我们认为,24 年AI Agent 和具身智能将成为新一代大模型的重要落地场景。
  GPT-5 有望推动全球算力和应用的下一阶段发展我们预期GPT-5:1)MoE 架构将延续,专家参数和数量或变大;2)GPT-5及之后模型的训练数据集质量更高、规模更大;3)在思维链CoT 的基础上,再加一层AI 监督;4)支持更多外部工具调用的端到端模型;5)多种大小不同的参数,不排除推出端侧小模型;6)从普通操作系统到LLM 操作系统;7)端侧AI Agent 将更加实用和智能。我们认为,GPT-5 的发布有望推动全球算力和应用的下一阶段发展,建议关注:海外标的,AI 应用:微软、Adobe等。国内标的,1)AI 服务器:浪潮信息等;2)AI 应用:金山办公、福昕软件、泛微网络等;3)端侧:中科创达、网宿科技。
  风险提示:宏观经济波动,技术进步不及预期,中美竞争加剧。本研报中涉及到未上市公司或未覆盖个股内容,均系对其客观公开信息的整理,并不代表本研究团队对该公司、该股票的推荐或覆盖。
【免责声明】本文仅代表第三方观点,不代表和讯网立场。投资者据此操作,风险请自担。
(责任编辑:王丹 )

   【免责声明】本文仅代表第三方观点,不代表和讯网立场。投资者据此操作,风险请自担。

看全文
写评论已有条评论跟帖用户自律公约
提 交还可输入500

最新评论

查看剩下100条评论

有问必答- 持牌正规投资顾问为您答疑解惑

    热门阅读

      和讯特稿

        推荐阅读