传媒行业快报:GEMMA 2发布 降本提效延展AI生态

2024-06-28 19:30:07 和讯  华金证券倪爽
  投资要点
  热点事件:6 月27 日,Google 面向全球研究人员和开发人员发布Gemma 2 大语言模型,目前有90 亿参数(9B)和270 亿参数(27B)两种大小,并将在未来几个月发布参数为26 亿的Gemma 2 模型,更适合智能手机的人工智能应用场景。大语言模型持续迭代,降本增效有望加速AI 赋能B 端和C 端应用和生产。
  Gemma 2 带来效率和性能的提升。目前,Gemma 2 共推出9B 和27B 两种参数,与上一代相比性能大幅度提升,但部署要求大幅度下降,只需一块NVIDIAH100 Tensor Core GPU 或TPU 主机就能使用。架构方面:基于上一代进行了全方位改良,使用局部滑动窗口注意力和全局注意力,其中局部注意力层的滑动窗口大小设置为4096 个tokens,全局注意力层的跨度设置为8192 个tokens。
  训练数据方面:Gemma 2 的27B 模型使用了13 万亿tokens 的英文数据进行训练,9B 模型使用了8 万亿tokens 数据,这些数据包括网页文档、代码、论文和科学文章等。训练策略方面:Gemma 2 使用了知识蒸馏方法,通过学习大型教师模型给出的输出概率进行训练,以较小规模复制卓越性能。通过MBPP、MMLU、ARC-C、GSM8K、BBQ Disambig 等知名基准测试平台的综合评测,Gemma 2 在多项基准测试中表现出色,例如在MMLU 5-shot (Gemma-2 得分75.2%,显著高于Gemma-1 的42.3%)、ARC-C 25-shot、GSM8K 5-shot等测试中,27B 模型相比之前版本和其他标准模型(如Mistral 和LLaMA-3 等)均有显著提升。在其他数学推理、逻辑问题解决和常识问答等任务上,Gemma2 同样展示了在处理复杂认知任务方面的强大效能。Gemma 2 在降低成本同时显著提升能效,在硬件端降低使用门槛,利好铺展AI 生态。
  Gemma 2(2.6B)有望赋能端侧AI 生态。预计将在未来几个月内发布的26亿Gemma 2 模型将更适合智能手机的AI 应用场景。相较Gemma-1 2.5B,Gemma-2 2.6B 几乎在所有指标测评中实现超越,尤其在MMLU 5-shot(提升9 个百分点)和GSM8K 5-shot(提升8.8 个百分点)提升相对显著。随着Apple、Samsung 等移动终端和联想、惠普等PC 对端侧AI 需求的逐渐提升,优质轻量模型的迭代和发展符合需求端的增长。我们看好轻量模型迭代催化对端侧AI 的持续赋能。
  投资建议:优质模型持续迭代,降本增效,有望拓展AI 生态,多元赋能千行百业发展。建议关注:腾讯控股、网易-S、美图公司、汤姆猫、昆仑万维、恺英网络、巨人网络、世纪天鸿、蓝色光标、南方传媒、天娱数科、引力传媒、捷成股份、视觉中国、华策影视、因赛集团、天下秀、上海电影、华扬联众、掌阅科技、顺网科技、中广天择、万兴科技等。
  风险提示:政策不确定性、AI 落地不及预期、宏观环境波动风险等。
【免责声明】本文仅代表第三方观点,不代表和讯网立场。投资者据此操作,风险请自担。
(责任编辑:王丹 )

   【免责声明】本文仅代表第三方观点,不代表和讯网立场。投资者据此操作,风险请自担。

看全文
写评论已有条评论跟帖用户自律公约
提 交还可输入500

最新评论

查看剩下100条评论

有问必答- 持牌正规投资顾问为您答疑解惑

    热门阅读

      和讯特稿

        推荐阅读

          【免责声明】本文仅代表作者本人观点,与和讯网无关。和讯网站对文中陈述、观点判断保持中立,不对所包含内容的准确性、可靠性或完整性提供任何明示或暗示的保证。请读者仅作参考,并请自行承担全部责任。