计算机行业点评:META发布LLAMA 3开源大模型 有望助推AI生态加速发展

2024-04-26 11:05:08 和讯  国都证券王树宝
  一、事件:
  4 月19 日,美国科技巨头Meta 推出了其最新一代大语言模型Llama 3的早期版本,目前已有两种不同参数版本的Llama 3 可供用户使用,分别为80 亿参数和700 亿参数,其中4050 亿的模型仍在训练中。同时,Meta 宣布推出基于Llama 3 打造的人工智能助手Meta AI,已经在Facebook、Instagram、WhatsApp 和Messenger 等应用中上线,随后也将迎来更新。
  二、点评:
  美国科技巨头Meta 推出了其最新一代大模型Llama 3,目前8B 和70B参数版本的模型已经面向开发者进行了开源,包括预训练和微调版本,而400B 参数的模型仍在训练中。
  此次Llama 3 主要特点包括:
  (1)在24000 块GPU 组成的定制集群上,使用15 万亿个token 训练的,训练数据集比Llama 2 的大7 倍,其中包括了使用AI 合成的数据。
  (2)在多种行业基准测试上展现了出色的性能,8B 和70B 版本在各自参数规模上超越如Mistral 7B、Claude 3 Sonnet、Gemini Pro 等对手。
  (3)为了应对多语言使用情况,Llama 3 的预训练数据集中有超过 5%的高质量非英语数据,涵盖 30 多种语言。
  不过,此次Llama 3 模型仍有些不及预期的方面,包括:
  (1)上下文窗口只有8k,这与现在动辄几十乃至上百万窗口的大模型相比,仍有一定差距。
  (2)目前只支持文本输入,暂不支持多模态和MOE。
  Llama 3 模型将很快在 AWS、Microsoft Azure、Hugging Face 上提供,并得到 AMD、Intel、NVIDIA 等硬件平台的支持。此外,基于 Llama 3,Meta 也发布了他们的全新 AI 助手 Meta AI,已经在Facebook、Instagram、WhatsApp 和Messenger 等应用中上线。
  今年来看,AI 大模型领域仍将有持续催化,包括OpenAI 即将发布的GPT-5,以及下半年Llama 3 400B 参数版本模型将发布,新功能将包括多模态、多语言对话能力、更长的上下文窗口以及更强的整体能力。据Hugging Face 创始人Clement 称,目前基于Llama 1 和2 构建的开源模型已有30000 多个,而此次发布的Llama 3 是最强大的开源模型,有望对开发者提供更强的开源模型能力,加速AI 生态的发展。重点公司:
  金山办公、科大讯飞、中科曙光、浪潮信息。
  风险提示:技术发展不及预期、下游需求不及预期、行业竞争加剧等。
  (资料来源:iFinD、机器之心公众号、国都证券)
【免责声明】本文仅代表第三方观点,不代表和讯网立场。投资者据此操作,风险请自担。
(责任编辑:王丹 )

   【免责声明】本文仅代表第三方观点,不代表和讯网立场。投资者据此操作,风险请自担。

看全文
写评论已有条评论跟帖用户自律公约
提 交还可输入500

最新评论

查看剩下100条评论

有问必答- 持牌正规投资顾问为您答疑解惑

    热门阅读

      和讯特稿

        推荐阅读