计算机行业点评:谷歌发布GEMINI1.5 上下文窗口大幅拓宽

2024-03-12 12:55:04 和讯  国都证券王树宝
  一、事件:
  2 月15 日,谷歌升级了Gemini 系列模型,并发布用于早期测试的Gemini1.5 第一个版本——Gemini 1.5 Pro,并采用混合专家系统(MoE)作为基本架构。Gemini 1.5 Pro 配备了 128,000 个 token 上下文窗口。
  目前,少数开发人员和企业客户可以通过 AI Studio 和 Vertex AI 的私人预览版在最多 100 万个 token 的上下文窗口中进行尝试。
  二、点评:
  2 月8 日,谷歌宣布将原来旗下大模型Bard 更名为Gemini,并推出了付费订阅 Gemini Advanced(类似于OpenAI 的ChatGPT Plus),使得用户可以访问谷歌当时最强大的语言模型 Gemini 1.0 Ultra。仅不久后,谷歌就升级到了Gemini 1.5,首个发布的是中型多模态模型Gemini1.5 Pro,优化了在广泛任务中的扩展性,即使上下文窗口增加的情况下,性能上与1.0 Ultra 基本相当,同时使用的计算资源更少。此次Gemini 1.5 Pro 有以下几个亮点:
  1、 长上下文理解的突破。谷歌增加了Gemini 1.5 Pro 的上下文窗口容量,达到了128,000 个 token,远远超出了 Gemini 1.0 最初的32,000 个 token。同时,现在可以在生产环境中运行最高多达 100万个 token,也是创下了大模型最长上下文窗口的纪录。这意味着1.5 Pro 可以一次性处理大量信息,包括 1 小时的视频、11 小时的音频、超过 30,000 行代码或超过 700,000 个单词的代码库。
  2、 不同模态执行高度复杂的理解和推理任务。1.5 Pro 可以在给定提示内无缝分析、分类和总结大量内容。例如,当给出阿波罗 11 号登月任务的 402 页记录时,它可以推理整个文档中的对话、事件和细节;当给出一部44 分钟的无声电影时,模型可以准确地分析各种情节点和事件,甚至推理电影中容易被忽视的小细节。
  3、 使用较长的代码块解决相关问题。1.5 Pro 可以跨较长的代码块执行更相关的问题解决任务。当给出超过 100,000 行代码的提示时,它可以更好地推理示例、建议有用的修改并解释代码不同部分的工作原理。
  整体来看,全球大模型领域竞争十分激烈,并且头部厂商呈现出强者愈强的态势。随着大模型规模持续扩大,处理文本、图片、音频以及视频等多模态信息能力逐步提升,算力需求也将呈现指数级增长。建议关注具有处理多模态相关技术厂商以及AI 算力产业链。重点公司:万兴科技、科大讯飞、海光信息、高新发展。
  风险提示:AI 技术发展不及预期、算力需求不及预期、行业竞争加剧等。
【免责声明】本文仅代表第三方观点,不代表和讯网立场。投资者据此操作,风险请自担。
(责任编辑:王丹 )

   【免责声明】本文仅代表第三方观点,不代表和讯网立场。投资者据此操作,风险请自担。

看全文
写评论已有条评论跟帖用户自律公约
提 交还可输入500

最新评论

查看剩下100条评论

热门阅读

    和讯特稿

      推荐阅读