事件
美国时间4 月18 日,Meta 正式发布了其最新版本的开源大语言模型Llama3, Llama 3 目前已开放8B 和70B 两个小参数版本,未来将继续推出更多产品,最大版本参数超400B。
Llama3 性能显著提升,并在多个关键指标上超越了当前业界的先进模型Llama3 的主要亮点包括:基于超过15T token 训练,相当于Llama 2数据集的7 倍还多;支持8K 长文本,改进的tokenizer 具有128Ktoken 的词汇量,可实现更好的性能;在大量重要基准中均具有最先进性能;新能力包括增强的推理和代码能力;训练效率比Llama 2 高3 倍;带有Llama Guard 2、Code Shield 和CyberSec Eval2 的新版信任和安全工具。8B 和70B 版本Llama3 模型已用于Meta AI 助手,同时也面向开发者进行了开源,包括预训练和微调版本。根据Meta 官方的评估报告,Llama3 的370B 参数模型在MMLU、GPQA、HumanEval、GSM-8K 和MATH 等标准测试集中取得了82.0、39.5、81.7、93.0 和50.4 的高分,相较于Llama2 的70B 参数模型,分别实现了29.1、18.5、56.1、35.5 和38.8 的分数提升,标志着Llama3 在整体性能上的显著进步。此外,Llama3 在多个关键基准测试中的表现也超过了行业内的其他领先模型,包括Gemini1.5Pro 和Claude3 系列的中杯模型Sonnet。
Llama3 的模型训练和词汇量都实现了显著增长Llama3 的主要亮点包括:基于超过15T token 训练,相当于Llama 2数据集的7 倍还多;支持8K 长文本,改进的tokenizer 具有128Ktoken 的词汇量,可实现更好的性能;在大量重要基准中均具有最先进性能;新能力包括增强的推理和代码能力;训练效率比Llama 2 高3 倍;带有Llama Guard 2、Code Shield 和CyberSec Eval2 的新版信任和安全工具。8B 和70B 版本Llama3 模型已用于Meta AI 助手,同时也面向开发者进行了开源,包括预训练和微调版本。同时,Llama3 支持处理8K 的长文本输入,并配备了经过改进的tokenizer,词汇量增至128K,进一步提升了其语义理解的能力。此外,Llama3还新引入了推理和编程能力,训练效率比Llama2 提高了三倍,增强了其实用价值。
Llama3 的模型训练和词汇量都实现了显著增长Meta 还透露,具有4000 亿参数的Llama3 大模型正在积极开发中,预计将在更长的上下文理解和多模态处理能力上实现新的突破。
投资建议
除了Meta,谷歌和微软也计划在5 月的开发者大会上展示其最新的大模型进展。同时,国内的科大讯飞星火大模型也预计将进行升级。这表明,全球的大模型及其应用产品即将进入一个新的快速发展周期,预计将进一步加速AI 技术的商业化进程。我们认为以Llama3 为代表的开源大模型性能提升有望加速推动AI+行业应用生态的构建,可关注国内大模型迭代的进程。
风险提示
1、AI 发展不及预期;2、商业化不及预期;3、政策不确定性带来的风险。
【免责声明】本文仅代表第三方观点,不代表和讯网立场。投资者据此操作,风险请自担。
(责任编辑:王丹 )
【免责声明】本文仅代表第三方观点,不代表和讯网立场。投资者据此操作,风险请自担。
最新评论