【Meta发布Llama 3系列,4000亿参数挑战GPT-4,训练数据达Llama 2七倍】
Meta近日发布了最强大的开源大模型Llama 3系列,分别推出了8B和70B两个版本。据悉,Llama 3在多项基准上超过了谷歌Gemini和Claude等闭源模型,成为当前开源SOTA。此次发布的Llama 3系列最大模型规模将超过4000亿参数,被认为将是开源社区的一个重要分水岭,有望超越GPT-4这一高峰。
Llama 3基于超过15T个token的公开数据进行了预训练,数据量是Llama 2的七倍,代码量也增至四倍。训练效率比Llama 2提升了三倍。与此同时,Meta CEO扎克伯格宣布,基于Llama 3模型,Meta的AI助手已覆盖了Instagram、WhatsApp、Facebook等全系应用,并独立开启了网站。
各大云服务商和人工智能平台纷纷宣布上线Llama 3,支持其训练、部署和推理运行。Llama 3的官方地址为https://llama.meta.com/llama-downloads/,GitHub地址为https://github.com/meta-llama/,Meta AI地址为https://www.meta.ai/。
Meta表示,他们的Llama 3系列将与当前闭源模型相媲美,并希望通过解决开发者的反馈意见来提升模型实用性。未来,Meta计划使Llama 3成为多语言、多模态、具有更长上下文的模型。Llama 3的发布标志着Meta在AI领域的技术进步,同时也强调了对负责任AI实践的承诺。【智东西 编译】
最新评论