马斯克团队推出Grok-1.5,提升数学推理和长文本理解能力
Grok-1.5,一个由马斯克领导的xAI团队开发的模型,在其短短11天的开源历程后迎来了升级。
近日,Grok-1.5的发布带来了128K的长上下文支持,以及显著提升的推理能力。
11天前,Grok-1模型的权重和架构已向公众开放,展示了团队在之前11月所取得的成果。
Grok-1拥有3140亿个参数,是Llama 2的四倍,采用MoE架构,并包含8个专家,其中2个处于活跃状态。
升级后的Grok-1.5在编码和数学任务方面表现出色,数学基准测试得分提升至50.6%,GSM8K基准测试得分达到90%。
同时,在评估代码生成和解决问题能力的HumanEval基准测试中,Grok-1.5以74.1%的高分胜出。
Grok-1.5的训练框架基于JAX、Rust和Kubernetes,使团队能够在大型计算集群上进行高效的模型训练。
Grok-1.5将很快提供给早期测试者,并在未来几天推出更多新功能。
此次Grok-1.5的升级显示出团队在不断优化和改进模型方面的决心和能力。
最新评论