马斯克开源Grok-1 AI大模型，3140亿参数引领技术革命

近日，马斯克宣布开源Grok-1，这一参数量达到3140亿的AI大语言模型，其规模超越了OpenAI GPT-3.5的1750亿参数。

Grok-1的封面图由AI生成，彰显了“AI助AI”的理念。

马斯克在社交平台上表示，想了解OpenAI的开放性程度。

Grok-1遵循Apache 2.0协议，允许用户自由使用、修改和分发模型，推动研究和应用开发。项目已在GitHub上获得6.5k星标，热度持续上升。

Grok-1需要足够的GPU内存进行测试，可能需要一台拥有628 GB GPU内存的机器。

MoE层实现效率有限，但选择该实现是为了避免自定义内核验证模型正确性。

其他已开源的大模型包括Meta的Llama2、法国的Mistral等。开源模型有助于社区进行大规模测试和反馈，加快模型迭代。

Grok-1由马斯克旗下的AI创企xAI在过去4个月开发，采用Mixture-of-Experts（MOE）技术。

研究人员首先训练了一个330亿参数的Grok-0原型，随后进行了重大改进，于2023年11月发布功能更强大的Grok-1。

Grok-1的独特优势在于从头训练、实时了解世界的能力，以及3140亿参数的庞大规模，为模型提供了强大的语言理解和生成能力。

Grok-1将作为Grok背后的引擎，未来将探索长上下文理解与检索、多模态能力等方向。