Transformer七子揭秘Transformer架构发展秘辛

快讯正文

【黄仁勋对话Transformer七子：我们被困在原始模型里，还需要更强大的新架构】 英伟达的GTC大会第三天，黄仁勋集齐“Transformer七子”，展开一场关键的对话。这七位曾被称为“Transformer八子”的作者，共同探讨了Transformer架构的诞生和未来发展。 黄仁勋首先回顾了2017年谷歌大脑团队发表的Attention is all you need论文，提出的Transformer架构为现今大模型如ChatGPT、Gemini等奠定基础。随后，这八位作者陆续离开谷歌，创立了多家公司，成为AI领域的热门人物。 在对谈中，作者们指出基于Transformer的主流模型仍有进步空间，需要关注自适应计算和高效分配计算资源。他们强调模型规模的重要性，并认为推理是下一个重要的发展节点。 对话实录中，作者们解释了Transformer的诞生原因和命名来由。他们呼吁超越Transformer，探索新的技术，并将模型推向更广泛应用。离开谷歌的作者们各有使命，希望将人工智能技术更好地服务于全球。 最后，作者们强调推理是未来发展的关键方向，并呼吁模型需要接受更多类型的训练数据，以提升质量和泛化能力。他们认为只有不断探索、创新，才能推动人工智能领域迈向新的高度。【图片来源：GTC 2024】