8月14日,字节跳动Seed团队发布并开源全模态训练框架VeOmni,解耦并行逻辑与计算,降开销提效率。
【8月14日字节跳动Seed团队开源全模态训练框架VeOmni】 8月14日,为推动全模态大模型研究与应用,字节跳动Seed团队发布并开源全模态PyTorch原生训练框架VeOmni。 VeOmni采用以模型为中心的分布式训练方案,能将复杂分布式并行逻辑与模型计算解耦,为全模态模型组合设高效并行训练方案。 该方式可大幅降低工程开销,提升训练效率与扩展性,把数周工程开发时间缩至几天。
本文由 AI 算法生成,仅作参考,不涉投资建议,使用风险自担
【免责声明】本文仅代表作者本人观点,与和讯网无关。和讯网站对文中陈述、观点判断保持中立,不对所包含内容的准确性、可靠性或完整性提供任何明示或暗示的保证。请读者仅作参考,并请自行承担全部责任。邮箱:news_center@staff.hexun.com
最新评论