百川智能发布超千亿大模型Baichuan 3

北京商报讯（记者 魏蔚）1月29日，百川智能发布超千亿参数的大语言模型Baichuan 3。Baichuan 3在多个英文评测中，表现接近GPT-4的水平，在CMMLU、GAOKAO、HumanEval和MBPP等多个中文评测榜单上，中文任务的表现超越了GPT-4，在MT-Bench、IFEval等对齐榜单的评测中，超越GPT-3.5、Claude等大模型。超千亿参数模型在训练过程中对高质量数据，训练稳定性、训练效率的要求都高出几个量级。为更好解决相关问题，百川智能在训练过程中针对性地提出了“动态数据选择”、“重要度保持”以及“异步CheckPoint存储”等多种创新技术手段及方案，有效提升了Baicuan 3的各项能力。