岩山科技：公司旗下岩芯数智自主研发的Yan1.2多模态大模型运行在树莓派5（频率为2.4GHz的64位四核Arm Cortex-A76处理器）上进行推理每秒可达7-8 tokens的响应效率

同花顺（300033）金融研究中心08月01日讯，有投资者向岩山科技（002195）提问， Yan 1.2大模型的推理能力和准确率如何？相关评测的数据如何？谢谢！

公司回答表示，公司旗下岩芯数智自主研发的Yan1.2多模态大模型运行在树莓派5（频率为2.4GHz的64位四核Arm Cortex-A76处理器）上进行推理每秒可达7-8 tokens的响应效率，在中低端的手机上推理每秒可达20+tokens（CPU运行，非NPU或GPU）的响应效率。根据媒体公开报道，Llama3 8B模型量化后在树莓派5上每秒速率低于2 tokens。基于目前评测情况，Yan1.2大模型处于行业领先水平。Yan架构核心原理包括MCSD（multi-channel slope and decay）和基于仿生神经元驱动的类脑激活机制等。鉴于Yan1.2为多模态模型，为便于评测比较，岩芯数智将Yan1.2的核心模块即自然语言部分MCSD 3B模型，采用5-shot测试方法，与Llama3 8B模型、Pythia 2.8B模型、Mamba 2.8B模型、RWKV4 3B模型这4个典型自然语言模型进行了比较。岩芯数智将5个模型分别对ARC-C、ARC-E、WinoGrande、MMLU、Hellaswag 5个基本任务进行评测，MCSD 5个基本任务评测平均分为53.5分，高于Phthia（48.6分）、Mamba（52.4分）、RWKV4（49.1分），低于模型更大的Llama3（75.0分）。该评测结果评估了包括模型的准确率在内的整体综合表现，该结果已公开在论文当中（论文链接：https://arxiv.org/abs/2406.12230）。根据美国苹果公司在其公开论文（论文链接：https://arxiv.org/abs/2404.14619）中发表的测试结果，其OpenELM模型（模型大小3.04B）采用zero-shot测试方法在7个基本任务上进行了测试，其中4个可比任务ARC-C、ARC-E、WinoGrande、Hellaswag的测试平均分为58.36分，低于MCSD的59.5分。OpenELM模型采用测试方法与MCSD不同且MCSD训练语料少于OpenELM，该对比结果仅供参考。谢谢。