北京开源芯片研究院：AI推理算力需求特征

快讯正文

【2 月 28 日，在 2025 玄铁 RISC-V 生态大会上有重要消息】北京开源芯片研究院首席科学家包云岗指出，AI 推理产生巨大的算力需求。AI 推理的算力需求将呈现两个特征，一是与 CPU 紧密协作，业务主程序仍运行在 CPU 上，通过 API 调用将 AI 推理请求卸载到 AI 加速器，得到推理结果后再由 CPU 返回给用户；二是呈现多样化需求，不同场景产生不同算力需求，相应资源约束也不同，比如云端推理算力要考虑满血版大模型的高效部署，端侧应用场景则往往会部署不同容量的裁剪版。

本文由 AI 算法生成，仅作参考，不涉投资建议，使用风险自担