算力周跟踪:CHATGPT周访问量突破9亿 “精度感知”SCALING LAW 再引关注

2024-11-21 08:20:05 和讯  华福证券陈海进/徐巡
  投资要点:
  本周数据中心板块超微电脑涨势一骑绝尘,GPU/CPU 板块表现活跃。
  (1)GPU/CPU:本周(1118-1120)除英特尔外,算力芯片板块普涨,其中英伟达+3.54%,AMD+3.33%,龙芯中科+8.95%,寒武纪+9.98%,海光信息+3.81%。英伟达将于美东时间周三盘后披露三季度财报,建议继续关注。(2)数据中心硬件:超微电脑+52.15%,先前受安永辞职影响,超微电脑股价遭遇重创,11 月18 日其宣布聘请了新的独立审计师BDO 并提交了合规计划,增强了投资者对公司未来合规性的信心。
  “精度感知”scaling law 首次提出,AI 领域低精度加速时代即将结束。
  根据新智元11 月17 日报道,哈佛斯坦福MIT 等机构研究人员发现低精度训练会降低模型的有效参数量,对此他们提出了“精度感知”scaling law。
  要点#1:传统scaling law 忽视精度,低精度训练有效性受限。传统的scalinglaw 主要关注参数规模和数据量,但忽视了精度这一关键因素。研究发现,低精度训练不仅影响模型的有效参数量,而且在推理过程中,随着训练数据量的增加,量化带来的性能损失也会增加,特别是在模型后期量化时。
  因此,低精度训练的有效性受限。
  要点#2:低精度加速时代接近尾声,未来范式将转向资源优化利用。尽管低精度加速曾经是AI进步的核心推动力,但这种趋势现在正接近尾声。研究表明,未来还需要超过 位的精度来训练许多模型。随着低精度方法达到极限,未来的AI 研究范式将从单纯的规模扩展转向如何更有效地利用现有资源,更关注于如何通过AI 提高人类的生产力。这种思维方式更侧重于流程和人的层面,而非技术本身。
  马斯克旗下xAI 122天建成10万GPU超算集群,科技巨头纷纷效仿。
  根据新智元11 月17 日报道,马斯克的公司xAI 仅用122 天,成功建成配备了10 万颗GPU 的超算集群Colossus,专用于AI 模型训练。
  要点#1:马斯克采用非传统方法,超算建设速度从4年缩短至4个月。通常情况下,建设如此规模的GPU集群往往需要三年的规划与设计周期,再加上一年的建设时间方能投入使用。Colossus 完工之所以如此迅速,是因马斯克采用非传统方法加速建设,包括在电力供应不足情况下开始建设,并使用移动天然气涡轮机作为临时电源。
  要点#2:亚马逊、微软、谷歌和OpenAI等科技巨头纷纷效仿马斯克方法。
  业界普遍认为,服务器集群的规模越大,其训练出来的人工智能表现就越出色。马斯克的这一迅速建设方法已经引起了亚马逊、微软、谷歌和OpenAI等科技巨头的关注,他们正在尝试效仿这种方式,建设规模更大的数据中心。
  | 大模型跟踪
  ChatGPT 访问量创新高,Kimi 发布新推理模型带动下载量。据similarweb 最新数据(1108-1114):(1)ChatGPT 本周访问量突破9 亿,断层第一愈发稳固。根据量子位11 月15 日报道,ChatGPT 发布更新,Mac客户端支持“读屏编程”,可直接读取并处理开发工具中的代码;Windows客户端全量上线,免费用户也可使用,且支持高级语音模式和搜索功能。
  据七麦最新数据(1113-1119):(1)Kimi11 月16 日单日下载量近300 万。
  11 月16 日,Kimi 发布最新一代推理模型k0-math,在数学能力已实现对标OpenAI o1-mini 和o1-preview。(2)讯飞星火本周下载量有所增长。11 月14 日,讯飞星火多模态交互大模型正式上线,该模型实现音视频流实时多模交互,新增“多模态、超拟人和个性化”能力,实现语音、视觉、数字人交互三合一,支持一键调用,带动本周下载量。
  建议关注
  国产算力链:寒武纪、海光信息、龙芯中科、盛科通信等。
  数据中心硬件:中际旭创、工业富联、新易盛、天孚通信、沃尔核材、英维克、沪电股份、胜宏科技。
  风险提示
  技术发展及落地不及预期;下游终端出货不及预期;下游需求不及预期;市场竞争加剧风险;地缘政治风险。
【免责声明】本文仅代表第三方观点,不代表和讯网立场。投资者据此操作,风险请自担。
(责任编辑:刘静 HZ010)

   【免责声明】本文仅代表第三方观点,不代表和讯网立场。投资者据此操作,风险请自担。

【广告】本文仅代表作者本人观点,与和讯网无关。和讯网站对文中陈述、观点判断保持中立,不对所包含内容的准确性、可靠性或完整性提供任何明示或暗示的保证。请读者仅作参考,并请自行承担全部责任。邮箱:news_center@staff.hexun.com

看全文
写评论已有条评论跟帖用户自律公约
提 交还可输入500

最新评论

查看剩下100条评论

有问必答- 持牌正规投资顾问为您答疑解惑

    热门阅读

      和讯特稿

        推荐阅读