电子元器件行业:SCALINGLAW OPENAI再次领先的核心要素

2024-02-20 07:55:04 和讯  国泰君安王聪/舒迪
  本报告导读:
  为什么又是OpenAI 领先行业?对transformer 模型的理解以及对scaling law 的坚持,让OpenAI 继ChatGPT 之后,在文生视频领域以Sora 再次震撼世界。
  摘要:
  继ChatGPT之后,Sora 文生视频模型再次引领行业。2 月16日,OpenAI 发布扩展视频生成模型Sora,根据相同prompt 的生成视频对比,Sora 在自然语言理解、视频长度、动态能力、人物背景一致性、多角度镜头等多方面均领先同类文生视频模型。Sora 在还未正式开放的情况之下,引起全球范围内广泛的关注与讨论,其生成效果明显领先行业。继ChatGPT 之后,Sora 模型让OpenAI 再次引领行业。为什么又是OpenAI?
  Sora 的底层依旧是transformer,scaling law 仍然是OpenAI 的坚持。根据Sora 技术报告,Sora 把时空要素提取作为 transformer 的token 进行训练,而transformer 在多个领域展示了显著的扩展性能,包括语言建模、计算机视觉和图像生成。Sora 的diffusion transformer模型在视频领域仍然能够有效的扩展,根据技术报告,随着训练计算量的增加,样本质量在显著提高。在OpenAI 团队找到“良好且通用的数据表示,良好且通用的数据标注,良好且通用的算法” 后,不断scaling 数据量、算力量、参数量,直至模型涌现出惊人的能力。为什么又是OpenAI?对transformer 模型的理解以及对scalinglaw 的坚持,让OpenAI 继ChatGPT 之后,在文生视频领域以Sora 再次震撼世界。
  Scaling Law 仍是AGI 的可行路径。Sora 的行业领先,再次验证了scaling law 的技术可行性(甚至是经验公理),模型的能力会随着数据量、算力量的增加而出现涌现。目前的数据量与算力量还远未达到scaling law 的尽头,并且不论GPT-4 还是Sora 都还远未服务所有人。算力是scaling law 的第一基础,也是Altman 7 万亿美金AI 基建计划的核心。持续推荐AI 算力基建,GPU 芯片企业海光信息;服务器代工企业工业富联;PCB 企业沪电股份。相关受益标的,寒武纪、高新发展、浪潮信息。
  催化剂。AI 模型加速发展;算力紧缺。
  风险提示。AGI 产业发展不及预期;国产化进程不及预期;国际关系不稳定。
【免责声明】本文仅代表第三方观点,不代表和讯网立场。投资者据此操作,风险请自担。
(责任编辑:王丹 )

   【免责声明】本文仅代表第三方观点,不代表和讯网立场。投资者据此操作,风险请自担。

看全文
写评论已有条评论跟帖用户自律公约
提 交还可输入500

最新评论

查看剩下100条评论

热门阅读

    和讯特稿

      推荐阅读

        【免责声明】本文仅代表作者本人观点,与和讯网无关。和讯网站对文中陈述、观点判断保持中立,不对所包含内容的准确性、可靠性或完整性提供任何明示或暗示的保证。请读者仅作参考,并请自行承担全部责任。