2024年AI视频生成研究报告.pptx

AI视频生成研究报告

量子位智库insights

分析师：Xuanhao2024.7

;

3.玩家格局;

视频是图像模态的进一步扩展，但由于技术复杂，对于算力、·2022年10月，Google、Meta发布Phenaki、Make-A-Video

数据等资源要求较高，成熟相对文本、图像较慢·2023年下半年，创业公司推出Runway-Gen2,Stable

·领军企业已经做出标杆，显著加速领域发展，已出现多家视VideoDiffusion、Pika等产品

频生成领域创业公司，但商业化、产品化进展较慢·2024年2月，OpenAI发布Sora引发全球关注

·目前主要是音乐生成(语音识别、克隆暂不纳入讨论),市·2024年2月，Suno.ai发布SunoV3

场不如图片生成、视频生成等领域热门，比视频更加早期·2024年6月，Stability.AI推出文生音频模型Stable

·明星创业公司较少，但有加速的发展的态势AudioOpen

·技术路线目前尚不清晰，垂直明星创业公司较少，产品大多·2020年8月，NeRF论文发表

处于早期阶段，但正在加速发展·2022年9月，谷歌发布DreamFusion

·2023年5月，OpenAI开源Shape-E模型

·2024年7月，Meta发布Meta3DGen

;

·采用传统的计算机视觉(CV)、计算机图形学

(CG)技术，但生成功能有限，主要是一些局部的垂点功能

·例如效果生成，在现有视频上添加多种效果，

如滤镜、光影、风格化、美颜特效等。也可以做局部动态化，如人物的面部表情生成、搞笑表情、爆款特效、舞蹈动作生成等

·有一定创意空间，生成部分新元素，成本低但

应用的场景有限;

·2022年12月DiffusionTransformer论文发表

·2024年2月OpenAI发布Sora,取得惊艳的生成效果，验证了Diffusion和Transformer结合的有效性

·Sora、Videopoet、W.A.L.T

·由于领军企业的示范效应，DiffusionTransformer已经成为视频生成领域的核心路线，领域内其他玩家都开始聚焦DiT并取得进展

·目前业界对于Sora的???构大多是猜想，从架构大方向上接近，但具体细节上不同模型、产品各异

·可扩展性强：基于扩散模型的视频模型，核心的构件是卷积神经网络U-Net,随着模型规模scaleup增益会放缓甚至消失。DiT

(DiffusionTransformer)将传统扩散模型的U-Net替换为Transformer,从而能够实现更强的可拓展性

·长期来看语言模型路线1可成为主要路线，可以将多种模态融合到一起(由于架构的成熟和优良的扩展性);

视频训练数据示例

·高质量数据少：最佳的训练数据是高质量的视频-文本对，即针对一段视频，有与之对应详细准确的文字描述，互联网上大部分的视频数据都难以满足需求(如数据不准确甚至是错的),此外视频数据的宽高比、分辨率、

时长各异，需要进一步处理。数据量方面，Sora的训练数据可能超过500万小时的精良视频

·公开数据质量低：公开数据集例如WebVid(1070万个

文本视频对，仅5.2万小时)、HowTo100M总时长超10万，但都是4s的短视频)、CelebV-Text(超7万个人脸-文本片段描述),数据量小且质量低

·版权数据获取难：例如电影、记录片、动漫、MV等影视作品，内容平台版权库，以及YouTube、抖音等UGC内容，成本高且有版权限制;

·英伟达目前占据全球高端GPU市场超95%的市

场份额，是事实上生成式AI全行业算力市场供给量的决定者

·英伟达的人工智能GPU在2022年出货量约270万，主要以A100为主；2023年出货量约380万块，主要以A100和H100为主；预计2024年出货量可能达到450万块，以H100和最近发布的Blackwell系列为主

·预计英伟达GPU交付量将保持20%的增速，并

在每年进行芯片架构的升级，稳步提升芯片和系统的计算能力

·目前北美最头部的科技公司都在重金押注AI