Sora技术路线及其对媒体内容生产格局影响分析.pdfVIP

新媒体新业务

NEWMEDIABUSINESS

Sora技术路线及其对媒体内容

生产格局影响分析

●作者 浙江省宁波广播电视集团  朱红天

特有的较短剪辑和简单视觉呈现的限制上。

摘要

Sora的出现，既在意料之中，也在意料之外。意

随着人工智能技术的迅猛发展，多模态内容生成已经成为科

料之中是因为大模型攻克文本、图片模态之后，视频

技前沿的热点话题。2024年初，OpenAI发布的Sora模

生成应该是水到渠成。意料之外是没想到OpenAI的

型，以其卓越的视频生成能力，迅速吸引了全球关注，标志

速度这么快，2023年文生视频模型还只能勉强生成

着多模态生成技术迈入了一个全新的阶段。本文将深入探讨

10秒钟视频，而且视频质量和一致性等指标也非常差。

Sora的技术特点，分析其技术及工作原理，并评估其对产业Sora能生成长达1分钟的高质量视频，这相较于此前

格局的潜在影响。只能生成25帧576×1024图像的顶尖视频生成模型

StableVideoDiffusion有了显著提升，展示了OpenAI

在视频生成领域的技术实力。

关键词

人工智能二Sora技术原理解析

多模态内容生成

Sora模型在核心本质上，Sora是一个基于潜在空间（Latent

Space）的具有灵活采样维度的扩散模型（Diffusion

Transformer，简称DiT）[1]。它包含三个部分：

一Sora简介◆一个时空压缩器首先将原始视频映射到潜在空间；

◆VisionTransformer处理标记化的潜在表示并

Sora是OpenAI于2024年2月发布的文本到视输出去噪后的潜在表示；

频的生成式AI模型。该模型经过训练后，能够根据◆一个类似于CLIP的条件接收机制接收大语言

文本指令生成逼真或富有想象力的场景视频，尤其包模型增强的用户指令和可能的视觉提示，以引导扩散

含多个角色在复杂背景前执行动作的详细视频。与以模型生成具有特定风格或主题的视频。

往的视频生成模型相比，Sora的显著特点是其能够生经过多次去噪步骤后，获得生成视频的潜在表

成长达1分钟的高质量视频，同时保持高质量品质和示，然后使用相应的解码器将其映射回像素空间。

Sora核心架构图

引人入胜的视觉连贯性。与只能生成短视频片段的早Sora的核心