Sora与未来叙事：AI如何颠覆内容创作.pdf

技术派TECHGEEK

Sora与未来叙事：AI如何颠覆内容创作

文_陈光

陈光

北京邮电大学人工智能学院副教授

2024年2月16日，OpenAI发布了其首个文生视模型，如扩散模型(DiffusionModel)，以及强大的时空

频模型Sora。这一突破性模型的发布在行业内引起变换架构，例如Transformer。Sora能惊艳亮相，其背

了轰动，重新定义了当前AI文生视频技术的极限，彻后得益于以下方面取得的技术突破：首先，Sora采用

底颠覆了生成式AI在视频领域的全球市场格局。了将视频和图像数据转换为统一表示形式的方法，使

Sora不仅仅是一个技术突破，更是对人类叙事方式的得模型能在大规模数据集上进行训练；其次，模型能

一次深刻挑战，预示着内容生产领域未来的无限可处理不同持续时间、分辨率和宽高比的视觉数据；再

能，也让我们对通用人工智能（AGI）的进步更加期待。次，Sora利用了扩散Transformer（DiffusionTrans-

在此之前，尽管AI在图像和音频生成方面取得了former）结构，成功将扩散模型与Transformer结合起

令人瞩目的成果，但高质量、长时间的视频生成仍是来，以有效处理视频数据；最后，Sora在语言理解方面

一个难以攀越的峰顶。Sora的出现，一次性将视频生也有所突破，通过DALL·E3中采用的视频再描述

成时长提升了15倍，达到60秒，远超行业水平。不但（re-captioning）技术获得大量配有描述文本的训练

如此，Sora还能生成复杂的多机位视频，场景连贯，角视频数据，进而提高了文本到视频生成系统的质量。

色丰满，细节精致，几乎可以与现实中的场景媲美，这这些技术能力的结合，使得Sora能根据文本提示生成

在以往的技术中是难以想象的。这种能力不仅极大高保真度的视频内容。

提高了视频内容的创作效率，也为内容创作者提供了除了在长度和质量上的量级飞跃，我们还可以从

前所未有的自由度。想象一下，只需输入一段描述，Sora生成的视频中，看到它对真实世界物理规律、运

Sora就能为你呈现出一个完整、生动的故事场景，这动规律的部分掌握和遵循，也就是所谓的“世界模型”

无疑将极大地激发创作者的想象力和创造力。能力。比如，Sora生成的视频中，走路的人会带起尘

土，画家的笔画会留在画布上，这表明Sora已经初步

还原世界并超出想象的模型具备通过学习对现实世界进行有限的模拟。它不再

用文字自动生成视频，其技术难点主要体现在如是简单地拼凑现成的视频数据，而是试图预测物体运

何处理并理解视觉信息的高维特性和动态变化。视动对环境的影响，这为构建能像人一样感知并交互的

频不仅包含了静态图像的空间信息，还包含时间序列通用智能奠定了基础。

上的动态信息，因此对计算资源和模型处理能力的要OpenAI在Sora官方技术报告中提出“用视频生

求极高。实现这一技术需要借助深度学习中的生成成模型作为世界模拟器”，其核心思想在于利用Sora

34传媒评论｜MediaReview

2024年第3期

TECHGEEK技术派

强大的视频生成能力，创造一个虚拟世界。这个世界增强学习的趣味性和有效性。学生们可以通过观看

可以高度还原甚至超越现实，为人工智能提供一个无由AI生成的教育视频，获得更加直观的学习体验，这

限宽广、可控制且安全的实验和学习空间。在这个模对于提高教学效果、激发学生兴趣将起到积极作用。

拟环境中，人工智能