从Sora看多模态大模型发展.pptx

1、OpenAl发布视频生成模型Sora,视频生成能力实现大幅提升：

●2024年2月16日，OpenAI发布视频生成模型Sora,能生成各种持续时间(甚至长达1分钟)、宽高比和分辨率的视频和图片。Sora模型基于

DiffusionTransformer技术，采用视频压缩网络(Videocompressionnetwork)、潜空间patch(Spacetimelatentpatches)、直接在原始大小训练

(Trainingondataatitsnativesize)以及重新标注技术(Re-captioningtechnique)技术，可以图像和视频作为输入，实现制作无缝循环视频、给

静态图片添加动画、扩展视频时间线、视频到视频编辑、视频拼接等功能；

2、国内外厂商相继发力布局多模态大模型领域，2024年文生视频有望进入商业化探索阶段：

●目前除OpenAI之外，谷歌、字节跳动等厂商均已推出具备文生视频能力的多模态模型。基于对StableVideoDiffusion、谷歌W.A.L.T以及其它文

生视频模型的分析，我们认为高质量数据以及底层通用大模型是文生视频能力的重要决定因素，随着Transformer架构的引入，以及3D建模领

域模型的迭代，2024年文生视频有望在时间长度、画面清晰度、内容逼真程度等方面实现显著迭代，打开商业化应用空间。

3、海外已有部分文生视频商业化案例，未来有望覆盖全球千亿级视频内容生成市场：

·Prescient&StrategicIntelligence数据显示，2025年全球数字视频内容市场规模有望达到3271.9亿美元，2021~2025年CAGR约为13.7%。目前海

外已有Synthesia、Runway等厂商在文生视频领域形成成熟商业方案，应用于企业产品介绍、操作指南、客户服务等场景。我们认为以Sora为代

表的多模态模型有望显著降低视频等数字内容的创作成本，市场空间广阔。

4、建议关注标的：

●(1)大模型厂商：科大讯飞、云从科技、微软、谷歌；(2)多模态应用厂商：万兴科技、虹软科技、焦点科技、Adobe;

风险提示

●1、AI技术迭代不及预期的风险；2、AI商业化产品发布不及预期；3、政策不确定性带来的风险；4、下游市场不确定性带来的风险；2

摘要

多模态Al综述

3

Al模型：必将从单模态走向多模态，实现复杂场景下的智能决

策

JinaAl光谱

多模态

Multimodal

神经搜索

Neuralsearch

数据：将多模态数据融合处理

模型：更多融合人类脑神经机制，提升性能

功能：实现智能决策、跨模态任务、运动控制、

智能预测反馈……

4

CORTICALLEARNINGENGINE:

·'SequenceMemories'formaself-earningsystem·Detectandpredictpattemsintheinputstreams·Basedon'HierarchicalTemporalMemorytheory

OUTPUTS:

1)Make

forecasts

2)Recognizeanomalies

3)Control

Actuators

INPUTS:

Anytypeof

spatial-temporaldatastream

Al实现

模态融合

来源：AWS,IBMResearch,浙商证券研究所

多模态Al

跨模态

2024年，有望出现多模态领域类ChatGPT的爆款应用

多模态助手：基于

LLM的工具链

(MultimodalAgents:

ChainingToolswithLLM)

多模态助理(MultimodalAgent)

VISPROG、Visual

MM-REACT

ChatGPT

联合视觉模型

(UnifiedVisionModels)

FromClosed-settoOpen-setModels、

FromTask-SpecifictoGenericModels、

FromStatictoPromptableModels

GLIP、Openseg、OpenSeeD、

Unified-I0、X-Decoder、

SAM、SEEM、SegGPT

基于LLM训练的

多模态大模型

(VisualGeneration)

图像到文字的生成模型、

InstructionTuninginLLM、

InstructionTu