多模态AI行业深度：市场现状、产业前景、产业框架及相关公司深度梳理.pdfVIP

行业|深度|研究报告

2024年3月1日

多模态AI行业深度：市场现状、产业前景、

行产业框架及相关公司深度梳理

业

研

究当前，多模态AI大模型有望掀起新一轮产业革命。追踪当前行业发展，大模型多模态发展进一步深化，

报有望成为AI大模型主流。继之前文生图能力快速嵌入各个大模型之后，文生视频为大模型多模态应用

的下一重要方向。近期多家厂商相继发布相关产品或更新，大幅提升文生视频效果，实现更高清晰度、

告更高流畅度、视频任意修改等功能。

可以说，多模态是实现通用人工智能的必经之路，必将成为大模型发展的前沿方向。以下我们就以多模

态AI为视角，深度追踪这一市场热点。从相关概念、市场现状出发，对市场研究方向、技术能力进行

梳理。同时，将对多模态AI的产业框架、市场应用、相关企业进行分析，并对多模态AI发展下的市场

机遇、产业前景进行分析，希望对大家了解当下行业现状及发展趋势有所启发。

目录

一、多模态AI综述1

二、市场现状5

三、研究方向12

四、技术能力15

五、产业框架20

六、市场应用21

七、市场机遇24

八、相关公司26

九、产业前景31

十、参考研报32

慧一、多模态AI综述

博1、AI模型：必将从单模态走向多模态，实现复杂场景下的智能决策

智

能

投

研

1/32

行业|深度|研究报告

2024年3月1日

2、多模态或成为AI大模型主流

多模态模型是指将不同类型的数据（例如图像、文字、视频、语音等）结合起来进行分析处理的模型。

其通过不同数据类型的相互关联和结合，可以大幅提高模型的准确性和鲁棒性，应用场景进一步拓展。

其次，多模态更接近人类学习的模式，在物理世界中，人类认知一个事物并不是通过单一模态，例如认

知一只宠物，可以从视觉（宠物形貌）、听觉（宠物叫声）、嗅觉（宠物体味）、触觉（宠物毛发、宠

物体温等）等多模态全面立体认知，是未来人工智能的发展方向。

多模态向通用人工智能（AGI）迈前一步。多模态大模型同时处理文本、图片、音频以及视频等多类信

息，与现实世界融合度高，有望成为人类智能助手，推动AI迈向AGI：多模态更符合人类接收、处理

和表达信息的方式。人类能够感知多元信息，每一类信息均为一种模态，这些信息往往是相互关联的。

多模态信息使得大模型更为智能。多模态与用户交互方式更便捷，得益于多模态输入的支持，用户可以

以更灵活的方式与智能助手进行交互和交流。多模态提升任务解决能力。

目前，多模态大模型已成为大模型发展前沿方向。2022年及之前，大模型处于单模态预训练大模型阶

段，主要探索文本模式的输入输出。2017年，Transformer模型提出，奠定了当前大模型的主流算法结

构；2018年，基于Transformer架构训练的BERT模型问世，参数规模首次突破3亿；随后GPT系列

模型推出，2022年底至今ChatGPT引爆全球大模型创新热潮。步入2023年，大模型发展从文本、图

像等单模态任务逐渐发展为支持多模态的多任务，更为符合人类感知世界的方式。大模型公司的比拼重

点转移为多模态信息整合和数据挖掘，精细化捕捉不同模态信息的关联。例如，20