多模态大模型概念与本地部署应用.pdfVIP

课程内容

1.模态与多模态的概念

2.多模态的典型任务

3.本地私有部署文生图模型

4.本地私有部署文生视频模型

模态

模态是指一些表达或感知事物的方式，每一种信息的来源或者形

式，都可以称为一种模态。例如，人有触觉，听觉，视觉，嗅觉；

信息的媒介，有语音、视频、文字等；多种多样的传感器，如雷

达、红外、加速度计等。以上的每一种都可以称为一种模态。

相较于图像、语音、文本等多媒体(Multi-media)数据划分形式，

“模态”是一个更为细粒度的概念，同一媒介下可存在不同的模态。

比如我们可以把两种不同的语言当做是两种模态，甚至在两种不

同情况下采集到的数据集，亦可认为是两种模态。

多模态

多模态即是从多个模态表达或感知事物。多模态可归类为同质性

的模态，例如从两台相机中分别拍摄的图片，异质性的模态，例

如图片与文本语言的关系。

多模态可能有以下三种形式：

-描述同一对象的多媒体数据。如互联网环境下描述某一特定对

象的视频、图片、语音、文本等信息。

多模态

“下雪”场景的多模态数据(图像、音频与文本)

“下雪”场景的多模态数据