人工智能通识教程 课件 第9章-多模态人工智能.pptxVIP

人工智能通识基础

第九章多模态人工智能

主讲教师：丁雪妍

目

录

第九章多模态人工智能

01多模态数据

02多模态表示学习

03多模态预训练模型

04多模态交互技术

05多模态人工智能的应用

2

0

多模态数据

1

[3]

1多模态数据

1多模态数据的类型

多模态数据（MultimodalData）是指来自不同模态的数据集合，这些模态可以包括文

本、图像、音频、视频、传感器数据等。

视觉

听觉

嗅觉

味觉

触觉

相机

↓

麦克风

其他传感器

深度传感器

人类通过多种感官感知世界

人工智能系统通过不同的传感器进行环境感知与决策

1多模态数据

1多模态数据的类型

文本模态

图像模态

音频模态

视频模态

其他模态

以自然语言文字

形式呈现的信息

模态，提供语义

背景与任务指令

支持文本生成、

问答推理与命令

执行等任务

以静态图像形式

呈现的信息模态，

提供丰富的视觉

内容，适用于图

像识别、内容生

成与场景理解等

任务

以声音信号形式

呈现的信息模态，

提供声学特征和

语音内容，支持

语音识别、情感

分析及语音生成

等任务

以动态影像和同

步音频组成的信

息模态，融合融

合图像与时序信

息，支持事件理

解、动作识别与

生成等任务

包括传感器、触

觉、生理与空间

等模态（如温度、

振动、脑电、轨

迹），拓展系统

对环境与用户状

态的多维感知

5

1多模态数据

1