2025年课件-人工智能导论（第2版）ppt课件_7深度学习b图像描述应用-新版.pdfVIP

深度学习图像描述应用

birdzebra、zebra、giraffeaplaneflyinginthebluesky

(b)目标检测。(c)图像描述。

(a)图像分类。

如何让计算机能够理解图像一直都是计算视觉研究的一个热点，随着深度学习的快速发

展，很多图像理解任务的效果得到了明显的提升，常见任务有图像分类和目标检测等。

图像分类算法解决了“图像中包含什么类别物体?”,。目标检测算法解决了“图像中有

什么类别物体、在哪(位置信息)?”

从图像分类到目标检测，虽然能够告诉我们的图像中的信息越来越多，但远没有达到人

类理解图像的水平。

图像描述不仅能够识别图像中的物体类别，理解物体之间的关系，并且能够让计算机

“生成”自然语言来流畅、准确地描述图像中的主要内容，包括图像中主要的场景，场景中

的对象、对象的状态以及对象之间的关系，是计算机视觉与自然语言处理交叉的研究课题。

1图像描述方法

内容提要2编码-解码图像描述

3注意力机制图像描述方法

4图像描述示例

5图像描述应用前景

图像描述方法

图像描述生成所采用的方法从最开始的基于模板的方法，

到基于多模态空间的检索方法，再到深度学习技术发展起来后，

基于编码-解码框架的深度学习方法。

模板方法

是早期研究图像描述的主要方法，首先生成语句模板，

使用计算机视觉技术检测出图像中主要场景、对象及其属性

和行为信息等关键图像局部特征信息；然后利用这些检测到

的信息通过特定的模板、语言模型或句法模型生成对应的描

述。对图像属性检测结果的优劣会对图像理解的效果产生影

响，而且该方法生成的描述语句，其语义和结构一般比较简

单，跟人工标注的句子相比具有较大差异。

4

图像描述方法

检索的方法

将图像描述问题转化成图像检索的问题，提取图像的特征信息，通过相似度量算

法来比较图像之间的相似度，在已有描述的图像数据集中来确定相似的图像，并利用

数据集中相似图像的描述经过合理地组织生成对应图像的描述。

基于检索的方法将图像描述任务看作是一种检索任务，其性能依赖于标注好的图

像数据集的大小和检索算法的准确程度，当数据集足够大且与要描述图像相似度较高

时，该方法生成的描述能够包含图像中的主要信息，且结构灵活，表达自然，但该方

法过于依赖图像描述数据集，生成的图像描述局限于数据集中的描述。

编码-解码结构方法

基于编码-解码结构的图像描述模型由编码器和解码器组成，一般使用卷积神经

网络作为编码器来提取图像特征向量，使用循环神经网络作为解码器根据提取到的图

像特征向量来生成图像对应的描述文本。

先使用深度卷积神经网络处理图像转化成特征向量，然后利用循环神经网络沿着

时间步重复级联展开，不断根据之前生成的单词和图像的特征向量生成下一个单词，

直至生成完整的描述。

5

图像描述方法

如何让解码器更充分有效地利用提取的图像特征一直是基于编码-解码结构

研究的重要方向。当人在看物体时，人的注意力会集中在感兴趣的物体上，而不

是平均地分散在视野中。受此启发，研究人员将视觉注意力机制引入到编码-解码

模型中，让模型在生成不同的单词时关注图像中对应区域特征