基于图注意力网络的多标签图像分类研究及其在复合表情识别上的应用.pdf

摘要

多标签图像分类的研究目标是准确预测出给定样本中存在的多个目标对象，

广泛应用于图像检索、自动注释和智能监控等实际场景。由于多标签图像的复

杂性，目前多标签图像分类的研究存在两个关键的问题需要解决：一、如何挖

掘类别之间的依赖关系。二、多标签图像中的对象大小尺度不同，特征提取过

程中小目标的特征信息易丢失，导致小目标分类准确率低的问题。于是，针对

上述两个问题，本文提出了一种新的多标签图像分类模型。

同时，由于复合表情识别本质上也属于多标签图像分类问题，本文对提出

的多标签图像分类模型进行一定的修改，将其应用于复合表情识别中。接下来

将对本文的主要工作内容进行概括：

（1）为了更好地挖掘类别之间的依赖关系，本文提出了一个多头图注意力

模块。具体而言，首先构建一个初始标签图，图的节点表示各个类别标签的特

征向量，图节点之间的边表示类别标签之间的相关性，然后通过图注意力网络

的自注意力机制学习图节点之间的相关性，并进行特征交互，最终得到包含标

签相关性的判别特征用于最终的分类，从而提升模型的分类准确率。

（2）为了提高多标签图像中小目标的分类准确率，本文提出了一个多尺度

语义注意力模块。该模块通过使用多个不同卷积层输出的特征图进行特征融合，

用于增强小目标的特征信息，从而提升小目标的分类准确率。同时使用标签词

嵌入向量指导学习在特征图中与各个类别相关的特征信息，得到特定于类别的

特征向量，并将其作为多头图注意力模块的输入。

（3）在复合表情识别任务中，一个复合表情标签通常是由多个基本表情标

签组成，如“惊恐”是由“惊讶”和“恐惧”这两个基本表情标签组成的，这

正符合多标签图像的定义。基于以上分析，本文将复合表情数据集转换成多标

签数据集，然后利用所提出的多标签图像分类模型来解决复合表情识别问题。

（4）本文在MSCOCO和VOC2007这两个多标签图像数据集和JAFFE表

情数据集上进行了实验，验证了模型的有效性。在MSCOCO和VOC2007数据

集上的实验结果表明，本文提出的模型相比相同环境下的ML-GCN模型在mAP

指标上分别取得了2.7%和1.6%的提升，并且在JAFFE表数据集上的mAP指标

相比DBM-DACNN模型也有5.1%的提升。

关键词：多标签图像分类；标签相关性；图注意力网络；复合表情识别

I

Abstract

Theresearchgoalofmulti-labelimageclassificationistoaccuratelypredict

multipletargetobjectsinagivensample,whichiswidelyusedinpracticalscenarios

suchasimageretrieval,automaticannotation,andintelligentmonitoring.Duetothe

complexityofmulti-labelimages,therearetwokeyproblemstobesolvedinthecurrent

researchonmulti-labelimageclassification:First,howtominethedependencies

betweencategories.Second,thesizeandscaleofobjectsinmulti-labelimagesare

different,andthefeatureinformationofsmallobjectsiseasytoloseduringthefeature

extractionprocess,resultingintheproblemoflowclassificationaccuracyofsmall

objects.Therefore,inres