基于CNN的图像情感分析研究.pdfVIP

摘要

图像情感分析就是利用计算机和相关算法，计算出图像中包含的情感语义。目前，基于

深度神经网络（DNN）的图像情感分析已成为情感计算领域的研究热点。本文利用卷积神经

网络（CNN），从图像情感分析模型的构建、图像的层次化特征提取、影响情感的重要特征的

挖掘、以及缓解现有情感图像数据集中各类样本不平衡问题等角度，对基于卷积神经网络

（CNN）的图像情感分析开展深入的研究。本文主要工作和研究成果如下：

1．针对目前情感图像数据集中存在的样本不平衡问题以及交叉熵损失函数对困难样本关

注度低等问题，充分利用Focal损失函数具有缓解样本不平衡问题和挖掘困难样本的特性，

将Focal损失函数应用到基于CNN的图像情感分析模型中。为了使Focal损失函数适用于多

类别情感分类问题，提升模型挖掘训练数据中困难样本的能力，对Focal损失函数中的参数

设置进行了改进。通过类别权重大小来确定平衡参数α，在神经网络模型训练的不同阶段，

采用渐增方式对聚焦因子γ进行调节，并将改进的Focal损失函数应用于图像情感分析模型

的神经网络训练中。仿真实验结果表明，改进的Focal损失函数能够有效提升神经网络对图

像情感分析的性能，其准确率、宏召回率、宏精准率分别提升了0.5%-2.3%、0.4%-3.9%、

0.5%-3.3%。

2．针对图像中不同抽象层次的特征对于情感的影响程度不同，提出了一个基于注意力机

制的CNN-RNN的情感分析模型。模型首先利用卷积神经网络（CNN）提取层次化的图像特

征，然后根据不同抽象层次的图像特征对情感分析的影响，结合注意力机制和双向循环神经

网络（RNN），有效融合这些层次化的图像特征，提升情感分析效果。同时，针对情感训练图

像数据集中的各类数据不平衡问题，还将Focal损失函数引入到情感分析模型中，以提升情

感分析模型的性能。仿真实验结果表明，该情感分析模型较好地将不同图像特征进行了有效

融合，与相关情感分析模型对比，本模型的分类准确率提高了2.9%-17.5%，相比于交叉熵损

失函数，改进的Focal损失函数能够将模型的准确率提升1.2%~1.4%。

关键词图像情感分析，情感语义，卷积神经网络，样本不平衡，Focal损失，层次化特征，

特征融合

ABSTRACT

Theimageemotionanalysismakesuseofthecomputerwiththealgorithmtocomputethe

emotionsemanticscontainedintheimage.Nowadays,imageemotionanalysisresearchbasedon

DeepNeuralNetworks(DNN)isoneofhotspotsinthefieldofemotioncomputing.Thisthesis

delveintotheresearchonimageemotionanalysisbasedonConvolutionalNeuralNetworks（CNN）,

intheaspectsofimageemotionanalysismodelconstruction,hierarchicalimagefeatureextraction,

significantemotionfeaturemininganddataimbalanceprobleminexistingimageemotiondataset.

Themainworkandresearchresultsofthisthesisareasfollows：

1.Aimingatdataimbalanceproblemintheimageemotiondatasetandinsufficientattention

paidtothehardsamplesbycrossentropylossfunction,theFocallossfunction,