一种基于感兴趣区域图像情感特征提取方法.docVIP

一种基于感兴趣区域的图像情感特征提取方法 　　摘要：为了获得图像的情感语义信息，提出了一种基于感兴趣区域的图像情感特征提取方法。首先通过眼动仪得到感兴趣区域，然后划分每一幅图像为感兴趣区域和非感兴趣区域；其次，使用了层次分析法来评价感兴趣区域和非感兴趣区域对图像情感的权重值，然后使用灰度共生矩阵及基于感兴趣区域的主颜色提取算法，分别计算求取了感兴趣区域和非感兴趣区域的纹理和主颜色特征，并进而求得了图像情感的整体特征。 　　关键词：图像情感；感兴趣区域；特征提取；眼动仪 　　中图分类号：TP391 文献标识码：A 文章编号：1009-3044（2018）15-0174-02 　　A Feature Extraction Method of Image Emotion Based on the Regions of Interest 　　LIU Shu-ze1， ZHANG Wei2 　　（1.Rensselaer Polytechnic Institute， Troy 12180， USA；2.Shanxi Medical College for Continuing Education， Taiyuan 030012， China） 　　Abstract： In order to get the affective semantic information of the image， a feature extraction method of image emotion based on the Regions of Interest（ROI） was proposed in the paper. Firstly， ROI was obtained by the eye tracker. Secondly， Analytic Hierarchy Process（AHP） was used to evaluate the weight of ROI and non-ROI for the image emotion. Next， Gray level co-occurrence matrix and the extraction algorithm of domain color were utilized to compute and get the feature of texture and domain color of ROI and non-ROI respectively， and then the whole feature of image emotion was obtained. 　　Key words： image emotion； regions of interest； feature extraction；eye tracker 　　1 引言 　　?S着互联网应用的发展，人们对图像检索的需求越来越强烈。人们从事图像检索研究的目的，是为了更好地满足为用户查找和访问图像资源的需要。但用户不仅需要图像内容，而且也需要主观性的图像情感体验。为了获得图像所蕴含的情感语义，目前的研究重点是缩小情感鸿沟，即改进特征与情感类别之间的映射关系。 　　选取的图像特征会影响图像视觉特征和情感语义的映射关系，特征提取是图像视觉特征和情感语义映射中的一个关键步骤。感兴趣区域是图像情感研究的一个热点问题，它能吸引用户的注意力，并且能有效地表达整个图像的情感[1]，因此可以认为场景图像中的重点区域常常对应于某个感兴趣区域。 　　本研究使用Tobii眼动仪来得到感兴趣区域，该眼动仪能显示眼睛运动的轨迹。可以定义眼睛停留较长时间的区域为感兴趣区域，然后可得到852个图像的感兴趣区域，这些图像是由Tobii眼动仪检测出100 个人分别对这852 幅图片的眼动轨迹，每幅图片中眼动轨迹密集的地方就是感兴趣区域。 　　因为感兴趣区域可以有效地表示图像的主要情感，可以使用层次分析法来度量感兴趣区域和非感兴趣区域的特征向量的权值，然后分别提取感兴趣区域和非感兴趣区域的纹理特征及主颜色特征，并进而求得了图像情感的整体特征。 　　2 使用层次分析法分配权值 　　人们在看图像时，会关注图像的感兴趣区域，感兴趣区域的位置、大小、颜色等特征不同，对图像情感语义的贡献也不同，因此应针对图像不同区域的特征，设置不同的权重。在提取图像特征时，应考虑权重的影响，影响感兴趣区域权重值的因素如图1所示。 　　设置图像各个区域权重值的方法如下： 　　（1）层次分析法分层结构如图1所示，其中目标层是感兴趣区域对图像情感的权重，准则层有两层，是和感兴趣区域的权重相关的一些图像视觉特征，方案层是图像的感兴趣区域和非感兴趣区域。 　　（