基于情感语义的图像特征提取、检索与分类研究-通信与信息系统专业论文.docx

摘要摘要 摘要 摘要 人对图像的感知和理解是在语义层次上的，且具有主观性。已有研究显示， 不同的图像可以唤起人类不同的情感。图像情感语义研究的目的是希望计算机能 够描述和表达人观察图像所引起的情感反应，使用带有主观感情色彩的语义表述 和索引图像，其结果可用于图像的情感评估、图像检索、美术和广告设计等方面。 该研究涉及到认知科学、心理学、生理学、图像处理、模式识别与人工智能等众 多学科领域，是一个崭新的且有很大挑战性的前沿课题。 本文针对图像的情感语义问题，分三个部分进行了研究和探索： 第一部分中，针对图像视觉特征、中间层语义和高层情感语义之间的语义鸿 沟，提出了图像情感类查询的三层框架。以图像色彩为代表，实现了高层情感语 义类的检索。主要工作包括： 1．提出了基于色彩一致性的彩色图像分割方法。通过去除干扰性的图像边缘， 在L·a．b·色彩空间，采用引入色差判断的改进K均值聚类算法进行图像色彩分 割，分割方法简单有效。 2．设计了一种图像语义的描述方法。以图像色彩为代表，根据人类色彩感知 的心理模型，通过非监督模糊聚类的方法分别计算出亮度、饱和度和色彩对比度 的语义模糊隶属函数，并根据已有的色彩研究的成果构造了色调语义的模糊隶属 函数，根据这些语义隶属函数，使用符合人类感知和描述习惯的自然语言来描述 图像，填补了图像特征到图像语义之间的语义鸿沟。 3．通过定义查询语言，实现了情感语义类的查询。由查询语言，可以将中间 层图像语义进行有效的组织，并融入已有的图像色彩情感效应的知识和经验，以 描述高层次的情感语义，实现了简单情感语义类的查询。该图像情感语义描述框 架支持对其它图像特征的进一步扩展。 第二部分中，在图像情感主观调查和统计分析的基础上，通过机器学习建立 起图像视觉特征到图像情感的映射，构造了图像情感检索系统，可以实现以情感 相似性为度量的图像样图检索，和基于情感形容词的图像语义检索。 1．进行了深入的图像情感主观调查，在调查结果的统计学分析的基础上，用 情感形容词描述和量化图像情感语义，并构建图像情感因子空问。在实验心理学 方法的指导下，采用语义差异法，在广泛收集测试图像和情感语义词汇后，精心 设计图像情感主观调查问卷，完成图像情感主观评估，实现了图像情感语义的描 述和量化；使用统计学方法对调查结果进行详细分析，总结得到较为稳定且具有 较强共性的13对情感语义，对它们进行因子分析，消除情感形容词之间的相关性 华南理工大学博士学位论文和冗余，构建出3维的图像情感因子空间。 华南理工大学博士学位论文 和冗余，构建出3维的图像情感因子空间。 2．眺情感分析为目的，构造图像视觉特征，通过机器学习实现了图像情感因 子值自动估计。详细分析三个图像情感因子与图像特征之间的联系，针对每个情 感因子，分别设计了三种图像视觉特征(亮度一冷暖模糊直方图、饱和度一冷暖 模糊直方图+色彩对比度值的综合特征、亮度对比度+边缘锐度综合特征)，采用 支持向量回归机(sVR)训练的方法，对每个因子值进行估计，完成了图像情感 因子空间自动估算，估算结果与主观评估结果之间保持了较大的相关性。 3．构造了图像情感检索系统，可以实现以情感相似性为度量的图像样图检索， 和基于情感形容词的图像语义检索。通过定义情感因子空间上的相似性度量，系 统根据用户提供的样图，在图像库中按照情感相似性进行检索，输出与样图情感 感觉上一致的图像；在情感医子值的基础上，通过因子载荷矩阵，完成图像情感 形容词的自动估算，实现基于情感形容词的图像检索，系统根据用户提交的情感 形容词，按情感形容诃值进行排序，输出符合该种情感的图像；以上检索均取得 了令用户满意的结果。 第三部分，以“静感一动感”为代表，实现了图像情感语义的分类。深入研 究图像线条与图像情感之间的联系，我们定义了基于小波交换边缘的带权线条方 向长度向量(weighted line direction—length vector 1vLDLV)作为图像特征， 该特征能同时描述图像中线条的方向和长度信息，具有较好的分类特性；在此基 础上，使用支持向量机(sVM)实现对图像的“动感一静感”分类，取得了较好的 分类效果。 关键词图像情感语义；基于情感的图像检索；图像情感评估；图像情感分类； 支持向量机；图像色彩语义描述；特征提取 Ⅱ ABSTRACTABSTRACT ABSTRACT ABSTRACT Human perception and understanding of images are subjectiVe and performed mainly on semantic level． Existing studies haVe suggested that diffbrent images induce differen