基于色彩描述的图像情感语义查询水.pdfVIP

维普资讯 华 南 理工 大 学学 报 (自然科 学版 ) 第36卷 第 1期 JournalofSouthChinaUniversityofTechnology VO1．36 No．1 2008年 1月 (NautralScienceEdition) January 2008 文章编号：1000．565X(2008)01—0060—07 基于色彩描述的图像情感语义查询水 王伟凝 贺前华 (华南理工大学 电子与信息学院，广东 广州 510640) 摘 要：针对图像视觉特征、中间层语义和高层情感语义之间的语义鸿沟，以色彩为代 表，提出了图像情感语义查询的框架．在该框架下，利用图像色彩分割结果，通过定义描述 色彩语义的自然语言词；r-，设计了基于模糊隶属函数的图像色彩语义描述方法，并在此基 础上定义了一种查询语言，将人类对 图像 内容理解的经验与图像色彩语义描述联系起来， 实现了图像高层情感语义的查询．实验结果表明，该方法为图像语义研究提供了一种可行 的、有效的、可扩展的解决方案． 关键词：图像检索；图像情感查询；语义；色彩描述；模糊隶属函数 中图分类号：TP391．4 文献标识码：A 人对图像的感知和理解是在语义层次上的，且 并选择与图像情感密切联系的特征，导致模型复杂， 具有主观性．依据语义的复杂性，一般将图像语义分 效率不高；(2)在机器学习完成后，如果出现新的情感 为：低层特征层、对象语义层或语义模板层和抽象语 词汇(词汇列表以外的词语)，则系统难以支持扩展． 义层 1-2]．情感语义作为最高层次的图像语义，是一 针对图像低层特征、中间层语义和高层情感语 个新兴的研究领域．已有研究显示，不同的图像可以 义之间的语义鸿沟，文中提出了图像情感语义查询 唤起人类不同的情感．图像情感语义研究的目的是 的三层框架，利用已有知识和经验弥补语义鸿沟， 希望计算机能够描述和表达人观察图像所引起的情 并以图像色彩为代表，实现了图像高层情感语义 感反应，使用带有主观感情色彩的语义表述和索引 的检索． 图像，其结果可用于图像的情感评估、图像检索、美 1 图像情感语义查询框架 术和广告设计等方面．该研究涉及到认知科学、心理 学、生理学、图像处理、模式识别与人工智能等众多 色彩是图像处理、分析和检索中的主要视觉线 学科领域，是一个崭新的且有很大挑战性的前沿 索，并具有唤起情感的力量．基于图像色彩与图像情 课题 ． 感语义之间的密切联系，文中从图像色彩描述人手， 由于图像特征与用户理解和描述之间缺乏联 借鉴语义的层次描述，在图像色彩分割的基础上，定 系，图像低层特征与图像中间层语义描述之间存在 义了色彩语义描述词汇及其隶属函数，得到中间层 语义鸿沟(SemanticGap)，同时，图像中间层语义描 语义(图像的色彩语义描述，包括全局和局部色彩 述与图像高层情感语义查询之间也存在间隔．如何 描述)，在此基础上通过定义查询语言，将中间层图 弥补这些鸿沟和间隔，是提取图像情感语义的重点 像语义进行有效的组织，同时融人已有的图像色彩 和难点．以往文献尝试使用神经网络 J、交互式遗 情感效应的知识和经验，映射到高层情感语义，支持 传算法 等机器学习方法来弥补语义鸿沟，但