一种新颖低层视觉特征到高层语义映射方法.docVIP

一种新颖的低层视觉特征到高层语义的映射方法 　　摘 要：通过在低层视觉特征上提取图像的局部颜色和纹理特征，再利用模糊神经网络建立低层视觉特征和高层语义特征之间的映射，实现了图像属性信息的有效传递和可靠检索。最后，为了提高检索效率，把相关反馈引进到图像检索系统中。实验证明，该方法取得了较好的检索查全率和准确率。 　　关键词：语义图像检索;局部颜色和纹理特征;模糊神经网络；相关反馈 　　中图分类号：TP391文献标志码：A 　　文章编号：1001-3695(2007)06-0173-03 　　如何跨越低层视觉特征和高层语义特征的鸿沟是语义图像检索中一个难点。许多学者为此做了不少的研究和贡献［1－15］。其中Chang等人［7］提出语义模板的概念用于建立低层视觉特征与高层语义之间的联系。Zhao等人［8］提出LSI(Latent Semantics Indexing)用于建立低层视觉特征与高层语义之间的联系。鲍永生等人［13］提出语义网络用于建立低层视觉特征与高层语义之间的联系。孙志杰等人［15］提出支持向量机（Support Vector Machine）用于建立低层视觉特征与高层语义之间的联系。该方法把一幅图像归于一类语义图像。但当一幅图像归类不是很明显，如一幅包括山、水、蓝天的图像分别以某种隶属度归入几类语义图像。为解决这一问题，文中引入模糊神经网络用于建立低层视觉特征与高层语义之间的联系。?? 　　 　　1 相关知识?? 　　1965年，Zadeh提出了著名的模糊集理论［16］。它是对传统集合理论的推广。在模糊集中，每一个元素均是以一定的程度属于某个集合，也可以同时以不同的程度属于几个集合。将模糊理论与人工神经网络相结合就产生了模糊神经网络。?? 　　神经网络的模型由网络拓扑结构、神经元特性函数和学习规则三要素组成。而模糊理论中一个最重要最基本的概念是隶属度。隶属度可以将人脑中的模糊概念比较合理地量化给计算机，架起了人脑与计算机的桥梁。1974年，S.C.Lee和E.T.Lee在Cybernetics杂志上发表了“Fuzzy sets and neural networks”一文，首次把模糊集与神经网络联系在一起； 1992年开始，J．J．Backley发表了多篇关于模糊神经网络的文章，反映了人们近年来的兴趣点。模糊神经网络摈弃传统神经网络0、1二值逻辑，代之以隶属度，可以实现从一个模糊集合到另一个模糊集合的映射［17］。根据确定集可以看做模糊集的特例，文中利用模糊神经网络建立低层视觉特征与高层语义之间的联系，把一幅图像以某种隶属度归于一类或几类语义图像。?? 　　 　　2 底层视觉特征到高层语义的映射?? 　　2.1 图像底层特征的提取?? 　　图像底层特征的提取是图像检索的主要问题之一，而语义检索是基于人感知的，带有人的主观性，所以选取的图像特征本身要具有较为直观的视觉意义，即较强的视觉表达能力。文中采用提取图像局部特征，将一幅图像分成五个区域，在五个区域上分别提取颜色和纹理特征。?? 　　2.1.1 颜色特征的提取?? 　　颜色是彩色图像最显著的特征，相对于其他特征颜色特征具有相当的稳定性，对于旋转、平移、尺度变化均不敏感，表现出很强的鲁棒性。在图像分析和识别领域应用最多的是HSV和HIS颜色空间，因为该空间使用颜色的三个特性(色调、饱和度和亮度)作为定义颜色的组成部分，接近于人类解释和观察颜色的方法。因此首先需要将RGB颜色空间转换到HSV颜色空间，然后再分别计算H、S、V颜色直方图。 　　2.1.2 纹理特征的提取?? 　　图像纹理反映的是图像的一种局部结构化特征，具体表现为图像像素点某邻域内像素点灰度级或者颜色的某种变化。本文使用Gabor小波变换［3］提取纹理特征。一个2D的Gabor函数可定义为 　　2.2 底层视觉特征到高层语义的映射?? 　　文中将图像分成五个区域，每个区域将提取到RGB和HSV模型下的三阶颜色矩特征向量和纹理特征向量。再采用模糊隶属度函数对特征向量进行模糊化形成模糊神经网络的输入特征向量。本文采用的模糊神经网络模型结构如图1所示。 　　模糊神经网络的学习算法采用改进的BP学习算法――加入动量项，详细内容见文献[19]。文中为了提高检索效率，把相关反馈［3］引进到图像检索系统中。相关反馈的主要特点是由用户来引导搜索，因而反馈的结果会朝有利于用户要求的方向发展。大部分相关反馈的研究集中在两个方向上，即移动查询点和再加权/调整权重。前者改进对理想查询点的估计，具体是将该查询点移向好的范例点而远离坏的范例点。实现这种调整的一个典型迭代公式为 　　 　　3 实验分析?? 　　文中采用的图像库大约为800幅图像，分成日落、青山、绿水、树木、花卉等六类语