基于常识库支持图像描述和检索系统.docVIP

基于常识库支持图像描述和检索系统 　　（天津大学 计算机科学与技术学院，天津 300072） 　　?? 　　摘 要： 　　分析了图像检索系统的研究现状，指出了出现语义鸿沟的原因在于系统中缺乏对于实体相互关系的描述，提出了一个四层的图像语义模型，并在此基础上给出了基于常识库和图像实体库的图像描述和检索模型。以图像的颜色、纹理、形状等特征来构造实体的描述信息，并以常识库信息来分析图像场景中的实体构成和关系，从而获得对图像语义信息的识别和理解。 　　?す丶?词：语义鸿沟； 图像检索系统； 常识库； 实体库 　　?ぶ型挤掷嗪牛?TP309 文献标志码：A 　　 文章编号：1001-?B3695(2009)02-?B0795-?B04 　　?? 　　Image annotation and retrieval system based on common sense lib 　　?? 　　YU Yong-xin, FENG Zhi-yong 　　??(School of Computer Science Technology, Tianjin University, Tianjin 300072, China) 　　?? 　　Abstract:This paper presented a review on image retrieval system, then pointed out the cause of semantic gap that lied in the absence of description of entity relationship. Introduced a four-layers image semantic model, then, image annotation and retrieval system based on common sense lib and image entity lib. Used the common sense information and entity information (color shape texture) to analyze the composing and relationship was put forth of entity in image, which would help us to obtain the recognizing and understanding of an image. 　　??Key words：semantic gap; image retrieval system; common sense lib; entity lib 　　?オ? 　　0 引言?? 　　随着互联网络的飞速发展和计算机硬件性能的提升，越来越多的多媒体信息呈现在人们的面前，图片、音频、视频等多媒体文件的数量呈几何级数增加。如何在众多的多媒体信息中找到自己需要的信息，即多媒体信息的检索，成为人们迫切需要解决的问题，国内外有越来越多的学者将注意力放在此类问题上。?? 　　多媒体信息的检索涉及到多媒体的管理、表述、理解直至最后检索的众多问题。研究方法经历了基于文本的检索，到基于多媒体低层特征的检索，直到现在基于多媒体语义的检索。基于多媒体低层特征的检索主要是利用颜色、纹理、形状等低层特征来进行检索。例如：Suryani等人在文献[1]中提出了SCH (spatial chromatic histogram)方法；Chao等人在文献[2]中提出了基于局部空间关系和颜色直方图的方法；George等人在文献[3]中提出了基于颜色矩的方法。这些方法都力图克服颜色直方图不能表达图像色彩空间信息的缺陷。纹理特征是检索中另外一个常用的特征，常见方法有：基于小波变换的方法[4,5]、基于Gabor滤波器的方法[6]、GMM方法[7](gaussian mixture model)、功率普直方图法[8]（power spectral histograms）、基于分行学的方法[9]、基于数学形态学的方法等。在诸多方法中以Gabor滤波器方法和小波变换方法最为常见，而Gabor滤波器方法检测效果最好。?? 　　形状特征也是人们研究的一个方向，可以分为基于轮廓特征和基于区域特征两类。Carlos等人在文献[10]中使用了曲率尺度空间（curvature scale space）和自组织映射（self-organizing map）来实现图像检索; Zhang Deng-sheng等人在文献[11]中提出了generic fourier descriptor方法来实现对图像的形状检索； Li Yu-peng[12]使用改进的GFD