基于内容多媒体检索技术综述.docVIP

基于内容多媒体检索技术综述 　　摘要 本文通过分析基于内容的多媒体信息检索技术的特点,阐述了基于内容的多媒体信息检索的图像检索技术、视频检索技术以及其发展趋势。 　　关键词 多媒体信息检索技术;图像检索;视频检索 　　中图分类号 TP37文献标识码A文章编号 1674-6708(2010)19-0077-02 　　 　　 1关于基于内容的多媒体信息检索技术 　　所谓基于内容的信息检索,是对文本、图像、音频、视频等媒体对象进行内容语义的分析和特征的提取,并基于这些特征进行相似性匹配的信息检索技术。它与传统数据库基于关键词的检索方式相比,具有如下特点: 　　1)突破了关键词检索基于文本特征的局限,直接从媒体内容中提取特征线索,使检索更加接近媒体对象。 　　2)提取特征的方法多种多样。 　　3)人机交互式检索。通过人机交互的方式来捕捉和建立多媒体信息低层特征和高层语义之间的关联,即所谓相关反馈技术。其目的是在检索过程中根据用户的查询要求返回一组检索结果,用户可以对检索结果进行评价和标记,然后反馈给系统,系统根据这些反馈信息进行学习,再返回新的查询结果,从而使检索结果更接近用户的要求。 　　4)相似性匹配检索。基于内容的检索是按照一定的匹配算法将需求特征与特征库中的特征元数据进行相似性匹配,满足一定相似性的一组初始结果按照相似度大小排列,提供给用户。这与关键词的精确匹配算法有明显不同。 　　5)逐步求精的检索过程。用户通过浏览初始结果,可以从中挑选相似结果,或者选择其中一个结果作为示例,进行特征的调整,并重新进行相似性匹配,经过多次循环后不断缩小查询范围,做到逐步求精,最终得到较为理想的查询结果。 　　2基于内容的图像检索 　　基于内容的图像检索技术是通过分析图像的内容,提取其颜色、形状、纹理等可视特征,建立特征索引,存储于特征库中;在检索时,用户只需把自己对图像的模糊印象描述出来,就可以通过多次的近似匹配,在大容量图像库中查询到所需图像。 　　2.1基于颜色特征的检索 　　基于颜色特征的检索算法中通常用颜色直方图来表示图像的颜色特征。直方图能较好地反映图像中各颜色的频率分布,横轴表示颜色等级,纵轴表示在一个颜色等级上,具有该颜色的像素在整幅图像中所占的比例。直方图可以对整幅图像进行最大匹配度检索; 　　2.2基于纹理特征的检索 　　纹理是基于内容图像检索的一条主要线索,它包含了关于图像表面的结构安排和周围环境的关系。在基于图像纹理特征的实际检索中,一般采用示例查询方式。用户给出一个所需图像的示例,系统会按照示例搜索与之相似的图像,用户在这些相似图像集合中确定检索目标。 　　2.3基于形状特征的检索 　　形状是描述图像内容的本质特征,在实际检索中,形状特征的表达和匹配经常采用最为简便的方法,即用形状参数,如矩、面积、周长等定量测度来描述图像形状并进行匹配;也可以分割图像,进行边缘提取,得到目标的轮廓线,针对轮廓线进行形状特征检索。 　　2.4基于知识的图像检索 　　基于知识的图像检索也是基于内容检索的重要方法之一。图像本身是一定数量的颜色像素点的集合,人类能够识别出像素点集合的含义是人类以自身的知识赋予图像意义的过程。基于知识的图像检索系统为用户提供知识库,针对一个图像需求,搜索引擎依次调入每一幅图像的内容描述,结合知识库中的相关知识,以图像需求为目标进行推理,如果需求目标得到满足,则确定这幅图像符合检索要求。 　　3基于内容的视频检索 　　基于内容的视频信息检索是当前多媒体数据库发展的一个重要研究领域,它通过对非结构化的视频数据进行结构化分析和处理,这里,视频分割、代表帧和动态特征提取是基于内容的视频检索的关键技术。 　　3.1基于代表帧的检索 　　代表帧是用于描述一个镜头的关键图像,它反映镜头的主要内容。代表帧的选取方法很多,比较经典的是帧平均法和直方图平均法,其特征的提取与一般静态图像一样,包括颜色特征、纹理特征和轮廓特征等。 　　3.2基于动态特征的检索 　　基于动态特征来搜索镜头是视频检索的进一步要求。检索时可以利用运动方向和幅度特征来检索运动的主体目标,还可以将动态特征与代表帧特征结合起来,检索出动态特征相似但静态特征不同的镜头。 　　3.3视频浏览 　　视频浏览是视频数据库的重要组成部分,当用户对所要检索的目标不十分明确时,往往需要对视频数据进行快速浏览以便寻找感兴趣的内容,目的是排除次要内容,以较少的图像尽可能全面地表达出所需视频数据的主要内容特征。 　　4基于内容的多媒体检索技术的发展趋势 　　随着多媒体内容的增多和存储技术的提高,目前的技术开发还远远不够,有待于进行更深层次的研究和探索。基于内容的多媒体检索技术的发展趋势主要集中在以下几方面: 　　1