基于内容的图像检索系统的设计与实现.docVIP

基于内容的图像检索系统的设计与实现 摘　要 通常的，图像检索可以分为两大类：基于文本的图像检索和基于内容的图像检索。本文的主要内容是设计并实现了一个基于内容的图像检索系统。 现在主流的图像检索技术主要是对图像提取局部特征，并利用特征袋模型对特征进行处理，以获得检索精度和检索性能之间的平衡。一个检索系统的运作主要包括数据集预处理和正式的检索过程。其中预处理过程包含：图像特征提取、视觉词典构建以及图像特征编码。检索过程会对待检索的图像进行类似处理，同时还有对特征的相似度比对，之后返回结果。 本文基于前人的研究成果，做出的主要工作如下： 1. 搭建一个基于flask框架的在线检索系统。 2. 图像数据集处理阶段，对每幅图像提取RootSIFT特征，并对特征进行k-means聚类，用来构建特征袋模型。 3. 利用ukbench数据集，比较了基础特征袋模型，汉明嵌入，弱几何一致性校验，空间几何重排等的检索效果，并对效果进行mAP评价。 关键词：图像检索;特征袋模型;汉明嵌入;弱几何一致性;几何重排 前　言 随着诸如智能手机、数码相机、平板电脑等电子设备的普及，人们可以用越来越容易的方式创作以及获取图片。同时，社交网站的兴起，如国外的Instagram、Facebook和国内的QQ等，直接催生了人们分享照片的兴趣。这些原因无疑导致了图像数据库的规模迅猛增长，例如，flickr作为一个照片分享网站，单是2017年就有用户上传了高达6亿张图片，中国最大的电商网站淘宝同样保存着数十亿计的用户图片。海量的图像规模不仅在存储方面增加了难度，同时在应用方面，也对能够让用户精准、快速的查找感兴趣的图片提出了挑战。因此，针对大规模图像数据库的信息检索，成为了当前数字图像处理技术方向的研究热点。 到目前为止，大规模图像检索的主流是基于内容的图像检索技术，主要方式是类似于文本处理方面的词袋模型，本文下面即对此展开介绍，并解释其他的扩展方法。 本文下面的组织如下：第1章介绍基于内容的图像检索技术的基本内涵，并介绍图像检索的评价指标，第2章介绍了利用提取图像局部特征的基本BoF模型检索方法，以及相应的索引、相似度计算方式，第3章介绍了对聚类的改进，即汉明嵌入，第4章介绍了基于几何信息的重排，第5章则展示了实验效果，对所采用的方法进行相应的实验，并利用评价指标进行效果评价。 第1章 绪论 本章介绍了传统图像检索方法的缺陷，并展示了基于内容的图像检索技术的要点。本章还展示了检索系统的基本工作流程，以及对检索结果的评价方法。 1.1 基于内容的图像检索 传统的图像检索方法主要是基于关键字的图像检索方法，这种方法主要是通过人工对要处理的图像进行关键字标注，让每幅图像添加对应的关键字，检索时就将对图像内容的检索转化成了对关键字文本的检索，无疑要容易许多。 这种方法有时候效果可能会很好，它也曾被百度等搜索引擎采用过，但是它有一些显著的缺点。首先人工标注耗时耗力，今天的大规模图像数据库显然是无法应用的，其次，所谓一图胜千言，一幅图像的内涵有很多，往往无法用几个关键字描述完全，并且每个人对图像内容的理解也不一样，因此检索时会导致误差。这些缺点导致上述技术无法更广泛的应用。而现在的商用的图像检索系统使用的技术主要是基于内容的图像检索(Content Based Image Retrieval, CBIR)[1 基于内容的图像检索技术基本不需要人工干预，并且是对图像内容本身的理解。一个基本的在线CBIR系统检索流程如图 11所示[2]： 首先选取初始的图像数据集，需要对它进行特征提取，本文这里选取了ukbench，共10200幅图片，每四幅一组，每组都是类似物体在不同角度和尺度的图像。下文的内容都是基于这一数据集的5000幅图子集来做效果评估。 接着是对选取好的数据集进行图像特征提取。图像特征有很多种，常见的包括颜色特征，纹理特征，形状特征等等，称为底层特征，以前的CBIR系统主要基于此实现，综述性文献[3]对此有叙述。这些底层特征都比较易受环境影响，像是光照、尺度、视角，以及一些背景方面的变化都会对检索结果造成较大的影响，所以图像检索时会选择局部特征，这种特征的抗干扰性比较好。Lowe提出的SIFT特征[4]就是这样一种在实践中被证明效果较好的局部特征，它具有很好的尺度，旋转，和平移不变性，基于Lowe的工作，后人提出了许多的改进，其中文献[5]提出了RootSIFT特征，它仅仅是对原始SIFT特征的一种代数扩展(对每个计算出来的原始SIFT描述子进行L1归一化并取平方根)，但是却能够改进检索效果。由于RootSIFT对