聚合多层次深度特征的图像检索研究.pdfVIP

聚合多层次深度特征的图像检索研究

研究生姓名：王玉伟导师姓名：刘广海

学科：软件工程研究方向：模式识别理论及应用年级：2021级

摘要

卷积神经网络（ConvolutionalNeuralNetworks,CNN）在计算机视觉领域发挥着

极其重要的作用，特别是在图像检索任务中展现出了优异的检索性能。然而，通过

CNN模型提取的深度特征图包含背景噪声，这会影响图像特征表示的准确性。因此，

如何消除深度特征中存在的背景噪声，突出显示目标物体，从而生成更加具有辨别

能力的特征表示对图像检索研究具有重要意义。针对上述问题，本文从聚合多层次

深度特征的角度进行了图像检索的研究。其主要内容如下：

1．为了抑制深度特征图中背景噪声对目标物体语义信息表示的干扰，本文提出

了一种基于平均掩码过滤深度特征的图像检索方法。主要创新点为：（1）设计了一

种对深度特征图进行排序的方法，并挑选出具有代表性的特征图生成平均掩码。通

过利用平均掩码过滤深度特征图，有助于更好地提取目标对象语义信息，抑制背景

噪声的干扰；（2）利用CNN模型之间具有互补性的特点，从两个相似的CNN模型

中分别提取深度特征，通过各自生成的平均掩码过滤深度特征，并将过滤后的深度

特征进行融合；（3）利用一种有效的特征聚合方法，生成更加具有辨别能力的特征

表示。该方法通过过滤并融合不同模型的深度特征来增强特征的多样性，并且能够

抑制背景噪声和识别目标物体信息，从而生成更加具有辨别能力的特征表示，提高

图像检索精确度。

2．为了进一步增强目标物体的语义信息，提高特征的鲁棒性和准确性，本文提

出了一种基于混合掩码融合多层次特征的图像检索方法。主要创新点为：（1）设计

了一种混合掩码，该掩码基于两个CNN模型的融合，可以更加有效地过滤背景噪声；

（2）利用模型间融合与层级融合的方式，进一步弥补了所提取特征的单一性。通过

分别提取CNN模型的ReLU层以及池化层的特征，并将二者进行有效融合，其在基

线求和聚合时取得优异的图像检索精确度；（3）结合最大池化和平均池化缩减ReLU

层特征图的尺寸，实现ReLU层特征和混合掩码的按位计算。该方法充分利用了不

同层次特征之间的互补性，旨在捕获更加丰富的目标物体语义信息，从而生成更加

具有辨别能力和鲁棒性的特征表示。

在五个流行的基准数据集上的实验结果表明，本文的方法在平均准确率均值

（meanAveragePrecision，mAP）方面优于一些现有的最先进的方法，并且在大规模

图像数据集上仍然表现良好。此外，不同的CNN模型的组合实验结果也表明，本文

提出的方法简单、通用、高效且易拓展。

关键词：图像检索；深度卷积特征；多模型特征融合；平均掩码；聚合表征

ResearchonImageRetrievalofAggregatingMulti-levelDeep

Features

Graduatestudent:YuweiWang

Supervisor:Guang-HaiLiu

Major:Softwareengineering

Researchdirection:TheTheoryandApplicationofPatternRecognition

Grade:2021

Abstract

ConvolutionalNeuralNetworks(CNN)playanextremelyimportantroleinthefieldof

computervision,especiallyinimageretrievaltasks.However,thedeepfeaturemaps

extractedbyCNNcontainbackgroundnoise,whichaffectstheaccuracyofrepresentation.

Therefore,eliminatingthebackgroundnoiseinthedeepfeature