基于深度特征与手工特征融合的图像检索方法研究.pdfVIP

摘要 摘要 本文提出一种将深度特征与传统手工特征进行融合的图像检索方法，并在相关图像 数据集上验证该方法的有效性。 首先，本文对深度全局特征进行研究。本文采用预训练的VGG16 神经网络模型， 并从中提取出瓶颈特征以及两个全连接层特征进行图像全局表示，并采用 PCA 降维， 特征融合两种方式对其进行优化。 其次，本文从同一个神经网络中提取出深度卷积特征。通过计算特征图的方差获取 部件检测器并以此为基础计算空间权重，同时根据特征图稀疏程度为不同通道赋予不同 权重。通过空间加权与通道加权的方法对卷积特征进行聚合，以获取全局图像表示，并 与其他聚合方法进行检索对比，以显示该方法在图像检索上的优势。 然后，本文针对传统手工特征进行编码。本文选择 SIFT 特征进行图像表示，然后 利用VLAD 方法对其进行全局化编码。在进行聚类获取码本的过程中，本文采用模糊聚 类算法FCM 替代传统的K-means 聚类算法，并通过实验对比突出其优越性。而后对特 征向量与聚类中心的残差进行累加，以获取图像特征的VLAD 编码。 接着本文提出一种将深度特征与手工特征进行融合的图像检索方法。将上述三种特 征归一化后进行加权融合，并针对融合特征进行降维与白化处理。在进行图像特征相似 性计算时，本文采用了查询扩展方法来进一步提升图像检索的准确性。 最后，本文在不同的图像数据集上，通过实验对比本文采用的融合特征与其他方法 之间的检索准确率，验证了该方法的可用性与有效性。 关键词：深度特征，手工特征，特征融合，图像检索 I Abstract Abstract In this thesis, an image retrieval method based on the fusion of deep features and traditional hand-crafted features is proposed, and the effectiveness of this method is verified on relevant image datasets. First, attention is paid to deep global features. In this thesis, the pre-trained VGG16 neural network is applied to extract bottleneck features and two fully connected layer features for global image representation. Furthermore, these features get optimized by some methods, which include dimension reduction with PCA and fusion of features extracted from different layers. Deep convolutional features are also extracted from the same neural network. And an aggregation method based on spatial weighting and channel weighting is designed to get the global representation for images. The spatial weight is computed on variances of different feature maps and the channel weight is based on the sparseness of different channels