基于弱监督深度学习的图像检索技术研究与实现.pdfVIP

摘要 深度学习技术发展已逾十载，其在诸多计算机视觉问题上都表现出了优秀的效 果。图像检索作为该领域的重要问题，受到了研究人员和学者的广泛关注。当前图像 检索问题中所使用到的深度模型多采用监督学习方法来训练模型，由于深度模型复杂 度高、参数规模庞大，因而需要大量且质量较好的人工标注数据来训练模型。但是， 上述有监督学习存在如下两个缺陷：1）由于人工标注需要耗费大量的人工和时间成 本，因此对多数具体问题缺乏大规模标注数据。2 ）人工标注产生的强标签集存在无 法描述细粒度的语义信息的先天劣势。 针对上述两个问题，本文对互联网上与图像检索相关的数据进行了深入调研。调 研过程中发现随着移动互联和社交自媒体平台的普及，多数互联网用户会在网上分享 他们的图像并添加自定义标签，从而形成了大量带标签的图像数据。这些用户产生的 标注信息通常包含细粒度的图像视觉内容信息，可用于提取更具区分度的细粒度视觉 语义。不同于监督学习中人工标注产生的强标签，这些由用户产生的社会化标签是一 种弱标签，带有这种弱标签的数据称为弱标注数据。这种数据的标注过程不受约束， 致使标签集存在噪声、模糊性语义及语义缺失等情况，从而无法直接使用监督学习方 法来训练模型。 因此，本文提出了一种基于弱监督深度学习的图像检索方法。该方法采用 VGGNet （Visual Geometry Group Net ）做为基础模型并对其进行了改进。模型训练方 面，本文采用大规模弱标注数据进行模型训练。同时，针对弱标注数据的缺陷，提出 了一种抗噪声的弱监督学习策略来提取图像的高层次语义，使得具有相似语义的图像 靠近，同时不相似语义图像互相远离。在此基础之上，再利用迁移学习方法进一步提 弱监督模型的性能。本文所主要工作内容总结如下： 1. 过滤图像数据标签中非视觉性语义标签，并利用 Skip-Gram 模型训练过滤后 的标签形成语义向量用于计算图像间的相似关系。 2. 预处理后的弱标注数据中仍受存在噪声、语义模糊、一词多义等缺陷，无法 用于模型的训练。因此，本文提出一种相似度度量方法，利用弱标签语义信息判断图 片之间的语义相似度，削弱了噪声、一词多义、近义词以及语义模糊的影响。 3. 上述步骤处理后的弱标注数据仍存在噪声，因此本文提出了一种抗噪声的弱 监督训练准则，可有效捕获图像弱标签之间的相似性视觉语义关系，使得具有相似视 I 觉语义的图像靠近，不相似语义的图像互相远离。 4.在弱监督模型基础之上，利用迁移学习技术优化弱监督检索模型，提高模型性 能。实验结果显示，本文提出的方法在查准率上优于目前主流的图像检索方法。 本文创新点如下： 1） 面向弱标注数据，本文提出了一种抗噪声的弱监督训练准则，可训练获取到 一个较好的高层视觉语义分布。 2 ） 在弱监督学习到的模型基础之上，本文提出了一种基于弱标注数据的迁移学 习方法来进一步提高模型性能。 关键词：弱监督学习， 图像检索， 深度学习， 迁移学习 II 目录 摘要I ABSTRACTIII 目录V 第一章 绪论 1 1.1 论文研究的背景及意义 1 1.2 国内外研究现状分析3 1.2.1 经典的图像检索方法3 1.2.2 基于深度学习的图像检索方法4 1.2.3 基于迁移学习的图像检索方法5 1.3 论文的主要工作和结构组织6 第二章 相关技术概述9 2.1 弱标注标签数据精化方法介绍9 2.1.1 非视觉内容相关性语义标签过滤方法9 2.1.2 弱标注标签向量化方法 13 2.2 神经网络原理介绍 14 2.1.2 神经网络的学习 14 2.1.3 BP 神经网络介绍 15 2.3 卷积神经网络原