深度学习在数字图像处理中的应用 课件 ch04 基于深度学习的图像检索.pptx

第四章基于深度学习的图像检索新工科建设·人工智能与智能科学系列深度学习在数字图像处理中的应用 01图像检索的研究背景和研究现状PART ONE 图像检索的研究背景和研究现状当今是互联网与多媒体技术日新月异的时代，海量信息日益增长，视频、图像等多媒体信息成为常用的信息表现方式。从拥有丰富视觉信息的庞大图像库中，如何更加精确、快速地查询并检索出用户想要的图像，是图像检索领域的研究内容。现代社会对图像检索技术的需求遍布人们生活各处，特别是在电子商务、版权保护、医疗诊断、公共安全、街景地图等领域，图像检索应用都具有广阔的商业前景。常用的图像检索技术主要为基于文本的图像检索、基于内容的图像检索以及基于语义的图像检索。1图像检索的研究背景 图像检索的研究背景和研究现状以往因为受计算机视觉与图像理解技术的限制，CBIR大都是用底层视觉特征来表示图像的，然而底层视觉特征区分图像的能力较弱，与人类对图像的理解间还存在着“语义鸿沟,导致检索效果较差。因此如何缩小“语义鸿沟＂，是如今图像检索领域的主要研究内容。自2006年庄nton提出深度信念网络后，深度学习技术蓬勃发展。伴随着硬件的发展和数据集的完善，以及更多类别的神经网络模型被提出，深度学习在越来越多的技术领域压倒了传统的方法，尤其是在处理图像数据和文本数据上，深度学习具有无可比拟的优势。2为什么要引人深度学习 图像检索的研究背景和研究现状如何在庞大的图像资源库中更准确地检索出所需图像，是图像检索技术的研究内容。TBIR起源于20世纪70年代，是当时主流的图像检索方法。TBIR将图像用一些词语来表示：根据图像内容，用若于关键词对图像进行描述，关键词通过自动标引或人工标注的方式生成。在检索阶段，通过查询匹配这些关键词获得检索结果，这样，检索图像就变为了对关键词的查找匠系统通过匹配输入的关键字返回查询的图像，有人形象地称这种方法为“以字搜图”。使用TBIR进行图像检索的查准率很高，但是这种技术需要进行关键词标注以建立图像描述库，这需要耗费一定的时间。而且由于图像内容的丰宫性，以及标注者对于图像的理解带有主观色彩，这都会导致图像检索出现歧义。随着信息技术不断发展，供人们使用的多媒体设备更加多样化，图像数量呈指数倍增长，人工标注成本过高，机器标注技术尚不成熟，导致TBIR无法满足实际需求。TBIR由于自身的缺陷在各个领域已经逐渐被CBIR和SBIR替代。3图像检索的研究现状 02图像特征和相似性度量PART TWO 图像特征和相似性度量颜色直方图颜色直方图是较为常见的用于图像检索的图像特征。颜色直方图法首先计算图像中的每种颜色出现的概率，然后计算每两个颜色直方图的交集，从而衡量两种颜色的相似性。当颜色直方图通过计算确定后，可以按照直方图相似性对图像库中的图像排序。颜色直方图法具有简单、高效的优点。1原始数据层特征 图像特征和相似性度量2.颜色矩颜色矩是一类基于图像颜色矩阵的统计值，并且所有图像的颜色分布都可以通过颜色矩描述。图像的颜色信息主要集中在低阶矩中，因此使用图像颜色特征的一阶矩、二阶矩、三阶中心矩这3个基本统计矩就能够充分表达图像的特征。虽然颜色矩具有计算简单的优点，但是基于图像低阶矩特征的检索存在分辨率低、区分性差的问题，并不能完全满足现实应用。为了解决这个问题，可以同时提取低阶矩和其他类型的图像特征，然后将多类特征融合后再使用。1原始数据层特征 图像特征和相似性度量3.颜色相关图除使用颜色矩外，使用颜色相关图也可以改善颜色直方图缺乏对颜色空间分布信息的考虑的问题。颜色相关图的定义如下：假设存在图像I,而Ci,C2,···,Cn为图像中出现的颜色，d=do,d1--·,dn为颜色间距离的集合.基于颜色相关图特征的图像检索算法在直方图之外还提取了颜色空间分布信息，因此往往比仅基于颜色直方图的检索算法具有更高的精确率。1原始数据层特征 图像特征和相似性度量1.边界特征法边界特征法通过使用算子来描述图像的边界，并在此基础上获得形状的参数。常用的边界特征算子主要包括边界方向直方图法及Hough变换法两类。2物理层特征 图像特征和相似性度量2.傅里叶描述子图像形状边界存在周期性和封闭性等特性，因此可以使用基于傅里叶形状描述符的算法对图像进行变换，将原本二一图像进行变换，将原本二维的特征提取问题转化到维空间中进行求解。维的特征提取问题转化到一维空间中进行求解。2物理层特征3.图像纹理除图像的形状外，图像纹理也是物理特征层的组成部分。图像纹理特征常用于织物、波纹、岩层等细节变化明显的图像的整理和检索，因为纹理可以反映图像本身的粗细程度、光滑程度和均匀程度等细节。 图像特征和相似性度量语义层特征是对图像的高级抽象，在使用底层特征进行图像检索的效果不理想时，就需要引入高级语义特征实现检索功能。对于存在的数据，