融合全局和局部特征的人脸识别详解.pptVIP

融合全局和局部特征的人脸识别 期刊取自：IEEE TRANSACTIONS ON IMAGE PROCESSING 介绍：葛月月 201421070541 自动化工程学院 目录 课题研究背景和意义 全局和局部特征的不同作用和意义 全局和局部特征的提取 全局和局部分类器层级集成 实验与分析 结束语 研究背景和意义 人脸识别是计算机视觉和模式识别研究中的热点问题。目前，最好的人脸识别系统在理想情况下已经能够取得令人满意的识别性能。但大量测试和实践的经验表明：非理想条件下的人脸识别技术还远未成熟。本文主要针对人脸识别中的特征提取问题，提出将全局的Fourier特征与局部的Gabor特征进行层级集成：第一级分类器采用全局特征，进行粗略的分类；而第二级分类器同时采用全局和局部特征，进行更为精确的分类。实验结果表明，全局和局部特征的层级集成不仅可以提高人脸识别系统的正确率，也能够使系统速度得到较大提升。 全局和局部特征的不同意义 在人类人脸识别的过程中，人脸的全局特征和局部特征都起到了作用。 人脸的全局特征主要包括肤色、脸型、五官的分布等，用来进行粗略的匹配； 人脸的局部特征主要指面部五官的特点以及面部的奇异特征，用来进行精细的确认。 局部特征已经广泛的用于人脸识别，并取得了很好的效果。相对而言，基于全局特征的识别方法效果却不甚理想 全局和局部特征的不同作用 图 1 全局和局部特征在人脸识别中的不同作用 全局傅里叶特征的提取 全局特征是指其特征向量的每一维都包含了人脸图像上所有部分（甚至所有像素）的信息，因此反映的是人脸的整体属性。傅里叶变换是一种常用的频谱分析方法。本文采用二维离散傅里叶变换系数的低频部分作为全局特征。对一幅人脸图像进行二维离散傅里叶变换可以用下面的公式表示： 图像 f ( x, y )是一个实值函数，因此傅里叶变换的输出是复数形式即： 全局傅里叶特征的提取 经过傅里叶变换后图像可以表示为所有频段的实部和虚部变换系数。一般来说，低频系数反映的是图像整体的变化，而高频系数反映的是图像局部细节的变化 。在本文中，只有低频段的 Fourier 变换系数被用作全局特征。利用低频Fourier 变换系数重构的图像中，局部的变化基本消失了而全局的变化依然存在。 局部Gabor特征提取 Gabor 特征由于其良好的空间局部性和方向选择性，能够很好的描述图像的局部细节变化。此外，作为一种局部特征，Gabor 特征对人脸的表情变化和局部遮挡具有较强的鲁棒性。因此，Gabor 特征近年来已经成为最为有效的人脸表示方法之一。二维 Gabor 滤波器的核函数定义为一个用高斯包络函数约束的平面波。 对图像进行Gabor特征提取是通过多个Gabor核函数分别与图像进行卷积操作来完成的。从公式的定义中可以看出，当Gabor核函数与图像进行卷积时，主要提取的是靠近高斯函数中心的图像信息，而忽略距离中心较远的图像信息。因此，与傅里叶变换提取整幅图像的信息相比，Gabor变换更加关注人脸图像局部区域内多尺度、多方向的信息。 局部Gabor特征提取 将人脸图像进行均匀分块，落在每个图像子块内的 Gabor特征组成一个特征向量： 提取多个局部 Gabor 特征向量（Local Gabor Feature Vector，LGFV） 全局和局部分类器层级集成  并行集成 过全局和局部特征提取之后，图像可以表示为 1 个全局 Fourier 特征向量和 N 个局部 Gabor 特征向量 全局和局部分类器分别包含不同的判别信息，采用加权求和的方式将全局分类器和局部分量分类器进行并行集成会提升人脸识别系统的正确率。 将 N 个局部分量分类器进行加权求和，得到局部集成分类器 全局分类器和局部分类器也可以通过加权求和的方式进行集成，得到总体分类器。 全局和局部分类器层级集成  全局特征主要反映人脸的整体属性，因此较低分辨率的人脸图像就可以满足要求。但是，人脸图像包含的区域要足够大，特别是要包含人脸的轮廓。相反，局部特征反映人脸的细节变化，因此需要较高分辨率的人脸图像。 全局和局部分类器层级集成  串行集成 第一层中采用全局分类器进行粗略的匹配，第二层中把全局和局部分类器集成起来(也就是总体集成分类器)进行精细的确认。从各个分类器的构建过程中可以看出，全局分类器利用的特征较少，因此速度较快，但正确率较低；而总体集成分类器由 N+1 个分量分类器组成，利用的特征较多，因此速度较慢，但正确率较高。因此，第一层采用全局分类器可以提高识别的速度，而第二层加入局部分类器可以提高识别的正确率。 FD0 表示原始的人脸数据库，而 FD1 表示经过全局分类器排除候选之后的人脸数据库。 全局和局部分类器层级集成 对