一种基于局部和判别特性降维算法.docVIP

一种基于局部和判别特性的降维算法 　　摘 要:提出了一种基于LPP和LDA的降维算法。该算法不仅考虑了LPP能保持局部邻近关系属性,还考虑了LDA能使降维后的数据更易于分类属性,并且该算法是线性的,很容易将新样本映射到目标空间。在人脸识别中的实验验证了算法的正确性和有效性。 　　关键词:维数约简; 局部保持投影; 线性判别分析; 人脸识别 　　中图分类号:TP391文献标志码:A 　　文章编号:1001-3695(2009)09-3324-02 　　doi:10.3969/j.issn.1001-3695.2009.09.035 　　 　　Dimension reduction algorithmbased on locality and discriminant characteristics 　　ZHANG Guo-yin, LOU Song-jiang, WANG Qing-jun, CHEN Hui-jie 　　(College of Computer Science Technology, Harbin Engineering University, Harbin 150001, China) 　　Abstract:This paper proposed a dimension reduction algorithm based on LPP and LDA, which not only utilized that LPP could preserve locality, but also took into account that the LDA made the data more discriminant and thus made classification mare easier. The proposed algorithm was linear, which could map the out of sample data to the target space easily. Experiments in face recognition validate the correctness and effectiveness of the algorithm. 　　Key words:dimension reduction; locality preserving projection(LPP); linear discriminant analysis(LDA); face recognition 　　 　　0 引言 　　 　　在生物特征识别系统中,人脸识别由于具有成本较低、不侵犯使用者的隐私权、应用前景广阔等特点,受到了极大的关注,是当前模式识别、图像处理和计算机视觉等学科非常活跃的研究热点[1]之一。 　　正是因为人脸识别的这些特点,在过去的几年时间里,出现了很多人脸识别算法。其中,基于子空间的算法起到了主导作用,最著名的是主成分分析[2](principal component analysis)和线性判别分析[3](linear discriminant analysis)。主成分分析算法的主要思想是通过估计数据的二阶统计性质来发现数据的本征线性维数,它是在全局最小重构误差的条件下把高维观察数据投影到低维空间上,通过求解数据点协方差矩阵的最大几个特征值所对应的特征向量张成的子空间而得到。线性判别分析算法就是求出一个线性子空间,使得所有样本在这个子空间中,类内样本散度最小,类间样本的散度最大,用它降维后的低维嵌入坐标非常有利于进行样本的分类。 　　上述两种方法是线性算法,但人脸空间更可能存在于非线性子空间中。最近相关人员提出了几种流形学习算法,主要用于非线性降维,如等距映射(ISOMAP)[4]、局部线性嵌入算法(LLE)[5]、拉普拉斯特征映射(LE)[6]等。但是它们都不能解决out of sample问题,即不能直接映射新数据,因此不能直接用于人脸识别。基于以上问题,He等人[7]提出了一种线性算法LPP,该算法是拉普拉斯特征映射的线性版本,能保持数据集的局部邻近关系,又能较容易地映射新样本。 　　LPP虽然能保持数据的局部结构,但是没有利用数据集的类别信息,从而不利于分类问题。本文基于LPP和LDA的优点,既考虑LPP的局部保持特性,同时又利用LDA的易于分类问题这一特点,提出了一种基于局部特性和判别特性的降维算法??。 　　 　　1 基于局部特性和判别特性降维算法 　　 　　1.1 LPP简介 　　LPP目标是保持数据之间的相似性,即原始空间上相邻的数据点在投影空间上也保持相应的邻近关系。假定数据集??X={x??1??,x??2