一种改进局部保持投影方法.docVIP

一种改进局部保持投影方法 　　摘要：针对局部保持投影方法易受小样本问题影响和没有考虑可用的监督信息，提出一种的改进的LPP方法。该方法首先在原始数据集的PCA子空间下，利用正约束信息重构相似矩阵，然后在原始数据集下的特征选择空间上进行局部保持投影，最后在标准人脸数据库上测试，验证该方法在一定程度上可以提升人脸识别率。 　　关键词：局部保持投影；PCA；正约束；人脸识别 　　中图分类号：TP391.41 文献标识码：A 文章编号：1009-3044（2013）33-7613-03 　　面对数据的海量、复杂、高维等特性，数据降维已成为机器学习、模式识别等领域的研究热点。数据降维可以分为线性降维与非线性降维，线性降维主要包括主成分分析（PCA）、线性鉴别分析（LDA）、独立成分分析（ICA）等方法。但是，在实际数据中，大部分都表现出非线性特性，因此，基于非线性的降维方法的研究与应用越来越受到重视。 　　目前的非线性降维方法研究主要分为基于核的研究方法和基于流形结构的研究方法。核研究方法的典型算法包括KPCA、KLDA等，实质上就是选择合适的核函数把非线性高维数据抬升至到更高维空间，然后再线性降维。而基于流形结构的研究方法，这些年引起了许多科研工作者的关注与重视，陆续涌现出许多经典的算法。例如：等距映射（ISOMAP）、局部线性嵌入（LLE）、拉普拉斯特征映射（LE）、局部保持投影（LPP）[1]等，实质上都是基于流形假设的前提下，构造邻接矩阵，获得内在低维的表示。 　　本文是在研究LPP方法的基础上，考虑特征的选择与提取，引入半监督学习的思想，提出一种改进的LPP方法。该方法首先对原始数据集进行PCA预处理，在PCA子空间下，采用[k]近邻法构造相似矩阵[Wij]，其次对原始数据集采用特征选取获取富含信息的特征选取子空间，第三在特征选取后的空间上采用半监督的LPP方法，最后在标准人脸数据库上测试与验证，实现了在一定程度上发掘出具有类区分度大的特征，从而提升了人脸的识别率。 　　1 局部保持投影（LPP） 　　流形学习方法可以较好地发掘嵌入在高维数据中的低维流形结构，但没有明晰的投影矩阵，很难直接提取新样本的特征。何晓飞??授等人于2003年提出的局部保持投影（LPP）方法，有效地解决了该问题。LPP方法本质是对拉普拉斯特征映射方法的线性逼近，并具有一般线性降维方法的流形学习能力，从而能够很好地保持高维数据间的局部结构。 　　假设给定的高维观测数据点集为[X=[x1，x2...xn]]，其中[xi∈RD][（i=1，2...n）]，内嵌[d]维流形结构，低维坐标表示为[Y=[y1，y2...yn]]。LPP方法通过一定的性能目标寻求投影变换矩阵[A]，使得[yi=ATxi（i=1，2...n）]，实现对高维数据的降维。 　　LPP目的是实现高维数据特征降维，同时保持数据内部固有的局部结构不变。LPP目标函数为： 　　[F=12ij（yi-yj）2Wij=12ij（ATxi-ATxj）2Wij=ATX（D-W）XTA=ATXLXTA] （1） 　　其中[Wij]是相似矩阵，可以采用[k]近邻法来定义： 　　当[xi]是[xj]的[k]近邻或[xj]是[xi]的[k]近邻时，[Wij=exp（xi-xj2）δ]，否则，[Wij=0]。矩阵[D=jWij]为对角阵，[L=D-W]为拉普拉斯矩阵。在约束条件[ATXDXTA=1]下，满足最小化目标函数[F]的矩阵[A]就是LPP要寻求的投影变换矩阵。可以通过数学分析与证明，[argminF]问题就是下面的广义特征值求解问题： 　　[XLXTA=λXDXTA] （2） 　　式（2）中的前[d]个最小非零特征值所对应的特征向量构成投影变换矩阵[A=[α1，α2...αd]]。由此可知，经过局部保持投影后，高维空间上相邻的点在低维空间上也保持相邻。 　　2 改进的LPP方法 　　虽然LPP本质上是一种线性降维方法，同时兼有了流形学习的能力，能够保持高维数据的局部结构，可以获取投影映射，较易获得内嵌低维坐标表示和提取新样本特征。但是，LPP方法存有如下不足： 　　1）LPP容易受到小样本问题的影响； 　　2）LPP在投影过程中不能保持数据的全局结构，因为其没有考虑数据的不相邻信息[3]； 　　3）LPP是一种无监督学习，没有考虑利用实际数据中有用监督信息，指导和重构邻接矩阵。 　　针对LPP方法所呈现出来的不足，该文提出了一种改进的LPP方法。改进LPP方法的实现步骤如下： 　　第一步：针对原始数据集进行PCA降维，在PCA子空间中利用邻接图和正约束信息构造相似矩阵； 　　第二步：针对原始数据集进行特征的选取，构造出有着丰富信息的特征选取空间； 　　第