一种新的线性判别准则及其在人脸识别中的应用.docxVIP

一种新的线性判别准则及其在人脸识别中的应用 近年来，基于外部特征的人脸识别方法取得了巨大成功。fisher线性度分析（lda）作为特征提取和模式分类的重要技术，在模式分类中得到了广泛应用。在模式分类中，基于fisher识别标准，我们发现了一个权力向量和阈值，使资源样本在方向上的投影更加最佳。fisherlda要求类中的离散矩阵sw不奇怪。然而，当样本数m小于样本维数d时，sw是奇怪的。在高维特征向量（或小样本问题）（例如人脸识别问题）中，通常为n.d。这是人脸识别应用中的一个基本问题。 为了解决这个问题,提出来很多的改进方法.总体说来,分为两种基本方式:一种是在Fisher LDA 之前,用其他方法先进行特征维数压缩,如人脸区域分割、特征提取(PCA方法降维)或结合零空间和LDA识别.大多数研究都是采用这种方式以便应用Fisher LDA法则,这些方法都要以Fisher判别准则为基础,为了达到Sw非奇异的要求,会以损失大量可用判别信息为代价.另一种方式是提出新的分类判别方法,如将特征影射至二维空间进行分类判别或提出新的判别准则.相比之下,这种方式不会损失大量可用判别信息,但研究的人比较少. 本文提出一种新的线性判别方法,此方法对类内散度矩阵Sw无奇异性要求,可以在对原始特征不压缩或少量压缩的情况下,更有效地利用判别信息进行线性分类. 1 fisher准则函数 一个线性判别函数表示如下: g(x)=wΤx+w0(1)g(x)=wTx+w0(1) 式中:x是d维特征向量,w为权向量,w0为阈值. 线性判别的主要目标是建立一个线性判别准则,并找到在此准则下的最优方向(权向量w*),使得样本向量在此方向上的投影最好.不同的判别准则下找到的最优权向量也不同. Fisher 准则函数定义如下: JF(w)=wΤSbwwΤSww(2)JF(w)=wTSbwwTSww(2) 其中类间散度矩阵Sb和类内散度矩阵Sw为 Sb=(m1-m2)(m1-m2)Τ(3)Sw=2∑i=1∑x∈Xi(x-mi)(x-mi)Τ(4)Sb=(m1?m2)(m1?m2)T(3)Sw=∑i=12∑x∈Xi(x?mi)(x?mi)T(4) 其中 mi=1Νi∑x∈Xix(5)mi=1Ni∑x∈Xix(5) 在类内散度矩阵Sw非奇异时,可找到最优的权向量: w*=S-1w(m1-m2)∥S-1w(m1-m2)∥(6)w?=S?1w(m1?m2)∥S?1w(m1?m2)∥(6) 使得准则函数JF(w)最大.w*为下式中S-1w?1wSb对应最大特征值的单位特征向量: S-1wSbw*=λw*(7) 2 fisher线性判别 Fisher 准则函数要求类内散度矩阵Sw非奇异,但在样本总数Nd时,Sw为奇异的(人脸识别时常为这种情况),则Fisher 线性判别方法不可直接使用. 2.1 类内散度矩阵的解析法 显然,准则函数JF(w)最大,即是要求wΤSbwwΤw最大和wΤSwwwΤw最小.这里定义一个新的准则函数: J(w)=wΤ(Sb-c?Sw)w(8) 其中,要求‖w‖=1,c为非负常数. 这里,要找到最优的w使得J(w)最大,运用Lagrange算子法求解: L(w,λ)=J(w)-λ?(∥w∥-1)=wΤ(Sb-c?Sw)w-λ?(wΤw-1)(9) 令 ?L(w,λ)?w=(Sb-c?Sw)w-λ?w=0(10) 则 (Sb-c?Sw)w=λ?w(11) 将式(11)代入式(8)中,并考虑到‖w‖=1,可得 J(w)=λ(12) 显然,最优的权向量w*为矩阵(Sb-c·Sw)对应最大特征值的单位特征向量.w*为参数c的函数w*(c),对类内散度矩阵Sw的奇异性无要求. 2.2 sw变异及fc时fc遵循 令 F(c)=max(J(w))=w*(c)Τ(Sb-c?Sw)w*(c)(13) 为沿着w*(c)方向的准则函数. 取c1c2: F(c1)=w*(c1)Τ(Sb-c1?Sw)w*(c1)≥w*(c2)Τ(Sb-c1?Sw)w*(c2)=w*(c2)Τ(Sb-c2?Sw)w*(c2)+(c2-c1)w*(c2)ΤSww*(c2)=F(c2)+(c2-c1)w*(c2)ΤSww*(c2)(14) 由于Sw半正定,有w*(c2)TSww*(c2)≥0,则F(c1)≥F(c2),即F(c)为单调递减函数. 取wb、wc为矩阵Sb、(Sb-c·Sw)对应最大特征值λb、λc的特征向量,当Sw奇异时存在单位向量w0使得Sww0=0,同时考虑到Sb为半正定矩阵,则 F(c)=λc=wΤc(Sb-c?Sw)wc≥wΤ0Sbw0-c?wΤ0Sww0=wΤ0Sbw0≥0(15) 即当Sw奇异且c→∞时,F(c)趋向于一个大于等于0的数. 图1为Sw奇异时,对应的一个F(c)函数曲线