四种FLD准则函数的最优鉴别向量集..docVIP

四种FLD准则函数的最优鉴别向量集 ［摘要］本文在最优Fisher线性鉴别(FLD)算法的基础上讨论了FLD准则下的最优正交鉴别(OD)向量集与最优不相关鉴别(UD)向量集的性质与求解问题，证明了类内协方差阵的零空间中的最优OD向量集与最优UD向量集的等价性，给出了求取FLD准则下的最优OD向量集与最优UD向量集的简洁算法和求取更多鉴别向量方法。在ORL人脸库与JEFFE人脸表情库上进行实验，实验结果表明适当增加鉴别向量的个数有利于识别率的提高。 ［关键词］FLD准则　　　最优FLD算法　　　最优OD向量集　　　最优UD向量集 1．引言 Fisher线性鉴别（FLD）分析是基于FLD准则的一种传统模式特征提取方法，在模式识别与计算机视觉等方面有着广泛的应用。FLD准则就是寻找一个或多个投影方向，对原始数据进行投影，使投影后新数据的类间离散度达到最大而类内离散度达到最小，而投影后的新数据就是所需的模式特征。用以描述FLD准则的准则函数有很多种，其中最为典型也最为常见的四种FLD准则函数为： (a) 　　　　　　　 (b) (c) 　(d) 其中分别表示原始数据的类间协方差阵与类内协方差阵。准则函数最早是由R. Fisher针对两分类问题提出的，和是它在多分类问题中的推广，尽管它也适用于多分类问题。2006年Li提出了最大间距准则(MMC)，就是MMC函数，显然也描述了FLD准则，因此它也可看作是FLD准则函数，实际上早在1990文献已提到过。 最大化准则函数可得多个投影向量，最大化准则函数、或可得由多个投影向量组成的投影矩阵。投影向量也称为鉴别向量，在实际应用中一般要求鉴别向量单位化，即 ()，单位化向量集合常称为鉴别向量集[4]。 在最大化准则函数求取鉴别向量集时，通常需附加一定的条件，目前人们使用的附加条件主要有两种：一种是附加正交条件 ()，相应的向量集称为正交鉴别(Orthogonal Discriminant，OD)向量集；另一种是附加不相关条件 ()，它可使由不同鉴别向量投影所得的模式特征具有统计不相关性，由此得到的鉴别向量集称为不相关鉴别 (Uncorrelated Discriminant Vectors，UD) 向量集，其中是样本总体协方差阵。更一般的附加条件为 　　() (1) 其中为正定阵。不同的可得到不同的鉴别向量集，因此每一个准则函数都可得无穷多种鉴别向量集。现在的问题是，在这么多种鉴别向量集中，哪种鉴别向量集是最优的？本文以准则函数值为标准，研究上述四种准则函数的最优鉴别向量集。由于UD向量集中鉴别向量集最多只有个，所以以下均假定，其中是样本类别数。 2　非奇异情形 2.1　基于的最优鉴别向量集 准则函数满足附加条件(1)的鉴别向量集可由Foley-sammon变换(FST)得到：记，，则第个鉴别向量是广义特征方程的最大广义特征值所对应的单位广义特征向量()，其中 (2) 当时，得到的就是基于的OD向量集；当时，得到就是基于的UD向量集。文献[]证明了基于的UD向量集就是相对于的非零广义特征值对应的单位广义特征向量。 本文未能得到基于的最优鉴别向量集 2.2　基于的最优鉴别向量集 先讨论准则函数的UD向量集，它们是相对于的非零广义特征值对应的单位广义特征向量。令，则其函数值 　　　　　　　　　　　 　(3) 文献[]有一个结论，应用到准则函数中可描述为 定理1　对任意的矩阵，，都有 　　　　　　　　　　　　 　　　　(4) 　　由引理1知，就是基于的最优鉴别向量集。由于函数对可逆矩阵具有不变性，所以基于的最优鉴别向量集并不唯一。例如，对实施QR分解，即令，其中是列正交矩阵，是上三角阵，则也是最优鉴别向量集，同时也是基于的OD向量集。 3.3　基于的最优鉴别向量集 准则函数满足附加条件(1)的鉴别向量集就是相对于的前个最大广义特征值所对应的单位广义特征向量。特别地，基于的OD向量集就是的前个最大特征值所对应的单位特征向量，基于的UD向量集就是相对于的非零广义特征值对应的单位广义特征向量。下面的一些引理可以帮助我们找到基于的最优鉴别向量集。 引理1　设为两个阶实对称方阵，，，是相对于的广义特征值所对应的单位广义特征向量，广义特征值从大到小排列，则 ， 其中，为对角阵。 引理2　设为阶对称阵，为其前个最大特征值所对应的单位正交特征向量矩阵，则对于任意列正交矩阵，有 　　　　　　　　　　　　　 　　引理3　设为阶正定阵，，则 　　　　　　　　　　　　　　　 定理2　令，，则 　　　　　　　　　　　　 证明：由题意，，其中是的前个最大特征值。于是 　　　　　　　　 (5