(四种FLD准则函数的最优鉴别向量集.docVIP

四种FLD准则函数的最优鉴别向量集 ［摘要］本文在最优FLD)算法的基础上FLD准则下的最优正交鉴别(OD)向量集与最优不相关鉴别(UD)向量集的性质与求解问题，证明了类内协方差阵的零空间中的最优OD向量集与最优UD向量集的等价性，给出了求取FLD准则下的最优OD向量集与最优UD向量集的简洁算法和求取更多鉴别向量方法。在ORL人脸库JEFFE人脸表情库上进行实验，实验结果。 ［关键词］F　最优FLD算法　　 1．引言 　　　　　　　 (b) (c) 　(d) 其中分别表示原始数据的类间协方差阵与类内协方差阵。准则函数最早是由R. Fisher针对两分类问题提出的，和是它在多分类问题中的推广，尽管它也适用于多分类问题。2006年Li提出了最大间距准则(MMC)，就是MMC函数，显然也描述了FLD准则，因此它也可看作是FLD准则函数，实际上早在1990文献已提到过。 最大化准则函数可得多个投影向量，最大化准则函数、或可得由多个投影向量组成的投影矩阵。投影向量也称为鉴别向量，在实际应用中一般要求鉴别向量单位化，即 ()，单位化向量集合常称为鉴别向量集[4]。 在最大化准则函数求取鉴别向量集时，通常需附加一定的条件，目前人们使用的附加条件主要有两种：一种是附加正交条件 ()，相应的向量集称为正交鉴别(Orthogonal Discriminant，OD)向量集；另一种是附加不相关条件 ()，它可使由不同鉴别向量投影所得的模式特征具有统计不相关性，由此得到的鉴别向量集称为不相关鉴别 (Uncorrelated Discriminant Vectors，UD) 向量集，其中是样本总体协方差阵。更一般的附加条件为 　　() (1) 其中为正定阵。不同的可得到不同的鉴别向量集，因此每一个准则函数都可得无穷多种鉴别向量集。现在的问题是，在这么多种鉴别向量集中，哪种鉴别向量集是最优的？本文以准则函数值为标准，研究上述四种准则函数的最优鉴别向量集。由于UD向量集中鉴别向量集最多只有个，所以以下均假定，其中是样本类别数。 2　非奇异情形 2.1　的最优鉴别向量集 准则函数满足附加条件(1)的鉴别向量集可由Foley-sammon变换(FST)得到：记，，则第个鉴别向量是广义特征方程的最大广义特征值所对应的单位广义特征向量()，其中 (2) 当时，得到的就是基于的OD向量集；当时，得到就是基于的UD向量集。文献[]证明了基于的UD向量集就是相对于的非零广义特征值对应的单位广义特征向量。 本文未能得到基于的最优鉴别向量集 2.2　的最优鉴别向量集 先讨论准则函数的UD向量集，它们是相对于的非零广义特征值对应的单位广义特征向量。令，则其函数值 　　　　　　　　　　　 　(3) 文献[]有一个结论，应用到准则函数中可描述为 定理1　对任意的矩阵，，都有 　　　　　　　　　　　　 　　　　(4) 　　由引理1知，就是基于的最优鉴别向量集。由于函数对可逆矩阵具有不变性，所以基于的最优鉴别向量集并不唯一。例如，对实施QR分解，即令，其中是列正交矩阵，是上三角阵，则也是最优鉴别向量集，同时也是基于的OD向量集。 3.3　的最优鉴别向量集 准则函数满足附加条件(1)的鉴别向量集就是相对于的前个最大广义特征值所对应的单位广义特征向量。特别地，基于的OD向量集就是的前个最大特征值所对应的单位特征向量，基于的UD向量集就是相对于的非零广义特征值对应的单位广义特征向量。下面的一些引理可以帮助我们找到基于的最优鉴别向量集。 引理1　设为两个阶实对称方阵，，，是相对于的广义特征值所对应的单位广义特征向量，广义特征值从大到小排列，则 ， 其中，为对角阵。 引理2　设为阶对称阵，为其前个最大特征值所对应的单位正交特征向量矩阵，则对于任意列正交矩阵，有 　　　　　　　　　　　　　 　　引理3　设为阶正定阵，，则 　　　　　　　　　　　　　　　 定理2　令，，则 　　　　　　　　　　　　 证明：由题意，，其中是的前个最大特征值。于是 　　　　　　　　 (5) 设是相对于的所有广义特征值所对应的单位广义特征向量，特征值从大到小排列，记，由引理1知 ，　　　　　　　　 (6) 其中对角阵，。需注意的是，对角元并非是相对于的广义特征值。对实施QR分解，即，其中是列正交矩阵，是上三角阵。对进行分块，则 ，　　　　　　　　　　(7) 其中为阶方阵。由于都是单位向量，所以的对角元全为1，从而的对角元也全为1。由引理2和引理3，可得 　　　 　　 (8) 证毕。　　＃ 由定理2知，基于的最优鉴别向量集就是OD向量集，它们是的前