基于无穷范数二值线性判别分析.docVIP

基于无穷范数二值线性判别分析 　　摘 要： 线性判别分析（LDA）是监督式的特征提取方法，在人脸识别等领域得到了广泛应用。为了提高特征提取速度，提出了基于无穷范数的线性判别分析方法。传统LDA方法将目标函数表示为类内散布矩阵和类间散布矩阵之差的或者商的L2范数，且通常需要涉及到矩阵求逆和特征值分解问题。与传统方法不同，这里所提方法将目标函数表示为类内散布矩阵和类间散布矩阵之差的无穷范数，而且最优解是以迭代形式得到，避免了耗时的特征值分解。无穷范数使得到的基向量实现了二值化，即元素仅在-1和1两个数字内取值，避免了特征提取时的浮点型点积运算，从而降低了测试时间，提高了效率。在ORL人脸数据库和Yale数据库上的实验表明所提算法是有效的。 　　关键词： 线性判别分析； 无穷范数； 二值化； 特征提取 　　中图分类号： TN911?34； TP391 文献标识码： A 文章编号： 1004?373X（2013）22?0024?04 　　0 引 言 　　线性判别分析（LDA）[1?3]是模式识别中降维和特征提取的一种非常流行的方法，该方法的大致思想是寻找一组投影基向量使得类间散布矩阵与类内散布矩阵的差或比率最大，该方法是基于L2范数完成的。 　　LDA最近几年在很多领域得到了广泛的应用，比如文献[4]将LDA用于雷达对目标的识别，文献[5]则将LDA用于脑电信号的提取和分类，得到良好的效果。虽然LDA解决了很多领域的问题，但该方法识别率仍然有待提高，于是，近年来研究人员提出了一些提高识别率的方法。比如，文献[6]对传统的LDA施加[p]范数，得到了[p]取不同值时的识别率，这对约束项的选取具有参考价值。文献[7]提出基于旋转不变的L1范数的判别标准，可以更好的描述类内的紧密度和类间的分离度。 　　上面提到的方法虽然都不同程度的提高了传统LDA的识别率，但却没有提高特征提取的速度。为此，本文提出利用无穷范数代替传统的L2范数对目标函数施加约束，同时采用类间散布矩阵和类内散布矩阵之差而非商作为目标函数，借鉴文献[8]的最优化过程，避免了传统方法训练中耗时的特征值分解，得到了基向量的元素仅为-1和1，即实现了基向量的二值化，将该算法命名为BLDA。这样的基向量在做特征提取时，避免了浮点型内积运算，从而降低了检测时间，提高了效率，同时BLDA拥有与传统LDA相近的识别率。最后，在Yale 和ORL人脸数据库上进行的实验，说明所提的算法是有效的。 　　1 现有LDA方法 　　LDA是一种有监督的特征提取方法，其基本思想是将有标签的高维样本[xi∈RD]通过变换矩阵[W=[w1，…，wd]∈RD×d]（其中[wi]和[xi]都是[D]维向量）映射为具有最佳可分离性的最佳子空间中的低维样本[yi∈Rd]： 　　其中[d=wTjxi=yij]得到的。 　　通常，变换矩阵[W]即其列向量[wi]（称为[d]维子空间的基向量）是在某一约束条件下，根据某最佳可区分准则求解得到的。下面具体介绍两种常见的准则：基于商的准则和基于差的准则。其中基于差的准则与本文所提方法最为相关。 　　1.1 基于商的LDA方法 　　本文所提方法正是在这种基于差的LDA上进行的。 　　2 所提BLDA 　　2.1 BLDA模型 　　注意到上述基于商和基于差的LDA方法得到的基向量[w]是任意实数，所以利用式从高维样本[x∈RD]中提取其低维特征向量[y∈Rd]时，需要计算该高维样本[x∈RD]和高维基向量[w∈RD]的浮点数内积[y=]。该内积的计算量较大，耗时较多。 　　本文所用算法得到的基向量中元素为-1或1，在进行上述内积时，只需找到基向量[w]中-1和1对应的测试数据[x]中的元素，然后相加即可得到降维后的样本[y]。而传统的LDA则是对[w]和[x]直接相乘，需要基向量[w]的每个元素与测试数据[x]对应位置的元素先分别进行乘法再将这些乘积相加，而浮点型数值乘法相对麻烦，所以本文所提算法可以大大降低测试时间，提高检测效率，下面具体讲解本文所提的算法。 　　于是，式（11）取最大值当且仅当[wi=?signwi]，其中[wi]表示向量[w]第[i]个元素。注意到最优解必须满足[wpp=1]，[p=∞]，因此，第[k+1]次迭代的最优值为[wk+1=wwp]。其中[p=∞]，这样就得到了式（10）的最优解。容易发现，这样得到的基向量[w]只含-1和1两个值。该算法在实现过程中需要先初始化[w]，对此本文采用随机得到，但同样必须满足[w0pp=1]。 　　3 实验结果 　　本文分别在ORL人脸数据库和Yale人脸数据库上对所提的BLDA进行验证，观察该算法与传统LDA不同基向量数目时的识别率。同时，由于本文的算法实现了基向量的二值化（