基于判别信息正则极端学习机在人脸识别中应用.docVIP

基于判别信息正则极端学习机在人脸识别中应用 　　摘 要：极端学习机作为传统单隐层前馈神经网络（Single-Hidden Layer Feedforward Networks，SLFNs）的拓展在模式识别领域成为新的研究热点之一，然而已有的极端学习机算法及其改进不能较好地利用数据蕴含的判别信息。针对该问题，提出一种基于判别信息的正则极端学习机（Discriminative Information Regularized Extreme Learning Machine，IELM）。对于模式识别问题，IELM引入同类离散度和异类离散度的概念，体现输入空间数据的判别信息，通过最大化异类离散度和最小化同类离散度，优化极端学习机的输出权值，从而在一定程度上提高ELM的分类性能和泛化能力。为了评价和验证所提出方法的有效性，使用Yale、Yale B、ORL、UMIST人脸数据进行实验。结果表明，该算法能够显著提高ELM的分类性能和泛化能力。 　　关键词：极端学习机；单隐层前馈神经网络；判别信息；同类离散度；异类离散度 　　DOIDOI：10.11907/rjdk.171232 　　中图分类号：TP317.4 　　文献标识码：A 文章编号：1672-7800（2017）007-0187-04 　　0 引言 　　近来，极端学习机（Extreme Learning Machine， ELM）吸引了越来越多学者的关注，Huang等[1-2]基于单隐层前馈神经网络（Single-Hidden Layer Feedforward Networks， SLFNs）结构提出了极端学习机。ELM不同于传统的单隐层前馈神经网络（SLFNs），而是在最小化训练误差的同时最小化输出权值[3]。ELM随机选择输入权值并分析确定SLFNs的输出权值，避免了传统SLFNs学习方法收敛速度慢及陷入局部极小解的可能。ELM具有更好的泛化能力和更快的?W习速度，使其在在线和实时应用中具有较高效率。由于ELM高效及易于实施的特点，适用于分类和回归等问题[4-5]。ELM现已成功运用到不平衡数据学习[6]、人脸识别[7]、噪音数据学习[8]、在线连续数据学习[9]等实际问题中。 　　然而，ELM在学习过程中并未充分考虑到数据样本间的几何特征和数据蕴含的判别信息，因而在一定程度上限制了ELM的分类性能和泛化能力。为了克服ELM的上述缺陷，Alexandros Iosifidis等[10]提出了最小类方差极端学习机（Minimum Class Variance Extreme Learning Machine， MCVELM）。MCVELM通过最小化类内方差正则化ELM，不仅继承了ELM的优点，还在一定程度上克服了ELM学习过程中训练不充分及小样本问题，同时在学习过程中考虑到数据的类内分布特性及判别信息，体现出类间的判别信息。然而对于模式识别问题，不同类的数据样本位于不同的流形结构中，导致运用MCVELM时，数据样本出现信息重叠的现象，降低了ELM的分类性能和泛化能力。MCVELM在一定程度上未考虑到数据样本间的差异判别信息，同时MCVELM是在激活函数所在空间求得数据样本的离散度矩阵，而非数据样本的原始输入空间。文献[11]通过分析提出，在数据样本的原始输入空间求得数据样本的分布结构信息，使ELM获得了良好的泛化能力。因此，针对MCVELM存在的上述问题，本文提出一种基于判别信息的正则极端学习机（IELM）。对于分类问题，IELM同时考虑到数据样本的几何特征和数据蕴含的判别信息，通过最大化异类离散度和最小化同类离散度，优化极端学习机的输出权值，从而在一定程度上提高ELM的分类性能和泛化能力。 　　IELM方法的优势在于：①继承了ELM和MCVELM的优点，还在一定程度上避免了ELM学习不充分的问题；②在数据样本的原始输入空间求得异类离散度和同类离散度矩阵而非激活函数所在空间；③将异类离散度和同类离散度引入到ELM中，不仅充分利用了数据样本的差异判别信息，还避免了运用MCVELM方法时出现数据样本信息重叠的现象；④利用MMC[12]方法有效解决了最大化异类离散度和最小化同类离散度矩阵奇异问题。 　　为了评价和验证所提出的方法，实验使用Yale、Yale B、ORL、UMIST人脸数据，并将本文提出的方法与ELM、MCVELM[10]、RAF-ELM[13]、GELM[7]进行对比。实验结果表明，本文提出的算法能够显著提高ELM的分类准确率和泛化能力，效果优于其它算法。 　　1 ELM 　　黄广斌等基于单隐层前馈神经网络提出了ELM，ELM良好的逼近能力和分类准确率已被证实，统一框架下的ELM为不同的神经网络提供了一种统一形式。ELM隐层节点的输入权值和节