稀疏表示保持地鉴别特征选择算法.docVIP

稀疏表示保持的鉴别特征选择算法-电气论文 稀疏表示保持的鉴别特征选择算法 夏广胜，严慧 （南京理工大学计算机科学与工程学院，江苏南京210094） 摘要：稀疏表示作为一种基于部分数据的表示，已经吸引了越来越多的关注，并广泛应用于模式识别和机器学习领域。提出一种新的算法，称为稀疏表示保持的鉴别特征选择（SRPFS），其目的是选择鉴别性特征子集，使得在所选特征子空间中，样本的稀疏类内重构残差和稀疏类间重构残差的差值最小化。与传统算法选择特征的独立性方式不同，该算法以批处理方式选择最具鉴别性的特征，并用于优化提出的l2，1范数最小化的目标函数。在标准UCI数据集和哥伦比亚图像数据库的实验结果表明，该算法在识别性能和稳定性方面优于其他经典特征选择算法。 关键词 ：特征选择；稀疏表示；重构残差；l2，1范数 中图分类号：TN911?34 文献标识码：A 文章编号：1004?373X（2015）18?0008?05 收稿日期：2015?05?05 基金项目：国家自然科学基金；国家杰出青年科学基金；中国博士后科学基金（AD41431）；江苏省博士后科学基金 0 引言 特征选择[1]用于从高维特征空间中选择特征子集，并保持特征子集的原始物理特性，根据使用类别标签与否，特征选择算法可分为非监督和监督两种，本文主要研究监督特征选择算法。经典的监督特征选择算法包括ReliefF[2]，Fisher Score[3] 以及多簇特征选择（Multi?Cluster Feature Selection，MCFS）[4]等，它们通过特征和类别标签之间的相关性来度量特征的重要性，但是大多数传统特征选择算法对每个特征的度量是独立进行的[3，5]，并且将特征逐个添加至所选特征子空间，这种选择方式的局限性在于特征之间的相关性被忽略[4]。最近，l2,1 范数正则化优化已经应用到特征选择算法，此类算法通过对特征选择矩阵进行l2,1 范数最小化约束来选择特征[6?7]。 与此同时，稀疏表示作为一种基于部分数据的表示，已经吸引了越来越多的关注，并已广泛应用于模式识别和机器学习领域[8]。稀疏表示方法假设一个超完备字典中样本的稀疏线性组合可以重构一个给定的样本，例如Wright 等提出的基于稀疏表示的分类方法[9]（Sparse Representation?based Classification，SRC），该方法的优化问题惩罚线性组合系数的l1 范数，SRC尝试使用所有训练样本的稀疏线性组合来表示一个给定的测试样本，并且认为稀疏非零表示系数集中在测试样本的同类训练样本上。受到SRC的启发，很多基于稀疏表示的特征抽取算法出现，例如文献[10?11]提出的稀疏表示分类器引导的监督特征抽取算法，该算法旨在减少类内重构残差，并与此同时增加类间重构残差，但二者在目标函数的形式上有所不同，文献[10]采用比值方式文献[11]采用差值方式。与特征选择算法不同，特征抽取将原始特征进行转换从而实现数据降维，特征的原始物理特性发生变化。回顾经典的监督特征选择算法，却不存在与SRC直接关联的，本文提出了一种稀疏表示保持的鉴别特征选择（SRPFS）算法，旨在寻找一种线性映射使得在所选特征子空间中，样本的稀疏类内重构残差足够小并且稀疏类间重构残差足够大，并用于优化提出的l2,1 范数最小化的目标函数。 1 基于稀疏表示的分类方法 2 稀疏表示保持的鉴别特征选择 2.1 问题描述 基于SRC决策规则，希望在所选特征子空间中样本xi 尽可能接近其稀疏类内重构并同时尽可能远离其稀疏类间重构，考虑所有样本，SRPFS的目标函数定义如下： 对L(U)关于U 求导，可以得到下式： 通过式（17）更新U t ； t = t + 1 ； 直到收敛准则满足； 输出：U 。 2.3 L(U)的凹性研究 2αP 是正定的因为它是一个轴元素为正数的对角矩阵，根据正定矩阵的定义，如果G 是正定的很容易证明2αP + G 是正定的，然而很难直接证明G 的正定性，事实上通过在实验中对参数β 进行控制来保证G 的正定性，β 的取值在实验部分给出。在假设2αP + G 是正定的前提下，通过下面的定理证明目标函数在算法1中的迭代过程中的收敛性： 定理1：式（12）中的目标函数值在算法1中的迭代过程中单调减小。 证明：很容易证明式（12）就是解决以下的问题： 相应地，在