新颖判别性特征选择方法.docVIP

新颖判别性特征选择方法 　　摘要：作为数据预处理的一种常用的手段，特征选择不仅能够提高分类器的分类性能，而且能增加对分类结果的解释性。针对基于稀疏学习的特征选择方法有时会忽略一些有用的判别信息而影响分类性能的问题，提出了一种新的判别性特征选择方法――DLASSO，用于选择出更具有判别力的特征。首先DLASSO模型包含一个L1范式正则化项，用于产生一个稀疏解；其次，为了诱导出更具有判别力的特征，模型中增加了一个新的判别性正则化项，用于保留同类样本以及不同类样本之间几何分布信息，用于诱导出更具有判别力的特征。在一系列Benchmark数据集上的实验结果表明，与已有方法相比较，DLASSO不仅能进一步提高分类器的分类精度，而且对参数也较为鲁棒。 　　关键词：特征选择；稀疏解； L1范式；判别正则化项；分类 　　中图分类号： TP181 　　文献标志码：A 　　Abstract： As a kind of common method for data preprocessing， feature selection can not only improve the classification performance， but also increase the interpretability of the classification results. In sparselearningbased feature selection methods， some useful discriminative information is ignored， and it may affect the final classification performance. To address this problem， a new discriminative feature selection method called Discriminative Least Absolute Shrinkage and Selection Operator （DLASSO） was proposed to choose the most discriminative features. In detail， firstly， the proposed DLASSO method contained a L1norm regularization item， which was used to produce sparse solution. Secondly， in order to induce the most discriminative features， a new discriminative regularization term was introduced to embed the geometric distribution information of samples with the same class label and samples with different class labels. Finally， the comparison experimental results obtained from a series of Benchmark datasets show that， the proposed DLASSO method can not only improve the classification accuracy， but also be robust against parameters. 　　Key words： feature selection； sparse solution； L1norm； discriminative regularization item； classification 　　0引言 　　在机器学习和模式识别领域，传统学习算法经常遇到“维数灾难””问题[1]。在此情形下，降低数据维度的方法不仅能够提高计算效率和改善分类的性能，而且能够增加对分类结果的解释性。作为一种重要的降维手段，特征选择的目的就是选择最能表示数据内在特性的一组最优特征子集，从而最终达到优化学习模型的目标。 　　目前，已有的特征选择方法被大致分为两种：特征排序方法和特征子集搜索方法。特征排序方法一般根据某一准则函数单独分析每一特征的重要性并排序，从而选择一组最重要的特征，其代表性的方法有LS（Laplacian Score）[2]和FS（Fisher Score）[3]；而特征子集搜索方法是从给定的特征空间中选取与给定模型相符的最优特征子集，代表方法有：递归特征消除（Recur