一种基于稀疏学习的特征选择方法.pdfVIP

一种基于稀疏学习的特征选择方法

摘要

特征选择的目标是从原始高维特征空间中选择出与目标任务最相关的特征子集，在

不删除有效信息的前提下缩减数据集的特征维度，因此，广泛应用于图像识别、生物基

因研究以及医学研究等领域。

在有监督特征选择方法中，通过稀疏学习进行特征选择已经取得了良好的效果。传

统的特征选择方法是在理想数据集下实现特征选择过程，只将特征简单分类，但随着现

代数据集的分类任务越来越复杂，传统方法已经不适用。作者通过对数据集的观察和研

究，发现数据集中存在某些特征只与部分类别具有相关性。同时可将特征进行更加细致

的划分，以选择出更多判别性特征。据此，本文提出两种有监督特征选择方法。

（1）基于特征自表示的特征选择。针对传统特征选择方法假设特征对每个类别具

有同等重要性的问题，本文结合特征自表示理论，提出基于特征自表示的特征选择方法。

该方法对每个类别进行特征自表示，计算出每个类别对应的特征得分，根据得分选择出

对应数量的特征，并进行相应推导和收敛性证明以及相应的优化算法。通过对比实验证

明此方法性能优于主流特征选择方法，收敛性实验证明可快速实现算法迭代收敛。

（2）基于稀疏学习的特征选择。提出的基于特征自表示的特征选择只使用了类内

信息，而针对全局信息，作者提出基于稀疏学习的特征选择方法。该方法通过全局结构

保留选择出高相关性特征，在类的内部根据选择出的高相关性特征采用特征自表示计算

出类别对应的特征得分，进而选择出对应数量的特征。同样进行推导和收敛性证明以及

给出相应的优化算法。实验证明提出的算法具有优越性。

关键字：有监督特征选择；稀疏学习；自表示；结构保留

一种基于稀疏学习的特征选择方法

Abstract

Thegoaloffeatureselectionistoselectasubsetoffeaturesfromtheoriginalhigh-

dimensionalfeaturespacethataremostrelevanttothetargettask,andtoreducethefeature

dimensionalityofthedatasetwithoutremovingvalidinformation,andthusiswidelyusedin

imagerecognition,biogeneticresearch,andmedicalresearch.

Amongthesupervisedfeatureselectionmethods,featureselectionbysparselearninghas

achievedgoodresults.Traditionalfeatureselectionmethodsimplementthefeatureselection

processunderidealdatasetsandonlyclassifyfeaturessimply,butwiththeincreasing

complexityofclassificationtasksinmoderndatasets,thetraditionalmethodsarenolonger

applicable.Byobservingandstudyingthedataset,theauthorfoundthattherearecertain

featuresinthedatasetforwhichonlysomeofthecategoriesarerelevant.Alsothefeaturescan

bedividedmorecarefullytoselectmorediscriminativefeatures.Accordingly,twosupervised

featureselectionmethodsarepropose