特征选择方法中三种度量比较研究.docVIP

特征选择方法中三种度量比较研究 　　摘要：不同类型数据中特征与类别以及特征与特征之间存在一定的线性和非线性相关性。针对基于不同度量的特征选择方法在不同类型数据集上选取的特征存在明显差别的问题，本文选择线性相关系数、对称不确定性和互信息三种常用的线性或非线性度量，将它们应用于基于相关性的快速特征选择方法中，对它们在基因微阵列和图像数据上的特征选择效果进行实验验证和比较。实验结果表明，基于相关性的快速特征选择方法使用线性相关系数在基因数据集上选取的特征集往往具有较好分类准确率，使用互信息在图像数据集上选取的特征集的分类效果较好，使用对称不确定性在两种类型数据上选取特征的分类效果较为稳定。 　　关键词：特征选择；线性相关系数；对称不确定性；互信息；基于相关性的快速特征选择方法 　　DOI：10.15938/j.jhust.2018.01.020 　　中图分类号： TM391.1 　　文献标志码： A 　　文章编号： 1007-2683（2018）01-0111-06 　　Abstract：It has been known that either linear correlation or nonlinear correlation might exist between featuretofeature and featuretoclass in datasets. In this paper， we study the differences of selected feature subset when different kinds of measures are applied with same feature selection method in different kinds of datasets. Three representative linear or nonlinear measures， linear correlation coefficient， symmetrical uncertainty， and mutual information are selected. By combining them with the fast correlationbased filter （FCBF） feature selection method， we make the comparison of selected feature subset from 8 gene microarray and image datasets. Experimental results indicate that the feature subsets selected by linear correlation coefficient based FCBF obtain better classification accuracy in gene microarray datasets than in image datasets， while mutual information and symmetrical uncertainty based FCBF tend to obtain better results in image datasets. Moreover， symmetrical uncertainty based FCBF is more robust in all datasets. 　　Keywords：feature selection；linear correlation coefficient；symmetrical uncertainty；mutual Information；fast correlationbased filter 　　0引言 　　?稻萃诰蚍椒?能够从数据中获取到潜在的有效信息，在金融预测、模式识别等多个领域得到了广泛应用。随着互联网和生物信息学技术的不断进步，数据朝着更大规模的方向发展，并带来了“维度灾难”等问题[1]。解决上述问题的有效方法之一是降低数据集中特征的维数。特征选择作为数据挖掘和机器学习中的重要研究内容，其通过删除数据集中的无关和冗余特征，达到有效的降低特征维数，提高分类的准确率和效率的目的，并且具有去噪、防止机器学习模型过拟合的作用[2]。 　　现有的特征选择方法主要可以分为过滤方法、封装方法和嵌入方法[3]。封装方法使用预先选定的机器学习方法作为评价特征集优劣的准则，存在时间复杂度高的问题。嵌入方法则将特征选择和机器学习算法的训练过程相结合。过滤方法不依赖特定的机器学习方法，具有运行效率高的特点，适用于解决高维数据中的特征