特征选择算法综述及基于weka的性能比较.docxVIP

数据挖掘中的特征选择算法综述及基于?WEKA?的性能比较 陈良龙 （湖南大学信息科学与工程学院） 摘要：自进入?21?世纪以来，随着信息技术的飞速发展，产生了海量的具有潜在 应用价值的数据，将这些数据转换成有用的信息和知识的需求也越来越迫切， 因此数据挖掘引起了信息产业界和整个社会的极大关注。特征选择作为一种常 见的降维方法，在数据挖掘中起到不可忽视的作用。本文首先介绍了数据挖掘 处理对象的趋势，然后概述了特征选择算法，最后通过数据挖掘软件?WEKA?比 较了分别基于?Filter?和?Wrapper?方法的特征选择算法的性能。 关键词：数据挖掘；特征选择；WEKA；Filter；Wrapper；性能比较 A?survey?of?feature?selection?algorithm?in?Data?Mining?and?the?performance comparison?based?on?WEKA Abstract:?As?the?mass?of?data?which?have?potential?application?and?value?have?been created?by?the?rapid?development?of?information?technology?since?the?21st?century, the?needs?to?transferring?these?data?into?useful?information?and?knowledge?are being?more?and?more?urgent,?so?the?Data?Mining?caused?the?whole?society?and?the information?industry?of?great?concern.?Feature?selection?is?critical?to?Data?Mining?for that?it?is?a?common?method?to?reduce?dimensions.?The?tendency?of?Data?Mining’s handler?object?is?first?introduced?in?this?paper,?then?introduction?of?the?feature selection?algorithm,?and?finally?compared?the?performance?of?algorithms?based?on methods?of?Filter?and?Wrapper,?respectively,?by?using?WEKA?(i.e.?software?used?in Data?Mining). Keywords:?Data?Mining;?Feature?selection;?WEKA;?Filter;?Wrapper;?Performance comparison 。还有很多和这一术语相近似的术过程世界中的对象集用高维数据集合来 。 。还有很多和这一术语相近似的术过程 世界中的对象集用高维数据集合来 。表示 的数目也将急剧 。一种解决的方法增加 数据挖掘(Data?Mining)就是从大量的、 不完全的、有噪声的、模糊的、随机的数 据中，提取隐含在其中的、人们事先不知 道的、但又是潜在有用的信息和知识的 [1] 语，如从数据库中发现知识(KDD)、数据分 析、数据融合(Data?Fusion)以及决策支持等。 人们把原始数据看作形成知识的源泉，就 像从矿石中采矿一样。原始数据可以是结 构化的，如关系数据库中的数据，也可以 是半结构化的，如文本、图形、图像数据， 甚至是分布在网络上的异构型数据。随着 信息技术的飞速发展，越来越复杂的数据 成为数据挖掘的处理对象，如文本数据、 基因序列等。一般的，这些对象具有几十、 几百甚至几万个属性。通过将这些对象表 示成高维属性空间中的点或向量，把客观 [2] 然而，随着不相关属性的增加，训练样本 [3] 是建立高效的面向高维数据的算法，另外 一种则是降低维度。并且由于这些属性之 间很有可能存在冗余等问题，选择好的特 征算法成为解决这些问题的可行方法。 特征选择(也叫属性约简)能够为特定的 应用在不失去数据原有价值的基础上选择 最小的属性子集，去除不相关的和冗余的 属性；它能提高数据的质量，加快挖掘的 速度并且使得挖掘出的规则更容易理解。 2??特征选择算法的?4?个要素 一般特征选择算法必须确定以下?4?个 要素：1)搜索起点和方向；2)搜索策略：3) 特征评估函数；4)停止准则。 2.1?搜索起点和方向 搜索起点是算法开始搜索的状态点， 搜索方向是指评价的特征子集产生的次序。 搜索的起点和方向是相关