基于增量聚类和ReliefF的特征选择方法-计算机软件与理论专业论文.docxVIP

目录摘要 目录 摘要 ．． ．I Abstract．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．III 第l章绪论 1 1．1研究背景 ．1 1．2研究现状 ．2 1．3研究内容及组织安排 3 1．3．1主要工作 3 1．3．2论文结构 4 第2章特征选择方法研究 7 2．1特征选择概述 7 2．2特征选择方法分类 ．．8 2．2．1按子集生成与搜索策略 8 2．2．2按子集评价策略 9 2．2．3按与学习算法的结合方式 10 2．2．4按是否依赖类别标记 ．1l 2．4常用特征选择方法 ．12 2．5特征选择方法主要研究方向 ．．14 2．6本章小结 15 第3章聚类方法 ．17 3．1什么是聚类 ．17 3．2聚类分析中的数据类型 18 3．2．1主要数据结构 ．18 3．2．2基本变量类型 ．18 3．3主要聚类方法分类 ．21 3．4聚类分析方法的发展方向 ．23 3．5本章小结 24 第4章一种基于增量聚类和Relief．F的特征选择方法 ．．25 4．1 Rel JefF特征选择方法 25 4．1．t概述 25 4．1．2存在的问题 27 4．2增最聚类方法 4．2增最聚类方法 ．．27 4．2．1概述 27 4．2．2存在的问题 28 4．3基于增量聚类和Rel iefF的特征选择方法一ICB—Rel JefF ．．29 4．3．1相关定义 ．．29 4．3．2确定聚类半径 ．30 4．3．3确定聚类数目 ．3l 4．3．4冗余度量 ．．32 4．3．5 ICB-Re¨elF方法 33 4．4本章小结 36 第5章实验 ．．37 5．1实验数据集 ．37 5．2实验方法 37 5．3数据预处理 ．38 5．3．1特征分类 ．．38 5．3．2缺失值 ．38 5．4参数确定 39 5．4．1可调参数a、b 39 5．4．2聚类数目k 39 5．5特征子集选取 ．．40 5．6实验结果分析 ．．41 5．7本章小结 46 第6章总结 ．．． ．．47 6．1工作总结 47 6．2进一步工作 ．47 参考文献 ．．49 致 谢 ．． 53 发表文章 ．． 55 F鬟夕鼍邕量皇曼曼璺璺皇鼍璺舅曼曼量曼尘茎曼曼曼曼皇蔓曼皇量量鼍曼曼一 F鬟 夕鼍邕量皇曼曼璺璺皇鼍璺舅曼曼量曼尘茎曼曼曼曼皇蔓曼皇量量鼍曼曼一 基于增量聚类和ReliefF的特征选择方法 计算机软件与理论专业硕士研究生童忆莹 指导教师 唐雁教授 摘要 随着计算机科学技术的迅速发展以及人_[智能技术的兴起，模式识别得到越来越广泛的 应用。人们在进行模式识别时，通常需要采集数量巨大的原始特征，使得原始特征空问的维 数达到几千甚至几万维，人人降低了识别效率和识别正确率。特征选择作为模式识别中非常 重要和关键的一个步骤，对分类决策而言，起着非常重要的作用，直接影响识别结果。 本文在全面分析现有特征选择方法的基础上，重点研究了Relief特征选择方法。相对其 它特征选择方法，Relief不管是时间代价还是对数据类型的限制上都有明显的优势。冈此， 选择Relief算法的改进算法ReliefF作为研究的出发点。ReliefF算法是一种有监督学习的特 征选择方法，很大程度上依赖于类别标签。而以聚类为基本[具进行特征选择，不需要依赖 类别标签，对数据类型没有约束，更适合于大规模数据集，能够适用f任何情况F的数据降 维。将聚类和ReliefF方法结合起来，能在无类别标签的情况F，利用ReliefF方法实现对犬 规模数据集进行特征选择。 为此，本文对增量聚类与ReliefF相结合的特征选择方法进行了较深入的研究。研究发现， 增量聚类方法和ReliefF方法均存在一些不足，若简单地将这两种方法组合起来进行特征选 择，这些问题并不能解决。在全面分析增鼍聚类方法和ReliefF方法存在的问题的基础上，针 对增量聚类和ReliefF方法的不足，提出改进策略：(1)通过可调参数的设置，将聚类半径确 定在一个初始范围内，由后期实验确定可调参数取值；引入最小距离原则确定样本对象归属； (2)引入信息熵理论，计算不同聚类数目时信息熵值，选择信息熵最小的值对应的聚类数目 作为增量聚类的最终聚类数目；(3)提出一种解决混合属性冗余问题的方法，分别利用相关 系数p和互信息方法来计算特征之间的相关度，找出相关度大的特征(即冗余特征)，将之 删除。在此基础上，提出了一种基于增量聚类和Relieff的特征选择方法一ICB．ReliefF。 在选择出的UCI数据集上，将本文提出的ICB．ReliefF方法与已有方法进行对比实验， 利用Weka软件中的C4．5决策树分类算法进行分类。实验结果表明，本文方法ICB．ReliefF 相对已有