基于特征选择的过抽样算法的研究 study of over-sampling method based on feature selection.pdfVIP

研究与开发 基于特征选择的过抽样算法的研究枣 陆慧娟1．一，张金伟2。马小平1。杨小兵2 (1．中国矿业大学信息与电气工程学院徐州221008；2．中国计量学院信息工程学院杭州310018) _圈为了提高不平衡数据集分类中少数类的分类精度，提出了基于特征选择的过抽样算法。该算法考 虑了不同的特征列对分类性能的不同作用，首先对训练集进行特征选择，选出一组特征列，然后 根据选出的特征列合成少数类样本。合成的每个少数类样本的特征由两部分组成，一部分是特征 选择的特征列对应的特征。另一部分是按照SMOTE原理合成的特征。将基于特征选择的过抽样 算法和SMOTE算法进行实验比较。结果表明基于特征选择的过抽样算法的性能优于SMOTE算 法．能有效降低数据的不平衡性，提高少数类的分类精度。 关键词 不平衡数据集；特征选择；过抽样；遗传算法 样的．有的特征列对分类起关键作用。 1 引言 基于上述理论．本文提出一种基于特征选择的过抽样 在医疗诊断过程中。正确地诊断病情，据此研究合适 (P3．Sampling)算法。该方法在特征选择的基础上，合成少数 的治疗方案是治疗成功的前提。然而，医疗诊断领域的数 类样本．合成的少数类样本保持对分类性能起关键作用的 据有其自身的特点——数据分布不平衡，很多领域也存在 特征．改变作用较小的特征，实验结果证明其可以有效降 类似的情况，如欺诈检测、故障诊断等。不平衡数据分类是 低数据的不平衡性，提高不平衡数据集的分类性能。 机器学习和数据挖掘领域的一个重要研究方向。由于多类 2过抽样算法和基于特征选择的过抽样 问题可以简化为两类问题，所以目前不平衡数据分类问题 算法 的研究主要是针对两类问题。两类问题即一类的数据集样 本数量远大于另一类，其中样本数大的一类叫做多数类， 2．1过抽样算法 另一类叫做少数类。 过抽样算法．就是通过增加训练集中少数类的样本来 在数据分类前。一般要对数据集进行特征选择．特征选 提高分类器对少数类的分类性能．而多数类的样本不做删 择能提高分类效率，多数情况下还能提高分类精度。Lu等 减。最简单的过抽样算法是复制少数类的样本，其主要缺 人11I提出基于遗传算法12l的特征选择算法(GA．Selection)。点是没有增加任何新的信息．容易引起过学习问题。 其经过多次特征选择，有效减少了特征，但仍保持分类精 目前．采用较多的是Chawla等人{3I于2002年提出的 度不降低。这表明不同的特征列对分类性能的作用是不一 SMOTE(syntheticminorityover-samplingtechnique)算法以 及后来对SMOTE的改进算法14I．其主要思想是将相距最近 +国家自然科学基金资助项目(NoNo o．Yll No．浙江省自然科学基金资助项目(N10342) 的k个样本合成少数类样本，从而降低数据不平衡程度。 i 87j 万方数据 研究与开发 但是该算法把样本所有的特征列对分类性能的作用看成 (7)判断合成的样本数是否达到凡，如果达到则结束， 一样的，其实从特征选择对分类精度的影响可以看出．不