取样方法与代价敏感方法的比较.docVIP

取样方法与代价敏感方法的比较 　　摘要： 传统的方法中，标准的分类器设计一般基于精度，但是许多实际应用问题中，不同的类别对应的错分代价也不同，往往少数类样本更加值得关注。对于不平衡的数据集处理，最直接的方法就是改变学习算法的本身使之成为代价敏感算法，当然相对于改变数据集的结构，这也是稍难实现的方法。除此之外，改变数据集的分布也是常用办法，本文采用的办法是过取样和欠取样。本文将对以上所提到的三种方法在不同的数据集上比较其性能，以了解不同解决策略的特性与适用的环境。 　　关键词：代价敏感；取样；不平衡数据集 　　中图分类号：TP392文献标识码：A文章编号：1009-3044(2008)17-21546-02 　　 　　1 引言 　　 　　在数据集各类别数目只是轻微不平衡时的情况比较易于处理，但是当个别类别严重不平衡时，许多学习方法都易陷入困境[1]。小类别样本在学习的过程中更容易被忽略，与此同时，算法在此种情况下不能对未知样本进行正确的分类。由于数据集不平衡，分类算法对非平衡数据集进行分类的性能不尽人意，因为少数类样本通常比普通样本难以识别，而且大多数数据挖掘算法对于处理少数类样本有很大困难。当对非平衡数据集进行有指导的训练时，其训练算法通常对多数类样本会产生很高的预测准确率，但是对少数类样本的预测准确性却很差。通常情况下多数类样本远多于少数类样本，这意味着对所有样本进行预测，可以在不预测出任何少数类样本的情况下得到很高的正确率。诸如决策树归纳系统或者多层感知器等典型分类器被设计为使整体准确率最高，而不考虑每个类的相对分布情况，非平衡数据给这类典型的分类器提出了挑战。这些分类器在关注于将多数类样本尽量分类准确时，倾向于忽视少数类，因此传统算法对于解决非平衡数据的分类问题的能力有限。在图1中可以看出普通算法与代价敏感算法的不同之处。 　　 　　有许多方法都可以用来处理不平衡数据集。最直接的方法就是改变学习算法的本身使之成为代价敏感算法，除此之外，改变类分布也是方法之一。本文重点介绍了两种改变类分布的算法：过取样（oversampling）和欠取样(undersampling)[4]。过取样通过复制小类样本使数据集达到平衡，欠取样方法旨在减少低代价类别的样本数目。本文主要研究评价这两类不同方法在不平衡数据集上的表现，评估其效能，用以了解不同解决策略的特性与适用的环境。 　　 　　2 取样方法 　　 　　处理非平衡数据的最常用方法就是采样。采样方法的基本思想就是通过改变训练数据的分布来消除或减小数据的不平衡。基本采样方法包括undersampling和oversampling。Japkowicz在文献[4]中研究了数据集不平衡所带来的影响。其中重点评估了这两种方法。undersampling是通过减少多数类样本的数量来平衡两类样本，而oversampling则是通过复制少数类样本来完成。这两种方法都能减小数据整体的不平衡程度，但是他们都存在一些缺点。undersampling忽略了潜在的有用的多数类样本，因而可能降低分类器的性能。而oversampling引入了额外的训练数据，这会延长建立分类器所需时间，更不好的是它对样本进行精确的复制会导致过度拟合。在极端的情况下，分类器会产生只涵盖一个被复制多次的样本的规则。同时这种方法也没有解决本文前面提到的数据缺乏问题。因此undersampling可能是更好的方法。当然如果是使用人工数据进行研究就不会有上述问题出现。 　　虽然取样方法存在一些缺陷，但是在处理不平衡数据集上仍得到了广泛应用[5]。主要原因在于并不是所有的算法都实现了代价敏感，所以取样方法可以作为实现代价敏感的不错的选择。时至今日，虽然实现了代价敏感的算法有所增加，但是仍然是有限的。其次，许多不平衡数据集的样本数目巨大，为了让学习更为可行，必须减少训练集的数目。在这种情况下，欠取样是一种合理，有效的方法。通常我们并不知道误分类代价，这也是为什么取样能够广泛应用的原因。 　　 　　3 代价敏感算法 　　 　　前文也提到，改变类的分布并不是改进学习算法在不平衡数据集上性能的唯一方法。将两类分配给不同的误分类代价也是方法之一。Veropoulos在文献[6]中提出可以用两种方法来控制SVM中TP（true positive）和TN（true negative）之间的平衡。下面实现的是其中之一：对两类别施加不同惩罚系数的方法。 　　根据对两个类别施加不同惩罚系数的方法，可以构造如下线性首先二次规划问题： 　　 　　4 实验 　　 　　本部分为实验部分，所有的实验分别用oversampling，undersampling，标准SMO以及经过改进实现了代价敏感的cs-smo在四个数据集上实验。实