不平衡数据集的代价敏感学习方法-外文翻译.docVIP

不平衡数据 Nguyen Thai-Nghe, Zeno Gantner, and Lars Schmidt-Thieme, Member, IEEE 摘要：类不平衡对于机器学习算法是一个挑战性的问题。当从高度不平衡的数据中学习，大多数分类将被多数类的例子所压倒，所以漏报率总是很高。尽管研究人员已经介绍了很多的方法来处理这个问题，包括重采样技术和成本敏感的学习（CSL），其中大多数是集中在这些技术的一种。这项研究提出了两种实证方法处理?同时使用重采样和CSL的类不平衡。第一种方法将几种采样技术与使用支持向量机（SVM）的CSL进行结合、比较。第二种方法建议通过本地优化的成本比率（成本矩阵）使用CSL。我们的实验结果关于来自于UCI资料库的18不平衡数据集表明，第一种方法可以减少误分类成本，而第二种方法可以提高分类器的性能。 一、绪论 二元分类问题中，类不平衡可描述为多数类通过一个重要因素在数量上超过了少数类。这种现象出现在许多机器学习和数据挖掘应用，如信用卡欺诈检测，入侵检测，溢油检测，疾病诊断和许多其他领域。多数分类器在监督机器学习中被设计以最大限度地提高他们的模型的准确性。因此，当从不平衡数据中学习，它们通常被多数类的例子所压倒。降低这样的分类([1], [2])的性能是最主要的问题。它也被认为是数据挖掘研究[3]中的10个具有挑战性的问题之一。 研究人员已经推出了许多技术来处理类不平衡，如总结[1]和[2]。他们大多集中在数据层面对操纵?（重采样的方法），数据层如[4]，[5]，[6]，[7]，[8]，[9]，[10]中和分类层（内部改变分类器），例如在[11]，[12]，[13]，[14]，[15]，[16]，[17]，[18]中。 一个相关的问题是成本敏感型的学习（CSL）。过去，有不少出版物已将CSL应用于决策树?（[19]，[20]，[21]，[22]）或朴素贝叶斯（[23]，[24]）。此外，为了理解类失衡如何影响CSL，一些作者CSL（[21]，[25]）申请时，分析分类器的行为（例如C4.5算法）。以前的作品还将在数据层的操作与分类层的修改（[26]，[27]，[28]）结合起来。 虽然许多论文已经写了类不平衡问题，他们大多集中于两种重采样技术或CSL。我们的贡献包括同时利用重采样技术和CSL两种方法。 第一种方法中将几种采样技术与使用SVM作为基础分类CSL进行了结合与比较。具体而言，在组合的第一步骤中，我们通过使用一些重采样技术，如TLINK，RUS，ROS，SMOTE（我们将在下一节中解释这些方法）重新平衡数据集，下一步，我们训练有素的SVM模型对这些数据集重新平衡。一步，我们训练SVM模型在数据集重新平衡。SVM的产出由S型函数进行拟合，依赖于由普拉特[29]得到的概率的方法。最后，使用贝叶斯风险（有条件的风险）标准得到最低预期成本的最终的模型。 CSL的第二种方法不是假设，我们知道在第一方法中学习前的成本比（或成本矩阵）和以往其他工作（[30]，[21]，[25]）或设置的成本比通过对以往类分类的反转，我们把这个数字视为一个超参数，优化本地，然后训练的最终模型。我们的实验关于来自UCI的18不平衡数据集表明这些方法是有用的。第一种方法有助于减少误分类成本而第二个方法有助于 改善分类器的性能（例如GMean度量）。 剩下的纸张安排如下：第二部分介绍了一些相关的工作;在第三部分中，我们总结了一些通常是用来处理类失衡问题常见的技术;第四部分介绍了所提出的方法;第五部分介绍了数据集;第六节显示了实验结果;最后，第七节是结论。 相关工作 已被引入许多采样技术包括启发式或非启发式过采样（[4]，[5]），?欠采样（[6]，[7]），?和数据清洗规则，如消除“噪音”和“边缘”的例子（[8][9][10]）。这些工作重点在于数据层技术。 其他研究人员集中于改变内部的分类，例如支持向量机，来处理类的不平衡，例如[11]，[12]，[13]；[14]采用集成学习来处理类的不平衡，而[15]欠采样与集成方法结合起来；[16]着重于将不同的再平衡启发式算法合并进SVM来解决不平衡类问题，而[17]和[18]，将SVM纳入增升的方法。 在CSL，[20]介绍一个实例-用加权的方法诱发成本敏感的树；另外两种方法调查带有决定树的CSL ([22], [23])，而[24]介绍了朴素贝叶斯的CSL。这些研究引入了确定未知属性如何选择进行测试的测试方案，为了尽量减少误分类成本和测试成本的总和。 此外，第一[26]应用少数合成过采样技术（SMOTE[4]）以平衡数据集，然后使用不同成本的SVM建立的模型被提出[13]；[27][28]应用一些常见的分类器（例如C4.5，logistic回归，贝氏机率）与采样技术，如随机欠采样，随机过