smote抽样.docxVIP

数据生成的合成抽样方法在合成抽样技术方面， Chawla NV 等人提出的 SMOTE 过抽样技术是一个强有力的方法。SMOTE 过抽样技术与传统的简单样本复制的过抽样方法不同，它是利用少数类样本控制人工样本的生成与分布，实现数据集均衡的目的，而且该方法可以有效地解决由于决策区间较小导致的分类过拟合问题。SMOTE 算法是利用特征空间中现存少数类样本之间的相似性来建立人工数据的。特别是，对于子集 S?min??S?，对于每一个样本 x?i??S?min?使用 K-近邻法，其中 K 是某些制定的整数。这里 K-近邻 被定义为考虑 S?min?中的 K 个元素本身与 x?i?的欧氏距离在 n 维特征空间 X 中表现为最小幅度值的样本。为了构建一个合成样本首先随机选择一个 K-近邻然后用在 [0,1] 之间的随机数乘以对应特征向量的差异最后再加上 x?i?x?new?=x?i?+(x?^?i??x?i?)?δ? 其中 x?i??S?min?是当前少数类样本，x?^?i?是 x?i?的一个 K-近邻（随机）：x?^?i??S?min?，且 δ?[0,1]?是一个随机数。因此，根据上式产生的合成样本是与所考虑的点 x?i?在同一条线段上，且 x?i?是随机选取的。以下是 SMOTE 过程的一个例子，K=6可以看出 SMOTE 算法是建立在相距较近的少数类样本之间的样本仍然是少数类的假设基础上的。1. 总结对于少数类的每个样本寻找其同类样本中 k 个最近邻。其中，k 通常是大于 1 的奇数重复上述插值过程，使得新生成的训练数据集数据达到均衡，最后利用新的训练样本集进行训练2. 优点有助于简单打破过抽样所产生的关系使得分类器的学习能力得到显著提高3. 缺陷体现在过分泛化问题和方差Borderline-SMOTE 算法步骤对于这些自适应算法，我们最感兴趣的就是用于识别少数类种子样本的方法。在 Borderline-SMOTE 算法 中，识别少数类种子样本的过程如下：首先，对于每个 x?i??S?min?确定一系列最近邻样本集，称该数据集为 S?i:m?NN?，且 S?i:m?NN??S?然后，对每个样本 x?i?，判断出最近邻样本集中属于多数类样本的个数，即：|S?i:m?NN??S?maj?|?最后，选择满足下面不等式的 x?i?：m2?|S?i:m?NN??S?maj?|m?上式表明，只有最近邻样本集中多数类对于少数类的那些 x?i?才会被选中形成 “危险集 (DANGER)”。因此，DANGER 集中的样本代表少数类样本的边界（最容易被错分的样本）。然后对 DANGER 集使用 SMOTE 算法来在边界附近产生人工合成少数类样本我们注意到，如果 |S?i:m?NN??S?maj?|=m?，即： x?i?的所有 m 个最近邻样本都属于多类，像下图所示的样本 C 那么，我们就认为样本 x?i?是噪声且它不能生成合成样本。上图也给出了一个样本的 Borderline-SMOTE 算法的过程。比较图 3.3 和 3.4 ，我们发现 SMOTE 和 Borderline-SMOTE 算法最大的不同就是：SMOTE 算法为每一个少数类样本生成合成样本，然而 Borderline-SMOTE 算法只为那些 “靠近” 边界的少数类样本生成合成样本Borderline-SMOTE 流程图如图，Borderline-SMOTE 算法具体描述如下：文中训练样本集为 T，少数类样本 F={f?1?,f?2?,...,f?n?}? （1） 步骤一 1. 计算少数类样本集 F 中每一个样本在训练样本集 T 中的 k 个最近邻 2. 然后根据这 k 个最近邻对 F 中的样本进行归类：假设这 k 个最近邻都是多数类样本，则我们将该样本定义为噪声样本，将它放在 N?′?集合中反之 k 个最近邻都是少数类样本则该样本是远离分类边界，将其放入 S 集合中最后 k 个最近邻既有多数类样本又有少数类样本，则认为是边界样本，放入 B 集合中（2）步骤二 1. 设边界样本集 B={f?1?′?,f?2?′?,...,f?b?′?}?，计算 B 集合中的每一个样本 f?i?′?,i=1,2,...,b?在少数类样本 F 中的 k?′?个最近邻 f?ij? 2. 随机选出 s(1sb)?个最近邻 3. 计算出它们各自与该样本之间的全部属性的差值 d?ij?：d?ij?=f?i?′??f?ij?，j=1,2,...,s? 4. 然后乘以一个随机数 r?ij?，r?ij?∈(0,1)?（如果 f?ij?是 N?′?集合或 S集合中的样本，则 r?ij?∈(0,0.5)? 5. 最后生成的人工少数类样本为：h?ij?=f?i?′?+r?ij??dij,j=1,2,...,s? （3）步骤三