权重润饰和改进的分类对不平衡数据的处理.pdfVIP

第２６卷第８期　　　 计算机应用与软件 Ｖｏｌ２６Ｎｏ．８ ２００９年８月　　 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ Ａｕｇ．２００９ 权重润饰和改进的分类对不平衡数据的处理 王 和 勇 （华南理工大学电子商务系　广东广州５１０００６） 摘　要　　不平衡数据集是指某类样本数量明显少于其它类样本数量的数据集，传统的分类算法在处理不平衡数据分类问题时会 倾向于多数类，而导致少数类的分类精度较低。针对文本数据的不平衡情况，首先采用权重润饰（Ｗｅｉｇｈｔｒｅｔｏｕｃｈｉｎｇ）的方法进行特 征提取，然后采用欠取样（Ｕｎｄｅｒｓａｍｐｌｉｎｇ）的支持向量机ＳＶＭ（ＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅ）方法进行文本分类。通过实验发现，使用权重 润饰和欠取样的ＳＶＭ方法可以提高处理不平衡数据的分类精度。 关键词　　文本分类　机器学习　权重润饰　欠取样 ＣＬＡＳＳＩＦＹＩＮＧＩＭＢＡＬＡＮＣＥＤＤＡＴＡＷＩＴＨＷＥＩＧＨＴＲＥＴＯＵＣＨＩＮＧＡＮＤ ＩＭＰＲＯＶＥＤＣＬＡＳＳＩＦＩＣＡＴＩＯＮ ＷａｎｇＨｅｙｏｎｇ （ＤｅｐａｒｔｍｅｎｔｏｆＥＢｕｓｉｎｅｓｓ，ＳｏｕｔｈＣｈｉｎａＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙ，Ｇｕａｎｇｚｈｏｕ５１０００６，Ｇｕａｎｇｄｏｎｇ，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ　　ＩｍｂａｌａｎｃｅｄｄａｔａｓｅｔｉｓｔｈａｔｔｈｅｎｕｍｂｅｒｏｆａｃｅｒｔａｉｎｃｌａｓｓｓａｍｐｌｅｓｉｓｎｏｔｉｃｅａｂｌｙｆｅｗｅｒｔｈａｎｔｈｅｎｕｍｂｅｒｏｆｏｔｈｅｒｃｌａｓｓｓａｍｐｌｅｓＩｔ ｃａｕｓｅｓｔｈｅｄｅｄｕｃｔｉｏｎｏｆｃｌａｓｓｉｆｉｃａｔｉｏｎｐｒｅｃｉｓｉｏｎｉｎｍｉｎｏｒｉｔｙｃｌａｓｓｓａｍｐｌｅｓ，ｗｈｅｎｉｍｂａｌａｎｃｅｄｄａｔａｓｅｔｉｓｃｌａｓｓｉｆｉｅｄｂｙｔｈｅｔｒａｄｉｔｉｏｎａｌａｌｇｏｒｉｔｈｍ， ｗｈｉｃｈｔｅｎｄｓｔｏｆａｖｏｕｒｔｈｅｍａｊｏｒｉｔｙｃｌａｓｓｓａｍｐｌｅｓＩｎｔｈｉｓｐａｐｅｒ，ｗｅｐａｉｄａｔｔｅｎｔｉｏｎｔｏｔｈｅｉｍｂａｌａｎｃｅｓｉｔｕａｔｉｏｎｏｆｔｈｅｔｅｘｔｄａｔａａｎｄｕｓｅｄｗｅｉｇｈｔｒｅ ｔｏｕｃｈｉｎｇｍｅｔｈｏｄｔｏｍａｋｅｔｈｅｃｈａｒａｃｔｅｒｉｓｔｉｃｅｘｔｒａｃｔｉｏｎｆｏｌｌｏｗｅｄｂｙｕｓｉｎｇｕｎｄｅｒｓａｍｐｌｉｎｇＳＶＭｍｅｔｈｏｄｔｏｃｌａｓｓｉｆｙｔｈｅｔｅｘｔＩｔｉｓｓｈｏｗｎｔｈｒｏｕｇｈｔｈｅ ｅｘｐｅｒｉｍｅｎｔｓｔｈａｔｔｈｅｓｅｔｗｏｄａｔａｐｒｏｃｅｓｓｉｎｇｔｅｃｈｎｉｑｕｅｓｃａｎｉｍｐｒｏｖｅｔｈｅｃｌａｓｓｉｆｉｃａｔｉｏｎｐｒｅｃｉｓｉｏｎｏｆｔｈｅｉｍｂａｌａｎｃｅｄｄａｔａｓｅｔ． Ｋｅｙｗｏｒｄｓ　　Ｔｅｘｔｃａｔｅｇｏｒｉｚａｔｉｏｎ　Ｍａｃｈｉｎｅｌｅａｒｎｉｎｇ　Ｗｅｉｇｈｔｒｅｔｏｕｃｈｉｎｇ　Ｕｎｄｅｒｓａｍｐｌｉｎｇ ０　引　言 １　权重润饰 近年来，全球信息科技的飞速发展使得大量的数据信息存 文本特征选择就是从文本中选择有价值的单词。在进行文 储下来以供人们进行事务管理、信息检索和数据分析。尽管收 本分类时不可能使用整篇文本，只会用文章中一部分单词作为 集到的数据量非常大，但对人们有用的数据往往非常有限，通常 代表，那么应该选择什么样的单词作为特征，这就是特征选择所 仅占全部数据的一小部分。这种某类样本数量明显少于其它类 要考虑的问题。选出来的特征应该具有代表性，能够充分代表 样本的数据集我们称为不平衡数据集。在数据不平衡的情况 原始文本；选出来的特征应该具有区分性，能够在分类文本时呈 下，样本无法准确反映整个空间的数据分布，分类器容易被大类 现文本之间的差别。 淹没而忽略小类。解决数