训练集类别分布对文本分类的影响.pdfVIP

—ISSN10—00-0054清华大学学报(自然科学版)2005年第45卷第S1期 16／39 CN11—2223／N Univ(SciTech)，2005，V01．45，No．S1 1802—1805 JTsinghua 训练集类别分布对文本分类的影响 张启蕊1， 张凌1， 董守斌1， 谭景华2 (1．华南理工大学广东省计算机网络重点实验室，广州510640；2．中国电信集团广州研发中心，广州510630) 摘要：为了减小训练集中各类别资源分布不均衡对分类 是文本自动分类技术应运而生。文本自动分类是把 性能造成的影响，该文对原始训练集使用类别均衡法，即对 未知类别的文本自动分配到已知类别中的过程。文 原始训练集以类为单位进行重新组合，使得重组后的训练集 本分类的实现需要建立在一个已经人工分类好的训 类别分布尽可能均衡，从而可以在均衡的类别上进行训练和 练集的基础上，训练集的质量好坏对文本分类的性 分类，以降低在训练过程中对小类别的不公平待遇。在复旦 能有着决定性的意义。本文针对训练集类别分布对 大学语料库上使用类别均衡法，分别用NaiveBayes和 分类的影响展开研究，并在训练过程中对训练集进 Rocchio方法分类，前者的宏平均F。从48．62％提高到了 行优化，以降低类别分布不均衡对分类性能的影响。 80．99％，后者的宏平均F，从64．58％提高到80．26％，微 平均F。从73．99％提高到80．47％。实验结果显示，类别均 1训练集对文本分类的影响 衡法显著提高了分类性能。 关键词：文本分类；训练集；类别均衡法 训练集对分类器的性能有着决定性的作用。设 计一个分类系统必须首先考虑训练集的问题，如果 中图分类号：TP391 文献标识码：A 文章编号：1000—0054(2005)S1—1802—04 训练集质量不高，那么无论分类算法如何精确，都很 难达到好的分类效果。一个良好的训练集，需要具备 以下几个特征：类别分布均衡；每个类别中的文档 Effectsof distributionina category 都能够很好地代表该类别；类别中各文档在特征空 setontext training categorization 间中的排列比较集中。 ZHANG Qiruil，ZHANGLin91，DONGShoubinl，TANJinghua2 但是，由于信息资源分布的特点，有些类别的信 Province of (1．GuangdongKeyLaboratoryComputerNetwork， 息明显匮乏，称为稀有类别，这些类别的信息资源有 SouthChina of UniversityTechnology， 510640，Ch