训练集对文本分类影响.pptVIP

训练集对文本分类的影响 华南理工大学信息网络中心 张启蕊 2005.9.25 主要内容 1.训练集质量对分类结果的影响 2. 类别均衡法 3. 实验结果及分析 4. 结论 训练集质量对分类结果的影响  良好的训练集 类别分布均衡 每个类别中的文档都能够很好的代表该类别 类别中各文档在特征空间中的分布比较集中 稀有类别 由于信息资源分布的特点，信息明显匮乏的类别 实验中采用的数据集 两个训练集 20_newsgroups 20个类别 每个类别包含约1,000篇文档 训练集和测试集按照1:1随机划分 复旦大学分类语料库 20个类别 最大的类别包含1,600篇文档，最小的类别包含25篇文档 训练集包含9,804篇文档，测试集包含9,833篇文档 原始数据集上Na?ve Bayes分类性能 原始数据集上Rocchio分类性能 原始数据集实验结果分析 观察微平均和宏平均值的差异，在Na?ve Bayes分类器上，复旦大学语料库的微平均F1值和20_newsgroups的相当，甚至还稍高，而宏平均F1值却只有45％左右。 根据微平均和宏平均的定义，宏平均受小类别的影响较大，可以得出，前者性能的降低完全是由于小类别的影响。 复旦语料库小类别的Na?ve Bayes分类性能 复旦语料库小类别的Rocchio分类性能 小类别实验结果分析 不论用Na?ve Bayes还是Rocchio，仅仅在小类别上训练的分类器对小类别的分类性能远远大于它们在原来的分类器上的性能。 由此可见，并不是小类别包含的信息不足以正确分类文档，而是小类别的信息量无法与大类别抗衡，其信息容易淹没在大类别中，导致小类别文档被大量误分。 类别均衡法 对于一个已经采集好的类别分布不均衡的训练集，为了尽量减小由于类别分布不均衡给分类性能带来的影响，我们提出了一种类别均衡法对类别分布不均衡的训练集进行处理。 类别均衡法的本质就是使训练尽可能在数量级相当的类别上进行，避免对小类别的不公平对待。 类别均衡法的训练过程 先对训练集进行预处理，把所有的小类别合并成一个或几个新的较大的类别，这些新类别具有和训练集中原有的大类别相同或相近的数量级，由此形成了一个新的类别分布比较均衡的训练集； 在这个重新组合过的新训练集上进行训练，得到一个分类器，我们称之为一级分类器； 把原有的几个小类别组成一个小的训练集，进行分类训练，也得到一个分类器，我们称之为二级分类器，至此，训练过程结束。 类别均衡法的分类过程 当一个未知类别的文档到达分类器的时候，首先用一级分类器对其进行分类，判断分类结果，即如果第一次的分类结果为训练集原有的类别，则把该结果作为文档类别；如果第一次的分类结果为组合成的新类别，则需要用二级分类器对该文档进行第二次分类，二级分类器的分类结果为文档最终类别。其流程图如图5所示。 类别均衡法的分类过程 类别均衡法 类别均衡法的各分类器是采用级联的方法，但在训练和分类过程中对每个文本赋予相同的权重，只是根据分类结果来决定是否需要对该文档进行进一步的处理。分类效果好的文本不再输入下一个分类器。 实验结果及分析 我们使用类别均衡法对复旦大学语料库进行训练，首先把11个小类别合并为一个大类别，合并后的类别包含486篇文档，此时该类别与原训练集中的其他9个大类别基本处于一个数量级上；然后，用新组成的包含10个大类别的训练集进行训练，所得分类器为一级分类器。接着仅使用11个小类别训练，所得分类器为二级分类器。 类别均衡法的Na?ve Bayes性能 类别均衡法的Rocchio性能 实验结果分析（1） Na?ve Bayes分类，平均的宏平均F1从48.62％提高到了80.99％，微平均F1从85.51％提高到了86.22％，由于宏平均受小类别影响较大，所以对宏平均F1的影响较大。 Rocchio分类，平均的宏平均F1从64.58％提高到80.26％，微平均F1值从73.99％提高到80.47％ 。 实验结果分析（2） 使用类别均衡法进行训练，会使得训练时间有所增加。假设训练集中大类别文档有n1篇，小类别文档有n2篇，则训练的时间复杂度将从O(n1+n2)增加到O(n1+2n2)，即小类别文档将进行两次训练。但是，由于在训练集中通常n2n1,所以并不会导致训练时间大幅增加。 使用类别均衡法进行分类，对于原本属于大类别的文档，其分类时间不变；对于原本属于小类别的文档，其分类时间有所增加，增加了在二级分类器进行分类的时间。但由于二级分类器的训练样本较少，相应的其分类时间也较少。该方法的结果是，用较少的分类时间的增加，换取了小类别样本分类精度的显著提高。 结论 由于不均衡数据集中小类别的影响，均衡数据集的分类性能远远超过不均衡数据集的分类性能。 类别均衡法，对现有的训练集以类