词聚类在文本分类中应用.pdfVIP

词聚类在文本分类中的应用木 朱慕华 陈文亮 朱靖波 东北大学自然语言处理实验室辽宁 110004 —————————品忑正i品j面j面蔺面面忑丽i鬲r——————～一 摘要现有的文本分类方法需要较大的训练语料，在训练语料足够大的前提下 可取得不错的效果，训练语料的规模直接影响分类的效果。然而，要大规模人 工进行语料标注是一个难题．本文将k-means聚类算法引入到文本分类中，首 先在无标注语料上进行词聚类。然后将聚类结果作为文本特征来代替词特征． 通过这种方法，利用无标注的训练语料来改善训练语料不足的情况下文本分类 的效果．实验结果表明，采用这种方法，在同等训练语料的情况下，分类性能 确实有所提高。 关键词：文本分类，k-means．聚类，背景语料 have A for demon- Abstract variety learningalgorithms oftechniquessupervised text iSaf- stratedreasonable for performancecategorization．Theperformance of these oflabeled fectedthesize setS datais by trainingcorpus．Creating labeleddocumentsshouldbelabeled tediousand hand． expensive，because by an weuse This that k-means for paperproposesapproach clusteringalgorithm the from text clusterwordsunlabeled Usethese categorization．Wb corpus．and for learnedclusters阳thefeaturestext resuIts experimental categorization．The showthatthe can the unlabeled proposedapproachimproveperformance using corpus· words：text Key corpus 1 引言