基于向量空间模型的文本分类方法.docxVIP

基于向量空间模型的文本分类方法 文本分类是指将一组提前由专家分类的文本作为培训集，分析培训集，并使用发布的分类模式对其他文本进行分类。它主要应用于信息检索、机器翻译、自动文摘及信息过虑等。文本分类技术自从在美国国家技术标准局和美国国防高级研究计划局组织的TREC(Text Retrieval Conference)会议上被正式提出,至今已有近20多年的历史,这期间涌现 了许多分类方法,如基于统计学的支持向量机(SVM)、K-最近邻居(KNN)、朴素贝叶斯(NB)、基于连接方法的神经网络和基于规则的决策树等。文献指出,SVM、KNN和NB是最好的3种分类方法,SVM分类精度最高,但速度最慢; NB具有最快的速度,但分类精度最低; KNN的性能比较稳定,但时空效率有待提高。 现有的中文文本分类系统基本都是基于文献在20世纪70年代提出的向量空间模型VSM(Vector Space Model),基于这种模型的分类方法计算简单有效,因此得到了广泛应用,但时空效率难以提高。基于传统向量空间模型的分类方法都是将文本表示为高维空间中一个点向量,这种方法在文本表示时向量空间维数会达到上千维,高维向量运算和大量文本表示的开销是当前诸多文本分类器效率难以提高的原因所在。语言学告诉人们,文本的数量是无限的,但是组成无限文本的词语数量是有限的。如果将表示文本的特征词形式化为空间中一点向量,则向量的维数