中文信息学报向量空间模型中特征词的区分度的定量研究①.PDFVIP

中　文 　信 　息 　学 　报 第 16 卷 第 3 期 　 JOURNAL OF CHINESE INFORMATION PROCESSING Vol . 16 No. 3 向量空间模型中特征词的区分度的定量研究① 1 1 2 游荣彦 　邓志才 　李传宏 ( 1. 中国广州华南师范大学计算机系 　5 1063 1 　2 . 中国深圳教育学院附中　5 18029) 摘要 :本文提出了关于一个词的文本类间频率的概念 ,给出一个词在文本分类中的区分度的定义 ,讨论了 区分度的性质 ,提出了选择特词新的方法 ,定义了特征词的权重 ,建立了向量空间模型的一套加权距离分类规 则 。实验结果表明 ,本文的方法是有效和有用的。 关键词 :文本分类 ; 向量空间模型 ;Bayes 后验概率 ;加权距离 中图分类号 : TP39 1. 1 Quantitative Studies on Degees of Distinction of the Feature Words in VSM YOU Rongyan1 　D EN G Zhicai1 　L I 　Chuanhong2 ( 1. Dept . of computer science ,Sout h China Normal Univer sit y 　Guangzhou 　5 1063 1 2 . The Affiliated Middle Shool of t he Shenzhen Institute of Education 　5 18029) Abstract :This p ap er present s a conception of frequencies of a word distributed all over t he classes of text s ,gives a definition of t he degrees of distinction of a word in text categorization ,discusses t he prop erties of t he degrees of dis tinction ,put s forward a new approach to select t he feature words ,defines t he weight s of all selected feature words , and finally establishes t he weighted distance categorization rules of V SM . The exp eriment result s show t hat t he met hod is effective and useful . Keywords :text categorization ;vector sp ace model ;Bayes posterior probability ;weighted distance 一 、前言 文本分类是把以自然语言写成的文本归类于若干个已知文本类别 D 1 , D 2 , …, D l 其中之 一 。随着社会信息量的剧增 ,待分类文本的数量已到了海量的地步 ,靠人工完成分类已是不可 能的事 ,于是研究以计算机作为工具的文本自动分类已成为信息处理的重要课题之一 。已有 的文本自动分类方法主要有 :基于知识的方法 ,基于概率统计的方法 ,聚类方法 、布尔向量方法 ( ) [ 1 ] 和向量空间模型 Vector Sp ace Model 方法